Niet ver van de kerk ligt de indrukwekkende pastorij. Tot in 1647 woonde de pastoor van Olmen in een huurhuis of een eigen huis, naargelang zijn eigen financiële toestand. In 1610 woonde de pastoor van Olmen zelfs in de sacristie bij gebrek aan een pastorij. Door het concilie van Trente ging men meer aandacht besteden aan de zielzorg. Als de pastoor zijn taak goed wilde vervullen moest hij steeds in zijn parochie aanwezig zijn. Voordien mocht hij buiten zijn parochie wonen en zich in de parochie laten vervangen door een 'persoon-priester'. Daarom zorgde de abdij van Postel, die eigenaar was van de parochie Olmen, in 1647 voor een definitieve oplossing voor de woning van de pastoor.
De abdij bouwde op haar kosten een pastorie op voorwaarde dat ze voor eeuwig haar eigendom bleef. Indien Postel de parochie zou verliezen, moesten de nieuwe eigenaars de pastorij kopen of huren. Dit gebeurde tijdens de Franse Omwenteling. De pastorij kwam te koop, maar niemand kocht ze. Door het concordaat met Napoleon kwam de pastorij in het bezit van de gemeente.
Het gebouw, opgetrokken door de Norbertijnen, vertoont de typische kenmerken van een Norbertijnenpastorij. Het is een statige woning, want de pastoor moest iemand van aanzien zijn in de parochie. De pastorij is ook omgeven door een visgracht. Een kloosterregel van de abdij schreef immers voor dat er 's vrijdags vis op het menu stond. Wellicht gaf pastoor Gerardi (pastoor van 1710 tot 1730) ook heel wat luister aan het bouwwerk. Dat zijn wapen vroeger in de zoldering aangebracht was, kan er op wijzen dat hij veel van zijn persoonlijk kapitaal in de pastorij investeerde. De luxueuze zolderingen (die spijtig genoeg in 1910 zijn verdwenen) en het poortgebouw werden onder zijn ambtsperiode uitgevoerd. Links in het poortgebouw bevonden zich het washuis en een oven, rechts een stal.
Het gebouw onderging een aantal verbouwingen: in 1722, 1731, 1810, 1812 en 1910. We vonden de volgende data terug:
• 1722: van die datum was een blazoen van de abt van Postel en van pastoor Gerardi in de zoldering
• 1737: muurijzers in poortgebouw
• 1810: toen werden de buitenmuren van de oude pastorij vervangen, maar terug opgetrokken in de oude stijl; het poortgebouw bleef behouden
• ca.1840 : verleggen van de slotgracht en verbouwingen aan het poortgebouw.
De pastorij ligt nu enigszins buiten het normale dorpsverkeer. Dat was vroeger anders. De huidige Pastorijstraat was een alternatieve route voor de Grote Landbaan die van Antwerpen naar het Oosten liep. Hannoverse militairen die gekazerneerd waren in de garnizoensteden Herentals en Lier, gebruikten de weg in 1744 in ieder geval voor hun postverkeer.
Na heel wat touwtrekkerij in de periode 1971-1973, werden het poortgebouw en de vest in 1973 als monument geklasseerd (K.B. 4.5.1973).
In 2014 kreeg de Pastorij een grondige opknapbeurt en vandaag vormt dit gebouw een unieke locatie voor de Olmense Vereniging voor Heemkunde en Geschiedenis..
(Bron: Erfgoed Balen vzw en Olmense Vereniging voor Heemkunde en Geschiedenis)