Toponiemen eindigend op –em duiden op nederzettingen van Frankische origine uit de tweede helft van het eerste millennium. Zo is wellicht ook Herlegem een zeer oud domein waaraan eertijds meerdere boerderijen en een watermolen verbonden waren. Deze molen bevindt zich ten zuidwesten van het kasteel. De historische kasteelsite van Herlegem, eigendom van de familie van Pottelsberghe de la Potterie, bevindt zich landschappelijk in de vallei van de Zaubeek en ligt op een hoogte van +18 m. De ringgracht rond het kasteel bleef bewaard. In het kasteelpark ten noordoosten van het kasteel ligt een vijver.