Der Ortsteil Haus Oelgarten liegt südlich-westlich des Stadtzentrums auf einer bewaldeten Anhöhe westlich des Wolfsbachs und der Lorenzhöhe.

Bis 1934 gehörte Haus Oelgarten zur Gemeinde Geistingen.