Die Ermitage verdankt ihre Entstehung dem Zusammenspiel zweier enger Verwandter: Balbina von Andlau und ihrem Cousin Heinrich von Ligertz. Gemeinsam aufgewachsen und durch eine lebenslange freundschaftliche Verbundenheit geprägt, teilten sie die Leidenschaft für Gartenkunst. Nach Balbinas Umzug nach Arlesheim bot der Birseckhügel mit seinen Weihern, Felsen und Höhlen ideale Voraussetzungen für einen Landschaftsgarten nach englischem Vorbild. Balbina trug mit erheblichen finanziellen Mitteln und praktischer Organisation zum Projekt bei, während der fürstbischöfliche Baudirektor Pierre-François Pâris vermutlich die gestalterische Umsetzung leitete. Eingebettet war das Vorhaben in den aufklärerischen Kreis der Société d’Arlesheim, in dem Toleranz, Bildung und Geselligkeit gepflegt wurden. So entstand ein Garten aus Freundschaft, Ideenreichtum und gesellschaftlichem Austausch.