Die Eremitenklause und der Eremitengarten - bis 1788 mit der Eremitengrotte - bilden den Kernbereich der Ermitage. Dass je ein echter Eremit in der Arlesheimer Ermitage gelebt hätte, ist nicht belegt. Vielmehr soll die Szenerie mit dem Garten des Eremiten die Anwesenheit eines Menschen vortäuschen.
Der Besucher betritt zuerst den Garten des Eremiten, der, um die Szenerie vom übrigen Landschaftsgarten abzugrenzen, französisch angelegt ist. Der Wasserfall ergiesst sich in einen ausgehöhlten Baumstamm, den Brunnen des Eremiten.
Vorbei an der Inschrift zur Einsamkeit gelangt der Besucher zur Klause des Eremiten. Seit 1789 befindet sich eine mechanische Puppe, eine Eremitenfigur, in der Klause.