Die Heimat der Zwerge im Südharz waren die „Zwergenlöcher“ bei Neustadt gewesen.
Bis zu dem Sommer als ein Bauer seine Erbsen ernten wollte. Er ging zu seinem Acker, um zu prüfen, ob sie reif wären. „Diebe!“ rief er aus, als er sein Feld zur Hälfte abgeerntet vorfand. „Schon wieder die Erbsen gestohlen!“ Er suchte Rat bei einer weisen Frau. Mit Einbruch der Dunkelheit ging der Bauer, wie ihm die Frau geraten hatte, durch sein Erbsenfeld und schlug mit einer Rute flach über den Pflanzen hin und her. Tarnkappen flogen durch die Luft und unzählige Zwerge wurden sichtbar. Er griff zu und hatte den Zwergenkönig beim Schlawittchen.

Der Bauer brachte die Zwerge vor den Richter, der sie für immer aus dem Südharz verbannte. „Gut, wir werden davonziehen. Aber kein Mensch darf uns dabei sehen.“ Über eine Brücke verließen die Zwerge mit Karren voller Schätze den Südharz. Zwei Zeugen hatten den Abzug der Zwerge belauscht und berichteten von einem endlosen Getrappel kleiner Füße über die Brücke, das „vom Einbruch der Dunkelheit bis zum Morgengrauen“ nicht aufhören wollte.
Eine neue Heimat sollen die Zwerge in der Heimkehle gefunden haben.