Um 1200
Um 1200 errichtete Walter von Klingen an der Stelle der heutigen Anlage einen Wohnturm. Es ist anzunehmen, dass bereits die früheren Kastvögte des Klosters, die Zähringer, dort ein hölzernen Wohnturm mit einem Befestigungsgraben im Norden errichtet hatten, der nach ihrem Aussterben von den Freiherren von Klingen übernommen und ausgebaut wurde.