Für den Besitz des Hochstiftes wird 1178 erstmals der Name "Bambergische Hofmark Haag" geprägt.

Zum Schutz der Hofmark gegen äußere Feinde brauchte der Bamberger Bischof Männer, die mit Waffen umzugehen verstanden. Wie viele dieser Leute aus ehemals bäuerlichen Familien kamen, die der Bischof mit rittermäßigen Lehen belehnte, wie viele Dienstadelige (Ministerialen) aus der Fremde damit belehnt wurden, wir wissen es nicht mehr.

Zwischen 1100 und 1200 tauchen die ersten dieser Geschlechter um Haag auf. Ihre Ansitze unterschieden sich oft nur wenig von den Bauernhöfen.

Das bedeutendste von ihnen ist wohl das der de Hage, das vermutlich beim Mairgut in Haag (Schudutz Nr. 27, Braunsberg Nr. 1) seinen Stammsitz hatte. Da es nun eine Menge von Örtlichkeiten mit dem Namen Haag (Hag) gibt, von denen einige vermutlich ebenfalls Rittersitze waren", die namengebend für die darauf sitzenden Geschlechter sind, ist es sehr schwer, ja fast unmöglich, zumal es in dieser frühen Zeit noch keine Familienwappen gab, die einzelnen Geschlechter auseinanderzuhalten. Welche de Hage (Hager) wo saßen und mit wem verwandt waren, muss einer späteren genealogischen Forschung vorbehalten bleiben. Von den zahlreichen bekannten Rittern de Hage könnten allenfalls Huc (Hugo) und Altmann Bamberger Ministerialen, die auf unserem Haag saßen, gewesen sein", doch scheinen sie 1140, also noch vorher, als Würzburger Dienstmannen auf. Möglicherweise ist auch Pilgrim de Hage unserem Haag zuzuschreiben. Einige vom Stammsitz weichende Ritter dürften in landesfürstliche Dienste getreten sein, zumindest führt das Babenberger-Urkundenbuch Siboto und Heinricus de Hage auf unser Haag zurück, von welchen vielleicht die spätere Linie der Aspan von Hag abstammt.