Natürlich wäre es sehr interessant, wenn man die familiären Zusammenhänge zwischen Pilgrim und Bischof Gunther klären könnte. Leider ist das bisher nicht gelungen. Man weiß nicht einmal, aus welcher Familie der Bischof selbst kam. Breslau, der Herausgeber der Monumenta Germaniae, vermutet in ihm den Angehörigen einer angesehenen, edlen und reichbegüterten Familie, die wahrscheinlich aus der Mark Österreich stammt. Seine Bildung erhielt er schon als Knabe in der Bamberger Schule, und später gehörte er als Kanoniker dem Bamberger Domkapitel an. 1054 machte ihn Heinrich III. zum Vorsteher der italienischen Kanzleiabteilung. Als solcher kommt er in vielen Urkunden vor. 1055 war er Königsbote und Vorsitzender im Hofgericht. Für diese Dienste schenkte ihm der Kaiser am 20. November 1055 Güter, die in einer Urkunde als "mons qui vocatum Averhilteburchstal" bezeichnet sind und von Weigl (I/91) unter Berufung auf Klebel mit Kottingburgstall bei Blindenmarkt gleichgesetzt werden. Nach Kaiser Heinrich III. Tod 1056 führte er die Kanzlei noch unter der Regentschaft seiner Witwe Agnes weiter, bis er zu Ostern 1057 vermutlich über Verwendung des Erzbischofs Anno von Köln, nachdem Bischof Adalbert am 14. Februar gestorben war, zum neuen Bischof von Bamberg ernannt wurde. Während seiner kurzen Tätigkeit als Bischof machte er sich nicht nur durch die Bekämpfung von Resten alten Heidentums bei den Slawen seiner Diözese einen Namen, sondern focht auch manchen Strauss mit seinen Nachbarn, so mit dem Grafen Hermann, der das Kloster Banz gegründet hatte, und Gozwin von Hochstädt an der Aisch aus, bis er schließlich auch mit der Kaiserinwitwe Agnes, die die Regentschaft für den minderjährigen Sohn Heinrich IV. führte, in Streit geriet (1062). 1064 nahm er an der Pilgerfahrt ins Hl. Land teil, die von Erzbischof Siegfried von Mainz angeführt wurde und der sich neben Gunther auch die Bischöfe von Utrecht und Regensburg und 7000 (nach anderen Berichten sogar 13.000) edle Herren und Wallfahrer angeschlossen hatten. Kurz vor Jerusalem wurden die Pilger von Beduinen überfallen. Gunther streckte den Anführer mit einem Fausthieb nieder, nahm mit seinen Gefährten sieben andere gefangen und wurde schließlich mit seinen Begleitern durch den Emir von Ramlah aus seiner misslichen Lage befreit. Am 12. April 1065 zogen die Pilger in Jerusalem ein. Auf der Rückreise starb Gunther am 23. Juli 1065 zu Stuhlweißenburg. Nach dem Chronicon Bernoldi sollen von den 7000 Pilgern nur 2000 nach Hause zurückgekehrt sein.

Zwischen 1057 und 1064, wahrscheinlich aber erst unmittelbar vor seiner Palästinafahrt, übertrug er einem gewissen Friedrich, der ihm untergeben war, sein Allod zu "Wouczesdorf und Haga" mit der ausdrücklichen Bedingung, dass dieser, für den Fall von Gunthers Tod, den Besitz der Bamberger Kirche zu einem Seelgerät für den Bischof und dessen Eltern zu stiften habe. Friedrich kann daher in Wahrheit nicht als Besitzer der Güter, sondern nur als Treuhänder Gunthers gesehen werden.