Der Bau der Dietfurter Stadtbefestigung wurde 1444 von Herzog Albrecht III. von Bayern zu München angeordnet. Von warscheinlich 10 Wehrtürmen ursprünglich sind heute noch 6 Türme erhalten.
Der Goggerturm ist der höchste der Wehrmauertürme und heute eines der Wahrzeichen der Stadt. Der Name kommt von der Familie Gaukler, die nachweislich bereits 1851 den Turm bewohnte.
Urkunden früherer Jahrhunderte bezeichnen ihn als Bürgerturm. Damals diente er als städtisches Gefängnis, in das straffällige Bürger für kurze Zeit wegen geringer Vergehen eingesperrt wurden. Dazu gehörten z.B. Betrügereien der Bäcker, Metzger, Müller, Bierbrauer sowie Beleidigungen der Amtsträger wie des Bürgermeisters oder auch des Stadtpfarrers.
Heute befindet sich der Goggerturm im Besitz der Stadt Dietfurt.