I årene 1976-77 blev der her iværksat en arkæologisk udgravning, som blotlagde rester af et betydeligt borganlæg. Jacob Sunesøn, der fra 1225 til sin død i 1246 styrede Møn som et personligt len, ombyggede den daværende træborg til en murfæstning. I årene indtil 1534 var Stegeborg på forskellige hænder og undergik flere ombygninger. Blandt andet forstærkede Valdemar Atterdag omkring 1360 borgen, så at murene blev fem alen tykke, og portnøglen var næsten en alen lang! Det midterste af de tre tårne blev bygget så højt, ”at det kunne måle sig med det københavnske”!

Denne markante bygning med sin fremtrædende placering ved vandet opførtes i 1848 af N.S. Nebelong som toldkammer. Dette blev dog nedlagt i 1970, og i 1991 rykkede Møns Turistkontor ind og fik således værdige rammer i det hus, der på flere måder er noget af det første, vore besøgende stifter bekendtskab med i Stege. Huset hedder nu ”House of Møn”, det er center for  lokale udviklingsprojekter og fungerer stadig som turistkontor, og hjælper gerne vore gæster med at finde gode oplevelser på vores ø.