In 1619 heeft hier al een pakhuis gestaan waarin De Oude Vlamingen (Doopsgezinden) bijeenkomsten hielden.

Vermoedelijk is het in 1627 van de substituut Vlasman en in 1631 van Corns. Willemsz en komt het ten slotte in 1710 in handen van de meester - timmerman Hendrik Staring.

Hij heeft het waarschijnlijk in de toestand gebracht zoals Caspar Philips het heeft getekend en het nu nog ongeveer is:

Een 5,71 m. breed pak- en achterhuis, genaamd De Torenwachter.

Het heeft een middenvoorsprong waarin een doorlopend deurkozijn en zijvensters met luiken.

Boven de kroonlijst heeft het een verhoging met zadeldak.

Verder heeft het een smalle ingang waarvoor een trapje en een brede toegang met daarboven een marmeren basrelief met een vestingtoren waaruit een op een trompet blazende man te voorschijn komt - na 1875 verdwenen -.

In 1917 is het verenigd met Keizersgracht 12 en dat is na 1961 weer ongedaan gemaakt. Dan heeft Keizersgracht 12 weer het aanzien gekregen, zoals op de tekening van Caspar Philips