De twee zusterpanden, deze gevel is nog maar een façade.

De twee panden, 672 en 674, zijn gebouwd in opdracht van de Vlaamse graan-, wapen- en ijzerhandelaar Jeremias van Raey. Het huis, op nummer 674, betrekt hijzelf, het andere verhuurt hij. De eerste huurder daarvan is vermoedelijk de schilder Ferdinand Bol die daar tot zijn dood in 1680 is blijven wonen. Bij elk huis hoort een tuinhuis met daarachter een koetshuis met de ingang aan de Kerkstraat, het huidige adres van dit koetshuis is Kerkstraat 261.  Dat koetshuis met bijbehorende woning komt nog in 1673 gereed en wordt in december van dat jaar voor de verponding (belasting) getaxeerd.

De keuze voor Adriaen Dortsman (1636-1682) als bouwmeester voor de huizen lag voor de hand. Van Raey is als regent nauw betrokken bij de bouw van het Walenweeshuis aan de Vijzelgracht waarvan het ontwerp ook van Dortsman is.

Het gaat niet goed met Jeremias van Raey, en op 23 december 1677 komt hij bij de Desolate Boedelkamer terecht. Dat wil zeggen, hij is failliet. Maar er wordt dan een uitgebreide boedelbeschrijving gemaakt, die we nu nog hebben. En dat geeft ons een inkijk in de boedel van Van Raay op dat moment. 

In 1879 start de kok J.J. Couturier met een huis waar diners en  feesten kunnen worden gegeven. Het gaat goed en in 1883 wordt de zaal vergroot. Het is een bekend huis in de stad, ook voor ontvangsten van hoog bezoek aan de stad.

In 1928 is het pand door de Hollandsche Koopmansbank gekocht, die op dat moment in handen was van Zweedse lucifertrust van Ivar Kreuger [1880–1932]. Het pand is niet geschikt als bank en er wordt besloten dat er nieuwbouw moet komen. Dit werk wordt gegund aan een jong Zweedse architect die met een nieuw ontwerp komt. Dit wordt, na hevige protesten, ook door de gemeente afgewezen. Er wordt besloten om alles achter de gevel af te breken en er dan een nieuw gebouw neer te zetten. Het ontwerp wordt gedaan door de architect Godefridus Maria Leeuwenberg [1899-1967], de latere revisietekeningen en de gevel zijn getekend door de architect A.A. Kok Dat pand is ook veel dieper, dan gebruikelijk. In 1983 wordt het verbouwd tot appartementen.