Het huis is omstreeks 1620 gebouwd op erf 29 in park B van de uitleg in opdracht van Pieter Dircksz. Hasselaer uit Haarlem samen met 139, met wie het de scheidingsmuur deelt, vermoedelijk zoals het er ook uitziet op de tekening uit het grachtenboek van Caspar Philips. Peter overlijdt echter op 27 augustus 1616 en heeft het huis niet zien verrijzen.

Het is vermoedelijk afgebouwd voor Nicolaes Hasselaer. De familie Hasselaer gebruikt als wapen de dubbele witte Arend, ook gebruikt voor de brouwerij van de familie. Ook de anderen gebruiken de Arend bij de naamgeving van hun huis.

Later is het weer verbouwd en van 1877 is de situatie van voor en na de verbouwing getekend.

In 1917 heeft het een kantoorbestemming gekregen voor de Handelmaatschappij voorheen Kerkhoff en Co.

Omdat het bedrijf echter niet alle ruimte nodig heeft, wordt een deel verhuurd aan de dan net opgerichte Zuid-Afrikaansche Stichting Moederland.

Deze stichting is mede opgericht door een oud-directeur van de Zuid-Afrikaansche Spoorwegmaatschapij, de Z.A.S.M. De stichting koopt in 1923 het hele pand voor het onderbrengen van diverse aan haar verbonden organisaties, zoals de Stichting Studiefonds en de stichting Fonds voor het Hollands Onderwijs in Zuid-Afika.

Na het overlijden van Elisabeth Eybers in 2007, dichteres in het Afrikaans, is haar bibliotheek overgebracht naar het Zuid-Afrikahuis. Er is daar een kamer met haar bibliotheek. Deze is op afspraak te bezichtigen.

Het gebouw wordt nu, 2015, uitgebreid gerestaureerd. Hierbij worden er ook boven appartementen gemaakt.