Het gouden tijdperk van Scharloo duurde tot het midden van de jaren zestig. De behoefte aan meer en nieuwere huizen bracht de generaties van de jaren vijftig en zestig naar andere delen van Curaçao. Verder was het leven in een huis op Scharloo moeilijk geworden, omdat de stijgende prijzen voor handenarbeid het onderhoud van deze grote gebouwen heel erg duur maakte. Bovendien werd het onmogelijk om de vele bedienden die nodig waren om zo’n huishouden te beheren te vinden na de komst van de Shell raffinaderij. De lokale dienstmeisjes gingen liever werken voor de Nederlanders, aangezien ze hogere lonen en meer vrije tijd kregen.