Halverwege de jaren zestig kwam het Koloniegebouw voor jong Nederland leeg te staan. Het Koloniegebouw kwam in handen van Piet Bot van Bot Bouw. Hij had de sloopvergunning bij de gemeente al rond voor het gehele complex, maar had nog geen goedkeuring voor de nieuwbouwplannen. Na ruim tien jaar leegstand werd het Koloniehuis door een viertal Bergenaren gekraakt. Er volgde een woelige periode met veel verloop onder de bewoners.
Begin jaren tachtig heeft een van hen, Guus Boissevain, het Koloniehuis aan kunnen kopen met een erfenis. De bewoners konden het van hem overnemen en hebben er elf appartementen en een aantal ateliers in gebouwd. De achtergelegen Lighal 'Het Solarium' bleef in eigendom van Guus Boissevain waar hij zijn huis en atelier in realiseerde.