De reispassie van vader Holthuysen zorgde ervoor dat het kleine gezin veel reizen door Europa maakte. Tussen 1833 en 1856 maakten zij zeker elk jaar een reis, per rijtuig, trein en schip en altijd in gezelschap van hun personeel en hondjes.
In 1855 kochten haar vader en moeder het pand Herengracht 605, het huidige Museum Willet-Holthuysen. In 1856 kwam moeder Holthuysen plotseling te overlijden en twee jaar later moest Louisa ook afscheid nemen van haar vader. Louisa erfde het huis met de inboedel en woonde daar tot 1861 met haar huisdieren, gezelschapsdame Mathilde Kleinmann en het overige personeel in het grachtenhuis. In 1861 trouwde Louisa met Abraham en samen lieten zij het huis opnieuw inrichten naar de laatste Franse mode, waarbij kosten nog moeite werden gespaard.