In 1861 trouwde Abraham met Louisa Holthuysen. Zij kenden elkaar al jaren, maar een schoonzoon die geen maatschappelijk aanzien genoot, een gat in zijn hand had én bovendien soms een bohemienachtig leven in Parijs leidde, dat vond vader Holthuysen maar niets. Toen hij in 1858 overleed, stond niets de tortelduifjes meer in de weg. Zij trouwden op 17 juli 1861, beide 36 jaar oud, én op huwelijkse voorwaarden. Louisa hield dus volledige zeggenschap over haar eigendommen. Wel blijkt uit haar kasboekje dat ze haar man een bedrag van 40.000 gulden per jaar gaf.
Het echtpaar ging wonen in het pand aan de Herengracht 605, dat zij lieten inrichten naar de laatste Franse mode. Bram bleef zijn hele leven een levensgenieter; hij was een fervent theaterbezoeker en ging regelmatig met vrienden dineren in de stad. Ook nam hij volop deel aan het Amsterdamse culturele leven. Sinds 1851 was hij lid van de kunstenaarsvereniging Arti et Amicitiae en in 1869 werd hij benoemd tot erelid, nadat hij als organisator, bruikleengever en vormgever betrokken was geweest bij de 'Tentoonstelling van Wapenen'. Ook organiseerde hij in het huis aan de Herengracht schouwen voor een selecte groep kunstvrienden. Aan de grote tafel in de Herenkamer werden dan portefeuilles met tekeningen, prenten en foto's bekeken.
De jaren voorafgaand aan zijn overlijden, bevond Abraham Willet zich al steeds minder in grote gezelschappen. Hij overleed in 1888 op 63-jarige leeftijd aan een longziekte en werd enkele dagen later bijgezet in de grafkelder van de Holthuysens op de Eerste Algemene Begraafplaats in Utrecht.
