Con l’estinzione della famiglia Roccabruna il palazzetto passò per breve tempo ai Madruzzo, i quali fecero apporre il loro stemma in stucco sulla porta d’ingresso del salone. Un altro stemma madruzziano, oggi molto sciupato, venne applicato dal cardinale Ludovico Madruzzo sopra il balcone della facciata principale