All’estinzione della famiglia Calepini, verso la fine del Cinquecento, subentra nel posseso del palazzo la famiglia Felz-Colonna, antico casato di origine altoatesina. I Felz-Colonna si imparentarono con i Firmian, i Thun, i Trapp, gli Arco, i Lodron, i Cazuffi, i Taxis de Bordogna. Fra essi ci furono uomini d’arme e di chiesa: canonici del Capitolo, capitani di Stenico e di tutte le Giudicarie, capitani della rocca di Riva, come quell’Egidio Felz-Colonna il cui stemma è applicato vicino all’insegna clesiana sulla porta rivana di S. Marco, già detta “porta Mantovana”. Ai Felz-Colonna subentrano gli Alberti d’Enno, che durante il Settecento apportano varie modificazioni alla parte interna del palazzo dei Calepini. Agli inizi dell’Ottocento il palazzo cambia nuovamente padrone con la famiglia Salvotti, e Giovanni Salvotti fa subito rimuovere dal massiccio portale bugnato lo stemma degli Alberti d’Enno per sostituirlo con uno scudo coronato contenente le sue iniziali