Voluta dal conte Carrara per ospitare la sua quadreria. Nel 1781 furono portati a termine i lavori di edificazione su progetto dell’architetto Costantino Gallizioli.

Alla morte del conte nel 1796 il problema dell’ampliamento dell’edificio si impose all’attenzione della Commissione Carrara la quale diede l’incarico all’architetto Elia. I lavori iniziarono solo nel 1808 per concludersi nel 1813.