Il corpo centrale dell’edificio sulla piazza è occupato dalla maestosa Facciata rinascimentale, ritmata in modo chiaroscurale per la presenza di finestre e nicchie dove si trovavano - se ne vedono ancora evidenti le tracce - affreschi policromi di soggetto antico raffiguranti imperatori romani a mo’ di statue. Sono evidenti nell’architettura gli influssi dei modelli classicheggianti di derivazione romana, portati a Carpi dall’architetto senese Baldassarre Peruzzi. In realtà la facciata rinascimentale sull’antico Borgogioioso terminava all’altezza del grande pinnacolo angolare merlato, tuttora esistente, che si eleva alla sinistra della Torre dell’Orologio. La facciata era collegata all’Uccelliera a nord e al Torrione a sud da una bassa muraglia, quanto rimaneva dell’antico muro perimetrale del Castello. Nella parte superiore, all'interno delle nicchie, erano affrescati gli imperatori romani a mo' di statue antiche, opera datata al 1518 circa di Giovanni del Sega.

 

Tra 1582 e 1589 il corpo centrale fu ampliato verso nord, mantenendo e completando l’aspetto rinascimentale dell’edificio, con l’aggiunta di un’intera ala (aggiunzione estense) che collegava la parte cinquecentesca alla più antica torre del Passerino, a dare l’idea di un unico complesso palaziale.

A sud in seguito, nel 1779, fu alzata di un piano l’ala bassa che congiungeva il Torrione degli Spagnoli alla parte centrale del palazzo, per trovare una sede temporanea per l’abitazione del vescovo di Carpi eletta in quell’anno a sede vescovile, in attesa della costruzione del Palazzo accanto al Duomo.