Dopo il 1527, a due anni di distanza dalla battaglia di Pavia perduta da Alberto Pio insieme agli alleati francesi, gli Estensi si impossessarono di Carpi e nominarono a capo della città dei governatori. Iniziò allora per la terra dei Pio un periodo di degrado e di abbandono, interrotto solo da pochi e limitati interventi, ben esemplificato dalle vicende del palazzo dei Pio.
Per breve tempo, dopo il trasferimento della capitale da Ferrara a Modena nel 1598, i duchi valutarono l’ipotesi di trasferire, almeno temporaneamente la corte a Carpi nel Palazzo dei Pio, che doveva essere considerato uno spazio prestigioso e adatto allo scopo, oltre che dotato di quanto poteva servire a una corte. Tuttavia ben presto gli Estensi tornarono all’idea iniziale di Modena, che aveva costituito da sempre la seconda città del ducato, oltre che essere sede vescovile.
Fu allora il governatore estense a stabilirsi nell’immensa residenza abbandonata dei Pio, dove furono collocati anche gli uffici ducali e le milizie. In alcuni ambienti dell’appartamento nobile si tennero le sedute del Consiglio della Comunità, mentre spesso, anche nei secoli seguenti, le sale e altri ambienti del palazzo furono adibiti agli usi più disparati: banchetti, spettacoli, ricovero di truppe, carceri, allevamento dei bachi da seta, camerino teatrale, silos, deposito di paglia, scuderie ducali, macello pubblico.
Le due trasformazioni più importanti del palazzo dopo l’epoca rinascimentale furono eseguite nel corso del primo secolo di dominio estense: l’ampliamento della facciata a nord (aggiunzione estense) e la costruzione della Torre dell’Orologio.
Qualche anno dopo, nel 1642, fu costruito un teatro a strutture fisse, mentre nel 1779 infine, allo scopo di trovare una residenza consona al primo vescovo di Carpi, le cosiddette Stanze del Vescovo, in attesa della costruzione del palazzo vescovile accanto al Duomo.
L’ultimo intervento, distruttivo, al complesso palaziale dei Pio avvenne in quegli anni (1780) quando l’amministrazione ducale cedette alla famiglia Scacchetti il bastione angolare a sud del palazzo, la seconda torretta rotonda costruita intorno al 1480 da Marco II Pio. Distrutta la torretta (e l’adiacente antico macello) gli Scacchetti iniziarono la costruzione del loro palazzo, che dopo l’Unità d’Italia diventò sede - e lo è tuttora - della Municipalità.
Accanto a questi interventi, i documenti registrano una serie di modifiche, distruzioni e spogliazioni di cui fu oggetto il palazzo negli oltre tre secoli di dominazione estense: dalla pala d’altare della Cappella dei Pio, che fu peraltro adibita a camerino per l’adiacente teatro, agli arredi e ornamenti, finanche alla soglie marmoree delle porte, fino a un progetto - non realizzato - di togliere il marmo delle colonne del cortile d’onore per la decorazione delle ville estensi. Tra 1822 e 1830 furono distrutte alcune volte e l’originaria merlatura ghibellina - poi rifatta - della torre del Passerino; nel 1822 furono stabilite negli ambienti a piano terra del palazzo le scuderie ducali; nel 1828 fu distrutta un’altana rinascimentale collocata sulla facciata per utilizzare gli elementi marmorei che la componevano.
A tutto questo sono da aggiungere i danni che gli usi impropri del palazzo nel corso di questo lasso di tempo avevano fatto. Alla metà dell’Ottocento solo l’appartamento nobile, che era frequentato dal podestà, doveva mantenere un certo decoro pur con le modifiche e le spogliazioni intervenute nel frattempo.