Dopo il cambiamento politico a Pesaro arriva anche il cambiamento urbanistico, demografico e sociale. L’unico luogo rimasto oggi a testimoniare il passato di Pesaro nell’area antistante la Rocca è palazzo Baldassini. I giardini antistanti Rocca Costanza e a lungo frequentati dai pesaresi, non ci sono più, almeno come erano: un luogo di passeggiate e di incontri, di tempo libero: anche il gioco della pallacorda era praticato e seguito, persino da appassionati d’eccellenza, come Leopardi, cugino dei  Perticari. I giocatori, muniti di bracciale da impugnare forte, vestiti con pantaloni corti, calze bianche  e fascia verde o scarlatta da stringere al fianco, giocavano per il piacere degli ammiratori. Una volta gli spazi erano più ampi, nonostante la presenza delle mura, prima del loro abbattimento; e davanti,  guardando verso Fano, si apriva la campagna. Oggi i giardini sono ridotti ad uno spazio più piccolo, il traffico è intenso e la pace di quegli antichi spazi è scomparsa; rimane un’ area verde  davanti all’ingresso della rocca ed un’altra sotto le mura del giardino dell’unico palazzo antico, come si diceva prima,  che ha un lato sulla piazza che oggi si chiama Matteotti,  nell’angolo che apre a via San Francesco,e lungo un isolato intero: è Palazzo Baldassini. 

Il grande palazzo apparteneva alla famiglia Del Monte. Per lo più si ricorda il cardinal  Del Monte, tra l’altro protettore di Caravaggio, ma suo fratello Guidobaldo 

Del Monte fu uno studioso di matematica, amico di Galileo, e diede un grande contributo nello studio sulle lenti e sulla prospettiva, applicata alla nascente prospettiva teatrale; fu anche architetto e suo è il palazzo Gradari. I suoi libri si trovano nella biblioteca Oliveriana. Il palazzo era stato costruito nella metà del 1500 per volere del marchese Ranieri Del Monte, generale delle milizie di Guidobaldo II Della Rovere. 

Non sono concordi le attribuzioni del palazzo: c’è chi dice lo abbia costruito Filippo Terzi, o Nicola Leonardi o proprio Guidobaldo Dal Monte, figlio del marchese. Iniziati i lavori nel 1564, proseguirono a rilento fino al 1690, quando la crisi economica dilagante ne impedì il completamento. Si può vedere ancora oggi che le finestre non hanno la riquadratura in pietra e il paramento è in mattoni a vista. 

Il grande portone bugnato è di Filippo Terzi, che realizzo anche quello del teatro. Ma il volume è più o meno quello originale. Il palazzo venne acquistato da Marcantonio Gozze e quando la figlia sposò il marchese Francesco Maria Baldassini nel 1715 divenne di proprietà dei Baldassini. 

L’edificio ha dentro un atrio che ricorda il gusto romano e al pian terreno una loggia a cinque arcate che apre al grande e bellissimo giardino all’italiana,  che si allunga su tutta piazzale Matteotti, e ancora oggi curatissimo. Il palazzo e il giardino vengono ora aperti in poche giornate speciali; l’ultima attività di sapore aristocratico che si ricorda è la scuola di scherma.