Nel momento in cui Thomas Jackson giunge a Villa Imperiale, l ‘edificio si presenta molto meno attraente di quanto non sia poi diventato dopo il restauro realizzato dalla famiglia Castelbarco Albani, ma a lui piace molto anche così. 

Il fascino della dimora era sempre stato molto forte se anche l'autore Ludovico Agostini immagina di trascorrere undici giorni di villaggiatura estiva con sei amici nelle ville pesaresi in Soria ed in particolare nella Villa Imperiale. Nasce così le giornate soriane, scritto tra il 1572 e il 1574: un racconto di una società cortigiana, allegra e spensierata, dedita ai piaceri e al divertimento, lontana dalla calura della città e dagli assillanti problemi del vivere sociale.

Dall'introduzione dell'edizione moderna del manoscritto (Ms. 191):

"La più prestigiosa delle ville è quella dell'Imperiale, construita nel 1464 da Alessandro Sforza. affrescata da famosi artisti e superbamente arredata, era passata poi ai Della Rovere che, attraverso giardini, loggiati, viali di cipressi, l'avevano collegata con l'altra villa ducale, la "Vedetta", posta sulla cima dela colle, da cui dominava l'intera costa...... La prima giornata si svolge nel vasto giardino dell'Imperiale, dove il principe ereditario Francesco Maria conversa con l'allegra brigata, interrotto dai mafrigali del suo maestro di cappella Paolo Animuccia.....”

Jackson annota:

 “ Come la maggior parte delle costruzioni italiane di quel genere, l’Imperiale non presenta all’esterno particolari attrattive. Ci si trova davanti  una massa squadrata che sembra quella d’una caserma, con qua e là – ma non sempre – un torracchio e semplici mura di mattoni imbiancate e piene di buche che servivano  alle impalcature. Eppure questi edifici sembrano accordarsi perfettamente al loro circondario e nessun altra costruzione si armonizzerebbe così bene con il paesaggio. Il palazzo vecchio si distingue facilmente da quello nuovo…La grande torre di Genga è unita al palazzo vecchio nel quale entrammo attraverso un arco con lo stemma sforzesco…

Dentro c’è un piccolo cortile circondato da un grazioso loggiato e, ammassati attorno a un pozzo di marmo, in un angolo, c’erano i contadini che si lavavano gambe e piedi dall’uva che avevano pigiato. L’Imperiale è infatti oggi una fattoria nella quale solo poche stanze ammobiliate vengono riservate per quando il proprietario, il principe Albani di Milano, viene in visita alle proprie terre. Gli unici che ci vivevano erano il contadino e sua moglie, una graziosa contadinella, quest’ultima, che seppe fare con grazia gli onori di casa. 

Il piano terreno del palazzo vecchio è completamente spoglio e adibito soltanto a scopi agricoli, ma ci restano ancora alcuni bei camini. Una semplice scala porta al primo piano, dove, nelle stanze attorno al cortile, si trovano i dipinti murali…

Un ponte conduce al palazzo nuovo costruito dal Genga per la duchessa Leonora…

Il palazzo nuovo è completamente smantellato e, sebbene abbia il tetto, non è abitabile poiché sono state tolte anche le porte. Essendo costruito sul declivio del colle, il piano superiore s’apre alla fine dell’ala a livello di un incantevole giardino pensile che costituisce il quarto lato della nuova struttura quadrangolare. Era pieno di fiori di campo che crescevano rigogliosamente senz’ordine. La nostra guida ne offrì un mazzo “alla signora” . Una bella passeggiata giù per un sentiero ombroso e pieno di fango ci riportò con un tragitto più corto alla porta della città”.