Palazzo Olivieri, poi Machirelli,  è il primo palazzo realizzato sul disegno dell’architetto Giannandrea Lazzarini;  il progetto è del 1747, data testimoniata dall’inizio della corrispondenza tra committente ed architetto, mentre la costruzione ebbe avvio nel 1749. 

A commissionare il palazzo fu Annibale degli Abbati Olivieri, storico ed erudito di fama, segretario di quella Accademia Arcadica (Colonia Isaurica) che fu il punto di riferimento degli intellettuali pesaresi e non solo. Il Palazzo, nella concezione del committente e del progettista, doveva configurarsi come “il contenitore fisico e strutturale dei prodotti e delle manifestazioni culturali della Pesaro settecentesca”: vi furono collocati infatti la biblioteca, il lapidario, la raccolta numismatica, la collezione antiquaria, il museo delle scienze naturali, tutto ciò che costituirà in seguito il nucleo principale della Biblioteca e dei musei Oliveriani, in funzione nel palazzo dal 1793 per circa un secolo: Infatti  nel 1884 l’Amministrazione Comunale acquisterà il palazzo per farne la sede del Liceo Musicale Rossini, trasferendo le collezioni della Biblioteca e Musei Oliveriani nel vicino palazzo Almerici, in via Mazza.

In tale occasione fu decisa una ristrutturazione complessiva dell’edificio, intervenuta tra il 1884 ed il 1892, per adattare lo stabile alle sue nuove funzioni; contestualmente fu edificato l’Auditorium Pedrotti  sull’area disponibile alla destra del palazzo, la cui settecentesca facciata dovette perciò subire un rilevante ampliamento con la creazione di un secondo ingresso identico a quello originario disegnato dal Lazzarini e sovrastato da una balconata in pietra.

L’aspetto che ebbe la facciata per tutto il secolo XVIII e per gran parte del successivo, è testimoniato da un’incisione di Giovanni Stefani datata 1790 e da un acquerello di Romolo Liverani di metà 800.