Il Palazzo, sede fin dal 1588 della Congregazione della Carità fondata agli inizi del ‘500 ed intitolata a San Filippo Neri dal 1622, nella sua forma complessiva è databile intorno alla metà del XVIII secolo; sviluppatosi sul sedime dell’ex convento delle Monache Convertire, rappresenta nell’apparato decorativo della facciata, opera dell’architetto Pancrazio Soncini, un significativo esempio di linguaggio eclettico-liberty della seconda metà dell’Ottocento e conserva al suo interno interessanti apparati decorativi e arredi settecenteschi.
Il palazzo, a due piani fuori terra oltre al sottotetto e al seminterrato, si sviluppa attorno a tre cortili interni: due che si aprono lungo l’androne d’ingresso ed il terzo, visibile dall’ex-farmacia, nell’impianto settecentesco adibito a giardino. La facciata è caratterizzata da fascia marcapiano e marcadavanzale al piano primo, e da due ampie modanature rettangolari con rosoni circolari inscritti che definiscono verticalmente il modulo centrale, con sei assi di aperture e grande portone di accesso centinato, rispetto ai due moduli laterali, a due assi di aperture.
L’ingresso principale conduce all’interno di un androne voltato a botte, che prosegue in linea col portico interno del cortile, a tre campate, di cui la prima con volta a crociera. A metà dell’ingresso parallelamente a via Cavestro si sviluppa il grande scalone in laterizio ad archi rampanti, decorato da cornici pittoriche di gusto ottocentesco. Esiste un secondo collegamento verticale, di minore importanza collocato all’estremità dell’edificio, si vicolo S.Tiburzio. Il piano nobile è concepito con una serie di corridoi con volte a crociera attorno ai cortili interni, da cui si raggiungono le varie sale e stanze, fino al 2002 occupate dalla pinacoteca Stuard. Al termine dell’androne, attraverso una serie di gradini, si accede attraverso una porta a vetri centinata alla parte più caratteristica dell’immobile, rappresentata dall’antica farmacia di S.Filippo Neri e dai locali contigui corrispondenti all’antico oratorio. Agli albori del XVII secolo la Congregazione infatti dava vita ad un vero servizio farmaceutico, fino alla fondazione e gestione in proprio nel 1670 di un a farmacia. Si tratta di un locale a pianta rettangolare, dove due grandi pilastri posti lungo l’asse longitudinale organizzano la copertura con volte a crociera, e che conserva l’elegante mobilio settecentesco in legno scuro. La farmacia rimase aperta al pubblico fino al 1966. Accanto alla farmacia, un piccolo ambiente a pianta quadrata ad est, accessibile direttamente da vicolo S.Tiburzio, che fungeva da suo vestibolo, come lo era stato un tempo dell’adiacente oratorio, interamente affrescato.
L’edificio in oggetto è una struttura storica in muratura, con piano terra coperto da volte di varia geometria, piano primo coperto con solai piani in legno o in ferro, copertura a falde in legno e scale generalmente a volte rampanti in laterizio o in legno; l’attuale conformazione della costruzione risale nella sua sostanza alla seconda metà dell’ottocento, periodo al quale risale un consistente intervento di ristrutturazione degli edifici preesistenti.