La costruzione di Palazzo Pfanner risale al 1660. Furono i Moriconi, membri del patriziato mercantile lucchese, a commissionarne l'edificazione. Travolti dal fallimento economico, i Moriconi furono costretti nel 1680 a vendere l'edificio ai Controni, anch'essi mercanti della seta ascesi al rango nobiliare. I Controni si dedicarono all'ampliamento dell'edificio: intorno al 1686 sovrintesero ai lavori per la realizzazione dello scalone monumentale su progetto, si presume, di Domenico Martinelli (1650-1718), architetto e ingegnere lucchese noto per la sua intensa attività presso le corti europee di Vienna e Praga; ai primi del Settecento commissionarono, con ogni probabilità a Filippo Juvarra (1678-1736), la riqualificazione del retrostante giardino; sempre nello stesso periodo affidarono a pittori 'quadraturisti' locali l'affrescatura delle volte dello scalone e degli interni della residenza nobiliare. E' nella residenza che i Controni, nel 1692, ospitarono il principe Federico di Danimarca  di passaggio a Lucca nel corso del suo Grand Tour.

La vicenda della famiglia Pfanner s'intreccia con la secolare storia del Palazzo verso la metà dell'Ottocento. Fu infatti Felix Pfanner (1818-1892), birraio nativo di Hörbranz (Austria), ma di famiglia bavarese, ad acquistare progressivamente l'intera struttura dopo avervi istallato, a partire dal 1846, la sua birreria, la prima del Ducato di Lucca e una delle prime in Italia. La storica Birreria Pfanner, ameno luogo di produzione e mescita collocato tra il giardino e le cantine del Palazzo, chiuse nel 1929.

Il Palazzo è tuttora di proprietà della famiglia Pfanner la quale, a partire dal 1995, ha intrapreso un'impegnativa opera di restauro promuovendone altresì la valorizzazione attraverso l'apertura al pubblico e l'organizzazione di esposizioni e concerti.

Con un bando emanato nel 1835 il duca di Lucca Carlo Lodovico di Borbone decretò che la fabbricazione della birra in città si svolgesse sotto la direzione di «un abile fabbricatore tedesco».

All’appello del duca rispose il birraio austriaco Felix Pfanner il quale giunse a Lucca nel 1846 da Hörbranz, suo paese di origine situato sulle sponde del lago di Costanza. Una volta a Lucca Felix cominciò a produrre la birra in società con Gabor Kovacevich. Come sede del suo birrificio scelse l'allora Palazzo Controni di cui affittò il giardino, le cantine e il piano terra.

Posizionò in cantina i macchinari e le vasche di fermentazione dell’orzo, e allestì in giardino un ampio pergolato con sedie, tavoli di ghisa e un bancone di marmo per la mescita. La birreria Pfanner, la prima a sorgere nel Ducato di Lucca e tra le prime ad essere impiantata in Italia, diventò un tradizionale luogo d’incontro per tutti quei lucchesi e forestieri che amavano passare qualche ora in compagnia di un boccale di birra, seduti in mezzo a una splendida cornice monumentale immersa in un’atmosfera da Belle époque. Grazie al successo ottenuto con la birreria, Felix riuscì ad acquistare l’intero Palazzo che da allora prese il suo nome. La birreria chiuse nel 1929.

Per il suo suggestivo impianto architettonico, il Palazzo è stato scelto più volte come location di eventi cinematografici. Qui sono stati girati Arrivano i Bersaglieri di Luigi Magni (1980), con Ugo Tognazzi e Pippo Franco, Il Marchese del Grillo di Mario Monicelli (1981), con Alberto Sordi e Paolo Stoppa, e Ritratto di signora di Jane Campion (1996), con Nicole Kidman e John Malkovich.