Der Bau des Palazzo Pfanner geht auf das Jahr 1660 zurück, als die adelige Luccheser Seidenhändlerfamilie Moriconi einen Architekten, wahrscheinlich aus Genua, mit dem Bau eines prachtvollen Barockpalastes innerhalb der Stadtmauern beauftragte.

Der Besitz ging 1680 an die Familie Controni, die ebenfalls zum Handelspatriziat in Lucca gehörte. Die Controni erweiterten den Bau 1686 durch die große Außentreppe und zu Anfang des 18. Jahrhunderts durch den prächtigen Garten im italienischen Stil, der Filippo Juvarra zugeschrieben wird. Im Jahre 1692 hatte Carlo Controni den Prinzen Frederik von Dänemark und Norwege zu Gast in seinem Hause, der während seiner Grand Tour durch Italien nach Lucca gekommen war. In der zweiten Hälfte des 19. Jahrhunderts wurde der Komplex von Felix Pfanner erworben, einem Bierbrauer aus Österreich, der 1846 auf Einladung des Herzogs Carlo Lodovico von Bourbon nach Lucca gekommen war. Der Herzog hatte gewünscht, dass die Herstellung von Bier in der Stadt in die Hände "eines fähigen deutschen Braumeisters" gelegt würde.

Bis heute befindet sich der Palazzo im Besitz der Familie Pfanner, die vor kurzem die Restaurierung der Außenfassaden, von Teilen des Inneren sowie der Fresken an der großen Freitreppe in Auftrag gegeben hat. Seit Ende der 90er Jahre sind sowohl der Garten als auch die Wohnräume des Palazzo für den Publikumsverkehr zugänglich und werden unter anderem für temporäre Ausstellungen, Konzerte und kulturelle Begegnungen genutzt

Durch eine Ausschreibung verfügte der Herzog von Lucca, Carlo Lodovico von Bourbon, im Jahre 1835, dass die Herstellung von Bier in der Stadt in die Hände "eines fähigen deutschen Braumeisters" gelegt würde.

Auf diese Bekanntmachung des Herzogs hin meldete sich der österreichische Bierbrauer Felix Pfanner, der 1846 aus Hörbranz, seinem Heimatort am Bodensee, nach Lucca kam. Dort eingetroffen, begann er mit der Herstellung von Bier, gemeinsam mit seinem Kompagnon Gabor Kovacevich. 1856 entschied er sich, allein weiter zu machen, und gründete die Brauerei Pfanner. Als Sitz für seinen Bierausschank wählte er den damaligen Palazzo Controni, von dem er den Garten, die Keller und das Erdgeschoss anmietete.

In den Keller stellte er die Apparaturen und die Wannen zur Gärung der Gerste, und im Garten richtete er eine großzügige Laube mit Stühlen, gusseisernen Tischen und einer Marmortheke für den Ausschank ein. Die Brauerei Pfanner, die erste im Herzogtum Lucca und eine der ersten überhaupt in Italien, wurde zu einem beliebten Treffpunkt für alle Luccheser und Auswärtigen, die ein paar Stunden bei einem Glas Bier verbringen wollten, in einem prächtigen monumentalen Rahmen, eingetaucht in eine Belle-époque-Atmosphäre. Der Erfolg, den er mit dem Biergarten hatte, ermöglichte es Felix Pfanner, den gesamten Palazzo zu erwerben, der seither seinen Namen trägt. Die Brauerei wurde 1929 geschlossen.

Wegen seiner eindrucksvollen architektonischen Anlage wurde der Palazzo mehrmals als Drehort für Filme ausgewählt. Hier wurden gedreht: Arrivano i Bersaglieri von Luigi Magni (1980) mit Ugo Tognazzi und Pippo Franco, Il Marchese del Grillo von Mario Monicelli (1981) mit Alberto Sordi und Paolo Stoppa, und The Portrait of a Lady von Jane Campion (1996) mit Nicole Kidman und John Malkovich.