Der Palazzo Pfanner geht auf das Jahr 1660 zurück. Damals gab die Familie Moriconi, die dem Luccheser Handelspatriziat angehörte, den Bau des Palazzo in Auftrag. Schon bald gerieten die Moriconi in wirtschaftliche Schwierigkeiten und waren gezwungen, den Bau im Jahr 1680 an die Controni zu verkaufen. Auch sie waren als Seidenhändler ins Patriziat aufgestiegen. Die Controni erweiterten das Bauwerk: Zum Ende des 17. Jahrhunderts ließen sie die  monumentale Treppe anlegen, wahrscheinlich nach Plänen des Luccheser Architekten und Ingenieurs Domenico Martinelli (1650-1718), der für seine Tätigkeit an den europäischen Höfen in Wien und Prag bekannt war. Zu Anfang des 18. Jahrhunderts gaben sie die Neugestaltung des rückwärtigen Gartens in Auftrag, höchstwahrscheinlich an Filippo Juvarra (1678-1736). Zur selben Zeit verpflichteten sie örtliche 'Quadraturista'-Maler für die Freskierung der Gewölbe über der Monumentaltreppe und im Innern des herrschaftlichen Wohnbereichs. Hier hatten die Controni im Jahr 1692 den Prinzen Frederik von Dänemark zu Gast, als er im Verlauf seiner Grand Tour durch Italien in Lucca Station machte.

Die Geschicke der Familie Pfanner verknüpfen sich in der Mitte des 19. Jahrhunderts mit der jahrhundertealten Geschichte des Palazzo. Felix Pfanner, ein Bierbrauer aus Hörbranz (Österreich), allerdings aus bayerischer Familie, erwarb Schritt für Schritt den gesamten Komplex, nachdem er hier im Jahr 1846 ein Brauhaus eingerichtet hatte - das erste im Herzogtum Lucca und eines der ersten in Italien. Die historische 'Birreria Pfanner' mit Brauerei und Bierausschank nahm Garten und Kellerräume des Palazzo ein. Sie wurde 1929 geschlossen.

Bis heute befindet sich der Palazzo im Besitz der Familie Pfanner, die mit großem Einsatz seit 1995 die Restaurierung des Bauwerks betreibt. Darüber hinaus sorgt sie für die Aufwertung des Palazzo durch die Öffnung für den Publikumsverkehr und die Organisation von Ausstellungen und Konzerten.

Durch eine Ausschreibung verfügte der Herzog von Lucca, Carlo Lodovico von Bourbon, im Jahre 1835, dass die Herstellung von Bier in der Stadt in die Hände «eines fähigen deutschen Braumeisters» gelegt würde.

Auf diese Bekanntmachung des Herzogs hin meldete sich der österreichische Bierbrauer Felix Pfanner, der 1846 aus Hörbranz, seinem Heimatort am Bodensee, nach Lucca kam. Dort eingetroffen, begann er mit der Herstellung von Bier, gemeinsam mit seinem Kompagnon Gabor Kovacevich. Als Sitz seiner Brauerei wählte er den damaligen Palazzo Controni und mietete dort den Garten, die Keller, and das Erdgeschoss an.

In den Keller stellte er die Apparaturen und die Wannen zur Gärung der Gerste, und im Garten richtete er eine großzügige Laube mit Stühlen, gusseisernen Tischen und einer Marmortheke für den Ausschank ein. Die Brauerei Pfanner, die erste im Herzogtum Lucca und eine der ersten überhaupt in Italien, wurde zu einem beliebten Treffpunkt für alle Luccheser und Auswärtigen, die ein paar Stunden bei einem Glas Bier verbringen wollten, in einem prächtigen monumentalen Rahmen, eingetaucht in eine Belle-époque-Atmosphäre. Der Erfolg, den er mit dem Biergarten hatte, ermöglichte es Felix Pfanner, den gesamten Palazzo zu erwerben, der seither seinen Namen trägt. Die Brauerei wurde 1929 geschlossen.

Wegen seiner eindrucksvollen architektonischen Anlage wurde der Palazzo mehrmals als Drehort für Filme ausgewählt. Hier wurden gedreht: Arrivano i Bersaglieri von Luigi Magni (1980) mit Ugo Tognazzi und Pippo Franco, Il Marchese del Grillo von Mario Monicelli (1981) mit Alberto Sordi und Paolo Stoppa, und The Portrait of a Lady von Jane Campion (1996) mit Nicole Kidman und John Malkovich.