Erstmal ist die Suggestivfrage "Warum sind alle Fuji FB so langsam" schlicht falsch. Es gibt durchaus schnelle Festbrennweiten.
Die Aussage "da muss viel Glas bewegt werden" trifft auf einige Objektive zu. Man unterscheidet zwischen der "All Lens Group (ALG) Fokussierung" und der "Innenfokussierung".
Bei der ALG werden ganze zusammenhängende Linsengruppen verschoben, um die optimale Schärfe und bestes Bokeh zu verwirklichen. Hier ist die aufzuwendende Stellkraft naturgemäß viel höher als bei der Innenfokussierung, bei der lediglich eine kleine und leichte Linsengruppe am hinteren Ende des Objektivs bewegt wird.
ALG war bei manuellen Objektiven "normal", da mit der Hand genügend Kraft vorhanden ist, um den Fokus zu korrigieren. Fuji setzt ALG u.a. beim XF 18 f2 und XF 35 1.4 ein. Insbesondere bei Zooms kommt immer die schnelle Innenfokussierung zum tragen.
Fuji ist es sehr hoch anzurechnen, den Schritt zu ALG per Autofokus realisiert zu haben. Präzision / Bildwirkung ist damit gegenüber AF Speed quasi bautechnisch priorisiert. Wenn AF Speed im Vordergrund steht, sollten ALG Objektive gemieden werden.
Sidekick: Leica Objektive sind quasi immer ALG