Mehr Licht ist immer gut für jede Art von AF: f4 vs f2. Den Motor im 16-80 empfinde ich nicht als langsam, aber eine kleine FB wie das 50er sollte auch da ggf. fixer sein.
Viele Festbrennweiten von Fujifilm sind noch nicht für schnellen Autofokus optimiert: 18/2, 35/1.4, 60/2.4, 23/1.4, 56/1.2 und ich glaube auch das 27/2.8 und IIRC auch noch das 14/2.8 sind da nicht die erste Wahl.
Da würde ich von einem aktuellen Zoom viel mehr erwarten.