Weil bei einem Schwenk der Kamera die Schärfeebene (liegt normalerweise parallel zum Sensor) geändert wird.
Etwas überzeichnet beschrieben: wenn Du vor einem Kirchturm stehst und mit dem zentralen AF-Punkt die Tür in Bodennähe anfokussierst, und dann nach oben schwenkst, weil Du das Zifferblatt der Uhr oben am Turm in der Mitte des Bildes haben willst, wirst Du garantiert einen Frontfokus haben, da die Uhr weiter entfernt ist als die Tür (Stichwort: Satz des Pythagoras

). Im umgekehrten Fall (Fokussierung auf Turmuhr, Schwenk auf das Portal) gibt es einen Backfokus, denn die Tür ist näher dran an der Aufnahmeposition als die Uhr...
Beim Schwenken der bereits fokussierten Kamera wandert der Schärfepunkt in der Mitte des Bildes quasi auf einer Kugeloberfläche, und die Schärfeebene verläuft als Tangentialebene durch ihn hindurch.
Kurz gesagt, bei stark exzentrischer Position des scharfzustellenden Hauptmotivs lieber den nächstgelegenen AF-Punkt verwenden und nur sehr wenig schwenken...