Ich würde Dir auch wärmstens empfehlen, Dir so ein Ding vielleicht erst mal zu leihen. Bei Olympus gab's mal eine Leihaktion, weiß nicht, ob das nicht aktuell ist?
Ich schaue auch seit langem immer mal wieder zu den Spiegellosen rüber (habe eine Pentax K-1; K-30), aber letztlich gibt es immer zwei Punkte, die mich einfach nicht überzeugt haben. Hatte kurzzeitig auch mal eine Fuji X-T10.
Der elektronische Sucher. Klar sind die Dinger deutlich besser als vor Jahren und es gibt natürlich auch Vorteile dieser Sucherart. Dennoch will ich immer noch das "richtige Bild" sehen. Du sagst, du magst Dein Gesicht nicht an nein Bildschirm drücken? Jetzt drückst Du Dein Auge an einen Bildschirm

. Aber das ist wohl auch eine Gewohnheitssache. Mit der Zeit fällt es einem vielleicht gar nicht mehr auf. Meines ist es aber immer noch nicht.
Wichtiger, weil eben grundlegend, ist der Faktor Form. Es hilft mir die vermeintlich beste Kamera nichts, wenn sie haptisch und von der Ergonomie her einfach nicht gut ist. Klar, das ist individuell deswegen ja auch der Tipp, das wirklich erst mal gut auszuprobieren. Wenn Du gewohnt bist, eine Kamera auch gut halten zu können, musst Du wohl abstriche machen bei den von Dir genannten Modellen, mal mehr, mal weniger. Es gibt zwar die Möglichkeit Handgriffe an bestimmte Modelle zu schrauben, aber die sind meiner Meinung nach auch nicht auf DSLR Niveau. Na gut, einen Tod muss Du wohl sterben bzw. Dich an irgendwas gewöhnen. Mehr Volumen/Gewicht bei der DSLR, und andere Abstriche bei den Spiegellosen.
Solange Du kleines Glas dran schraubst mag das noch alles okay sein, aber sobald es mal größer wird, ist es für mich(!) ein Witz. Und gerade bei Fuji wird Glas auch schnell mal groß und geht das Verhältnis Kamera Objektiv einfach relativ schnell aus den Fugen.
Hier mal mit dem 16-55mm 2.8:
http://camerasize.com/compact/#703.448,ha,t
Oder hier mit dem 50-140mm:
http://camerasize.com/compact/#703.621,ha,t
Man sieht schnell, dass hier das Konzept an Sinnhaftigkeit verliert bzw. deutlich einbüßt. Je nach Sichtweise.
Ich habe für mich den Schluss gezogen, dass Fuji für mich als DSLR Ersatz nur Sinn macht, wenn ich in Sachen Größe nicht zwingend abspecken will/muss.
Wenn es wirklich kompakter sein soll, dann halte ich Olympus für die bessere Wahl. Da würde mich aber der kleine Sensor abschrecken. Ich will einfach keinen Rückschritt in dieser Hinsicht machen. Freistellung ist das eine, Bildrauschen das andere. Es gibt ja Internetseiten, wo Du mal Deine jetzige Nikon mit einer aktuellen Olympus bei höheren ISO vergleichen kannst. Ich habe das auch getan und nicht gedacht, dass die Unterschiede so groß sind. Insofern war auch Olympus schnell keine Lösung für mich, zumindest nicht als Ersatz zur DSLR. Das Bild ist das wichtigste und da wollte ich keine Rückschritte in Kauf nehmen (was die Bildqualität unter bestimmten Bedingungen angeht).
Ich bin mit meiner DSLR jetzt mehr zufrieden denn je, nachdem ich mir die Spiegellosen mal so richtig angesehen habe und die Nachteile wirklich anerkannt habe. Klar, das Neue hat mich auch stark gelockt, aber hilft ja alles nichts

.
Zumal es bei Pentax sehr kompakte Objektive wie die Limiteds gibt. Da ist dann die Not zu wechseln noch mal ein Stück kleiner (z.B.
http://www.ricoh-imaging.de/de/k-bajonett/DA-40-mm-f-2.8-XS.html).
Mein Tipp also, versuch mal an eine Leihkamera zu kommen, bevor Du Deine Nikon abgibst.
Zweiter Tipp: Vielleicht bringt auch eine der vielen guten (Edel)kompakten etwas als Ergänzung zur DSLR. Z.B. die Canon G7 X Mark II oder dergleichen.