Es kommt auch immer ganz auf die Fotos an die Du machst. Es gibt gewiss viele Situationen wo Du nicht merkst ob Du Deine D5100 verwendest oder eine Xt3 oder D810.
Der Hauptunterschied liegt meines Erachtens darin ob Dir der EFV liegt oder Du einen optichen Sucher bevorzugst.
Das Handling einer spiegellosen Systemkamera ist auch ein ganz anderes als das ein DSLR.
Ich würde das ganz einfach einmal mit einer gebrauchten DSLM ausprobieren ob Dir das überhaupt liegt. Es könnte sein dass Dir das fotografisch einen Kick gibt weil Du die Kamera einfach mehr mitnimmst.
Ich persönlich habe fast alle Systeme durch von mft, Sony APS-C und KB, Fuji, etc.
Letztendlich bin ich wieder da gelandet wo ich immer war bei Nikon DSLR. Eine D800e ist für mich sowas von überbordend ausreichend dass ich mir nun echt keine Gedanken machen muss wie ich nun upgraden möchte.
Deine Entscheidung solltest Du erstmal so aufbauen:
DSLR oder DSLM
dann
APS-C oder KB
Entscheidend finde ich persönlich auch welche Objektive ich verwenden möchte. Was kosten die in dem jeweiligen System. Wie gut sind sie. Wie groß und schwer werden die Kombis dann.