Doppelte Fotos finden?

Hallo liebes Forum,

ich habe meine Festplatten aufgeräumt und auch die ganzen Fotos von meinen Smartphones exportiert und wollte nun diese Bilder in Lightroom importieren, dort sichten, aufräumen und verwalten.

Dazu habe ich ein neues Verzeichnis im Dateisystem angelegt in dem sich alle diese Fotos (u.a. sehr viel JPG, da aus den Smartphones) befinden (u.a. auch in weiteren Unterverzeichnissen)

Wenn ich nun diesen "Ordner Synchronisiere", dann werden mir im Importdialog uner "Alle Fotos" einige Fotos angezeigt, die ausgegraut sind. Die Option "Mögliche Duplikate nicht importieren" ist aktiv.

Mit einem DuplicateFileFinder habe ich mein gesamtes Fotoarchiv durchsuchen lassen und auf doppelte Einträge hin untersuchen lassen (MD5-Checksumme oder ähnlicher Algorithmus). Dieser findet aber keine Duplikate. Vermutlich, weil die Metadaten in der JPG-Datei verändert wurden (sei es durch Lightroom, weil diese Fotos schon früher importiert und verschlagwortet wurden oder später durch irgenwelche nicht bekannten Algorithmen auf den Smartphones selbst). Und das obwohl Lightroom XMP-Dateien für Bearbeitungen anlegt.

Jetzt suche ich eine Möglichkeit diese möglichen Duplikate zu sichten und mit der in Lightroom bereits importieren Datei zu vergleichen und bei Gleichheit die Datei im neuen Ordner zu löschen.

Wer hatte das gleiche Problem und wie habt ihr es gelöst? Vielen Dank für Eure Tipps.

Techn. Hinweise: LR 6.12 auf Win 7

ich benutze Anti-Twin um Doubletten zu finden, in der Einstellung Bytes . Achtung: Software arbeitet mit voreingestellter Grenze 1000 , das kann zu wenig sein, insbesondere wenn whatsApp Bilder einbezogen werden.==> Testen!!!

http://www.aidex.de/software/antitwin/

düres schrieb:

ich benutze Anti-Twin um Doubletten zu finden, in der Einstellung Bytes . Achtung: Software arbeitet mit voreingestellter Grenze 1000 , das kann zu wenig sein, insbesondere wenn whatsApp Bilder einbezogen werden.==> Testen!!!

http://www.aidex.de/software/antitwin/

Zum Vergrößern anklicken....

Danke für den Tipp. Den byteweisen Vergleich habe ich ja mit meinem Tool auch. Aber ich glaube ich brauche ein Tool, welches bei Fotos nur die Bilddaten vergleicht, aber die Metadaten aussenvor lässt. Oder beim Vergleich ggf. noch das Erstelldatum mit einbezieht.

Teekesselchen und detaillierte Anleitung.

düres schrieb:

ich benutze Anti-Twin um Doubletten zu finden, in der Einstellung Bytes . Achtung: Software arbeitet mit voreingestellter Grenze 1000 , das kann zu wenig sein, insbesondere wenn whatsApp Bilder einbezogen werden.==> Testen!!!

http://www.aidex.de/software/antitwin/

Zum Vergrößern anklicken....

Ich habe mir das Tool doch mal angechaut, da ich auf einem Screenshot irgendetwas von 95% gesehen habe, dass mich stutzig gemacht hat.

Nun läuft es gerade auf einem Testverzeichnis. Ist aber für 3 GB Bilder schon recht lange beschäftigt. Frage mich, wie es erst bei einer 3 TB Fotodatenbank laufen wird...

Ich benutze Antitwin auch. Alles außer den 100% Vergleichen läuft extrem langsam. Akzeptabel ist die Antwortzeit (2-3 Minuten) nur bei einer Menge von 250-500 Bildern. Leider.

Am schnellsten und besten funktioniert mein uraltes ThumbsPlus 6.

Ich habe gerade mal AllDub 4.0.23 auf meine Festplatte mit den Bildarchiven losgelassen. Alldub.exe findet auch Bildduplikate sowohl nach Inhalt, nach Dateiname, -Suffix usw.
Du kannst frei bestimmen, nach welchen Attributen gesucht werden soll. Die Suche geschieht je nach gewähltem Attribut sehr schnell oder bei Bytevergleich und Inhaltssuche mit ordentlicher Geschwindigkeit. Auch bei großen Datenmengen. Du kannst jederzeit die Suche abbrechen und das Suchergebnis ansehen und jederzeit die Suche am Unterbrechungspunkt fortsetzen. Ich bin schon viele Jahre ein Fan dieses Programms, das nicht nur kostenlos ist, sondern auch leicht zu bedienen ist.

Die neueste AllDub-Version 4.0.24 gibt es hier.
Ich werde mir bei dieser Gelegenheit auch die neueste Version downloaden.

Rudolino schrieb:

...Ich bin schon viele Jahre ein Fan dieses Programms, das nicht nur kostenlos ist, sondern auch leicht zu bedienen ist.

Die neueste AllDub-Version 4.0.24 gibt es hier.
Ich werde mir bei dieser Gelegenheit auch die neueste Version downloaden.

Zum Vergrößern anklicken....

Donnerwetter! Habe es gerade mal ausprobiert und es funktioniert hervorragend und arbeitet sehr schnell. Danke für den Tip!

Magnus_5 schrieb:

Ich benutze Antitwin auch. Alles außer den 100% Vergleichen läuft extrem langsam. Akzeptabel ist die Antwortzeit (2-3 Minuten) nur bei einer Menge von 250-500 Bildern. Leider.

Zum Vergrößern anklicken....

Oje, ich habe das Programm gerade mal beobachtet.
Es sieht so aus, als würde er jedes Bild mit allen Bildern abgleichen und dabei die Bilder jedes Mal neu einlesen. Dann wundert es mich nicht, dass es so langsam ist. Das Programm müsste dringend optimiert werden. Aber es wird wohl seit neun Jahren nicht mehr weiter entwicklet. Schade, die ersten Testläufe wirkten vielversprechend....

Hightower2008 schrieb:

Oje, ich habe das Programm gerade mal beobachtet.
Es sieht so aus, als würde er jedes Bild mit allen Bildern abgleichen und dabei die Bilder jedes Mal neu einlesen. Dann wundert es mich nicht, dass es so langsam ist...

Zum Vergrößern anklicken....

Nein, so schlimm ist es nicht. Antitwin liest erst alle Dateien ein. Das dauert seeehr lange. Dann vergleicht es Bild-1 mit den n-1 anderen, dann Bild-2 mit den n-2 anderen, dann... Zum Ende hin wird der Prozess deshalb sehr schnell.

Aber kein Vergleich mit diesem AllDup! Bin ganz begeistert davon!

Magnus_5 schrieb:

Nein, so schlimm ist es nicht. Antitwin liest erst alle Dateien ein. Das dauert seeehr lange. Dann vergleicht es Bild-1 mit den n-1 anderen, dann Bild-2 mit den n-2 anderen, dann... Zum Ende hin wird der Prozess deshalb sehr schnell.

Zum Vergrößern anklicken....

Ja, aber für meine (wenigen) Fotos fand ich es trotzdem recht lang. Und wenn ich das über meine 150.000 Fotos laufen lasse, dann kann ich den Rechner wohl vier Wochen lang nicht nutzen. Ausserdem glaube ich, dass die Anwendung nicht mit RAW-Fotos umgehen kann. Evtl. würde er diese rausfiltern. Aber JPGs habe ich trotzdem mehr als genug (aus Zeiten meiner ersten Digicam).

Aber dafür war das Ergebnis sehr akkurat. 2 Treffer!

Magnus_5 schrieb:

Aber kein Vergleich mit diesem AllDup! Bin ganz begeistert davon!

Zum Vergrößern anklicken....

Das Programm habe ich weit nach dem Start von Antitwin gestartet und es war früher fertig. Aber ich muss wohl noch an den Parametern schrauben, denn das was er mir teilweise als ähnlich vorgeschlagen hat war abenteuerlich.

Du willst Duplikate von eventuell bearbeiteten Bildern in einem riesigen Datenbestand finden, hört sich auf den ersten Blick einfach an. Ist es aber nicht.

Dein Problem ist es, dass du den Wirrwarr selbst erzeugt hast. Deshalb weiß auch nur du wie die Duplikate heißen könnten und wonach du suchen musst.
Wahrscheinlich musst du mehrere Tools zur Auffindung ausprobieren. Danach kommt nur Fleißarbeit und Ausdauer in der Sichtung. Das alte "Do it your self".

Falls du auf KI spekulierst, so wirst du entttäuscht werden. KI kann noch immer nicht das eigene Auge und unsere Gehirninterpretation nachbilden. Lade mal ein Bild in die Google_Search hoch und erfreue dich an dem Müll, den diese Software dir anbietet.

Ich glaube, dir steht viel manuelle Bildvergleichsarbeit bevor. Dafür musst du dir deinen eigenen Workflow erarbeiten und durchhalten. z.B. kannst du zwei Programminstanzen (zweimal den Explorer oder andere Apps in Windows) nebeneinander anzeigen lassen. Die oben genannten Programme werden dir ein Stück weit helfen, aber nicht alle Probleme lösen.

Viel Glück. Lass uns bitte wissen, wie du das Problem vür dich gelöst hast.

@Rudolino: Danke für Dein Posting. Bei meinen "richtigen" Fotos habe ich seit Lightroom gut aufgeräumt. Nur den Handyfotos habe ich keine grosse Bedeutung beigemessen, das rächt sich jetzt.

Manchmal habe ich alle Fotos vom Handy auf den Rechner verschoben, manchmal nur einige, manchmal nur kopiert. Dann habe ich komplette Backups des Dateisystems bzw. der Speicherkarte gemacht usw.

Bearbeitet sind die Bilder selten und selbst wenn wäre es ok wenn ich ein vorher/nachher Bild hätte.

Aber ich habe festgestellt, dass manchmal die Bilder umbenannt wurden oder irgendwie die Metadaten verändert wurden, so dass zwei identische Bilder eben nicht mehr die gleiche Bytefolge bzw. Prüfsumme haben.

Mit dem DuplicateFileFinder oder auch dem TotalCommander habe ich sehr gute Erfolge erzielt. Doch jetzt wird es knifflig. Aber Geduld habe ich und ich weiss, dass es nicht einfach sein wird. Aber irgendwann muss es gemacht werden.

BTW: Ich habe mich zum Glück zuerst um ein ordentliches Backup gekümmert. Sollte ich als Fehler machen, kann ich die Bilder immer noch zurück holen.

Lade einfach den LR Testversion und importiere deine Bilder mit Duplikaten ausfiltern in Import Dialog. LR CC ist in diesem Sinn noch besser als LR Version. Die vergleicht nicht nur Metadata, sondern Bilderinhalt, glaube ich