Mam burdel bałagan bajzel chlew nieporządek w plikach.
Zalazło się trochę duplikatów plików, które są takie same. Obecnie aby sprawdzić czy dwa pliki są jednakowe sprawdzam ich dumy MD5 / SHA256 i porównuję.
Czy istnieje lepszy sposób na znajdowanie i usuwanie duplikatów plików?
Jedziesz bajt po bajcie i jak się nie zgadzają, to pliki są różne. Po co czytać cały plik i jakieś hasze liczyć?
Tylko posortuj najpierw po długości, bo się nie doczekasz wyniku. :P
A osobiście używam programu o nazwie AllDup.
Możesz też używać w skrypcie wsadowym standardowego polecenia COMP - zwraca ono informację o identyczności jako errorlevel (1 - różne, 0 - takie same). https://ss64.com/nt/comp.html
https://github.com/qarmin/czkawka -> znajduje także obrazy "podobne" i ma inne porównania do szukania duplikatów.
http://anti-twin.com/
stare ale jare
somekind napisał(a):
Jedziesz bajt po bajcie i jak się nie zgadzają, to pliki są różne. Po co czytać cały plik i jakieś hasze liczyć?
Bo w ten sposób musi porównać każdy z każdym. Licząc hasze może je wrzucić do Map<Hash, List<File>> i całość ma szansę się wykonać nie wpływając na bilans energetyczny kraju ;)
piotrpo napisał(a):
Bo w ten sposób musi porównać każdy z każdym.
Każdy z każdym w ramach grupy o tym samym rozmiarze, typie i dacie. No ale ok, to jeśli taka grupa ma więcej niż dwa elementy, to można zoptymalizować licząc hasz.
Podepnę się pod temat bo mam podobny problem - mam mnóstwo zdjęć, niektóre z nich są zdublowane w gorszej jakości (np wysłane whatsappem). Chciałbym usunąć zdjęcia o gorszej jakości.
Niestety narzędzia które przetestowałem do znajdowania duplikatów obrazków są wolne i dopuszczają zbyt wiele zmian. Większość każe sobie podać "współczynnik podobieństwa" obrazków. Ja nie chcę wyszukiwać podobnych obrazków tylko obrazków identycznych o gorszej rozdzielczości.
Ciężko odgadnąć jaki ma być ten współczynnik - 100% to nie jest, bo przez kompresję piksele nie są identyczne, ale jednocześnie 99% to za mało bo często znajduje dwa bardzo podobne obrazki (np po drobnej obróbce / nałożeniu filtra i przed). Czy jest na to jakiś ciekawy trick / algorytm?
@obscurity: Ciekawego tricku raczej nie znajdziesz. I jest pytanie co to są takie same zdjęcia? Jak masz zdjęcie w proporcjach 4:3 i przytniesz je do kwadratu zmieniając proporcje, to będzie takie samo? Jak robisz 3 zdjęcia i na jednym z nich ktoś ma zamknięte oczy, a na drugim otwarte to jak je zinterpretować? Moim zdaniem czegoś imperatywnego o przyzwoitej jakości nie da się zrobić. Pozostaje ML i algorytmy z dziedziny unsupervised learning.
sum(a*D^2) + (b*c^2) szukasz takich parametrów a, b, żeby jej wynik dla całości był jak najniższy, a wciąż dawał oczekiwany rezultat.Plusem problemu z obrazkami jest to, że bardzo łatwo można wygenerować zbiór danych do uczenia - wrzucasz 10k obrazków, dla każdego z nich generujesz losową liczbę duplikatów w innej jakości, z lekkim przesunięciem itd. Ponieważ kontrolujesz tworzenie zbioru uczącego dokładnie wiesz jaki powinien być wynik.
@piotrpo: takie same znaczy wizualnie identyczne. Zamknięte oczy, nałożenie filtra, zmiana kontrastu czy przycięcie ma być traktowane jako inne zdjęcie.
AntiTwin.exe proste filtry i zmianę rozmiaru wyłapuje!
Ale jak już zrobisz CROP to już uznaje plik jako inny !
Przykłady:
@obscurity: Bo computer vision to jest trudny temat. My (życie na Ziemi) mieliśmy 6 milionów lat na ogarnięcie zmysłów, języka, poruszania się, a komputery, które biją nas w trudnych i wymagających umysłowo dziedzinach, maja problem z ogarnięciem prostych i naturalnych dla nas rzeczy.
https://pl.wikipedia.org/wiki/Paradoks_Moraveca