[lk] Azonos fájlok keresése shell-script-tel hogyan?

6 views
Skip to first unread message

Kovács Géza

unread,
Jan 19, 2018, 9:30:03 AM1/19/18
to
Sziasztok!

Duplikátumok keresésére és automatikus törlésére milyen
shell-script-et lehetne írni?
A következőképpen működne:
./duplikatumkereso /mnt/adatok /mnt2/adatok
Bejárná a könyvtárfát mindkét helyen, ha /mnt2/adatok helyen találna
olyat ami a /mnt/adatok helyen megvan, automatikusan törölné, valamint
ha a törölt fájlok után üres könyvtárak maradnak, azt is, de figyelne
arra, hogy ha nem üres a könyvtár és nem duplikátum, azt ne törölje.
Milyen módon lehetne ezt megírni?
Nekem mindig is bonyolult volt a grep, sed, awk meg összes többivel
végzett bonyolult művelet. :-(

Van valakinek valami működő megoldása?
Ilyen script-tel szeretném megoldani, nem fájlkezelővel. Nagyon sok
fájlról lenne szó.
Jó lenne, ha különféle ékezetes, hosszú fájlnevek se okoznának
problémát a script-netk.
Ha esetleg kész program van, ami teljesen, hibamentesen tudja ezt, az
is érdekelne.

Szép napot kívánok Mindenkinek.

Üdvözlettel G
_______________________________________________________
linux-kezdo lista - linux...@mlf.linux.rulez.org
http://mlf.linux.rulez.org/mailman/listinfo/linux-kezdo

Pápai Balázs

unread,
Jan 19, 2018, 10:00:02 AM1/19/18
to
2018-01-19 15:26 keltezéssel, Kovács Géza írta:
> Sziasztok!
>
> Duplikátumok keresésére és automatikus törlésére milyen
> shell-script-et lehetne írni?
> A következőképpen működne:
> ./duplikatumkereso /mnt/adatok /mnt2/adatok
> Bejárná a könyvtárfát mindkét helyen, ha /mnt2/adatok helyen találna
> olyat ami a /mnt/adatok helyen megvan, automatikusan törölné, valamint
> ha a törölt fájlok után üres könyvtárak maradnak, azt is, de figyelne
> arra, hogy ha nem üres a könyvtár és nem duplikátum, azt ne törölje.
> Milyen módon lehetne ezt megírni?
> Nekem mindig is bonyolult volt a grep, sed, awk meg összes többivel
> végzett bonyolult művelet. :-(
>
> Van valakinek valami működő megoldása?
> Ilyen script-tel szeretném megoldani, nem fájlkezelővel. Nagyon sok
> fájlról lenne szó.
> Jó lenne, ha különféle ékezetes, hosszú fájlnevek se okoznának
> problémát a script-netk.
> Ha esetleg kész program van, ami teljesen, hibamentesen tudja ezt, az
> is érdekelne.
>
Ha beírod a googléba azt, hogy: 'duplicate file search linux' akkor az első találat már jó
is neked. Ez ebben az esetben ez volt:

https://www.howtogeek.com/201140/how-to-find-and-remove-duplicate-files-on-linux/

Ebből választhatsz egy szimpatikus programot magadnak, nekem az fdupes tetszik pl, de ez
ízlés dolga.

Kovács Géza

unread,
Jan 19, 2018, 10:15:03 AM1/19/18
to
Szia

A kereső használatát nem akartam megspórolni, csak attól féltem, hogy
hibás, nem kipróbált programba futok, ami össze-vissza kezd el
törölgetni és adatvesztést szenvedek el.
Tudom, biztonsági mentést csinálok állandóan, azzal ez elkerülhető,
csak lassan elfogy a tárhely és sok a duplikátum is. :S

Reméltem, hogy valakinek van konkrét tapasztalata, napi szinten
bejáratott programja erre.

G

Pápai Balázs

unread,
Jan 19, 2018, 10:15:03 AM1/19/18
to
2018-01-19 15:26 keltezéssel, Kovács Géza írta:

> Duplikátumok keresésére és automatikus törlésére milyen
> shell-script-et lehetne írni?
> A következőképpen működne:
> ./duplikatumkereso /mnt/adatok /mnt2/adatok
> Bejárná a könyvtárfát mindkét helyen, ha /mnt2/adatok helyen találna
> olyat ami a /mnt/adatok helyen megvan, automatikusan törölné, valamint
> ha a törölt fájlok után üres könyvtárak maradnak, azt is, de figyelne
> arra, hogy ha nem üres a könyvtár és nem duplikátum, azt ne törölje.
> Milyen módon lehetne ezt megírni?
> Nekem mindig is bonyolult volt a grep, sed, awk meg összes többivel
> végzett bonyolult művelet. :-(
>
> Van valakinek valami működő megoldása?
> Ilyen script-tel szeretném megoldani, nem fájlkezelővel. Nagyon sok
> fájlról lenne szó.
> Jó lenne, ha különféle ékezetes, hosszú fájlnevek se okoznának
> problémát a script-netk.
> Ha esetleg kész program van, ami teljesen, hibamentesen tudja ezt, az
> is érdekelne.

Ha szétválasztanád a feladatot kétfelé és első körben duplikátumot keresnél és törölnél, a
másikban meg a könyvtárfából kigyomlálnád az üres alkönyvtárakat, nem lenne egyszerűbb?

Kovács Géza

unread,
Jan 19, 2018, 10:35:03 AM1/19/18
to
Igazad van, kétmenetben is csinálhatja.

Pápai Balázs <sparhel...@gmail.com> írta, 2018. 01. 19.:

Lajber Zoltan

unread,
Jan 19, 2018, 12:45:02 PM1/19/18
to
Szia!

On Fri, 19 Jan 2018, Kovács Géza wrote:

> Sziasztok!
>
> Duplikátumok keresésére és automatikus törlésére milyen
> shell-script-et lehetne írni?
> A következőképpen működne:
> ./duplikatumkereso /mnt/adatok /mnt2/adatok

Ha csak nagyjabol akarod atnezni, akkor a
diff --brief -R

Ha igazan komolyabban, akkor fdupes. Ezzel en elso korben egysoros
kimenettel csinalok egy fajlt, es azt dolgozom fel.

Udv,
-=Lajbi=-----------------------------------------------------------------
LAJBER Zoltan
engineer: a mechanism for converting caffeine into designs.

Kiss Gabor

unread,
Jan 20, 2018, 4:00:02 AM1/20/18
to

On 01/19/2018 04:30 PM, Kovács Géza wrote:
> Igazad van, kétmenetben is csinálhatja.

Én a duff programot szoktam használni.
Csináltatok vele egy listát a duplikátumokról,
amit aztán egy Perl script feldolgoz, és hard linkekkel
helyettesíti a felesleges példányokat.

g
--
A: Because it messes up the order in which people normally read text.
Q: Why is top-posting such a bad thing?
A: Top-posting.
Q: What is the most annoying thing in e-mail?

Kovács Géza

unread,
Jan 20, 2018, 4:20:02 AM1/20/18
to
Sziasztok!

Köszönöm a válaszokat.
Ha Windows-os partíciót be mount-olok Linux alatt és azon futtatom az
általatok említett programok valamelyikét, akkor se az ékezetes
fájlnevek, se a hosszú fájlnevek, se a szóközt tartalmazó fájl - és
könyvtárnevek nem fognak problémát okozni?
Jártam már úgy, hogy valami program legenerálta a listát, és az
ékezetek miatt nem találta meg a fájlneveket, vagy éppen space miatt.
Ha idézőjeleket alkalmaztam, akkor is ez volt a helyzet, esetleg a
NTFS csatolásakor meg kell adni a kódolást is, hogy ne legyen ilyen
probléma?
Ha ez lenne a helyzet, akkor Windows utána is hibamentesen tudja majd
kezelni, nem módosul semmi?

Köszönettel: G

Lajber Zoltan

unread,
Jan 20, 2018, 5:15:02 AM1/20/18
to
On Sat, 20 Jan 2018, Kovács Géza wrote:

> Ha Windows-os partíciót be mount-olok Linux alatt és azon futtatom az
> általatok említett programok valamelyikét, akkor se az ékezetes
> fájlnevek, se a hosszú fájlnevek, se a szóközt tartalmazó fájl - és
> könyvtárnevek nem fognak problémát okozni?

Fajlnev rendbetetelre a detox parancs hasznos. Mondjuk csunya rendet
csinalna a win rendszer konyvtaraban, az biztos :)

Udv,
-=Lajbi=-----------------------------------------------------------------
LAJBER Zoltan
engineer: a mechanism for converting caffeine into designs.

_______________________________________________________

Kovács Géza

unread,
Jan 20, 2018, 8:00:03 AM1/20/18
to
Szia!

Ezek szerint akkor a korábban említett duplikátumokat kereső programok
Windows fájlrendszeren nem igazán tudnának helyesen működni és ez az
ékezetes probléma miatt van, vagy más miatt?

G

Lajber Zoltan

unread,
Jan 21, 2018, 6:15:03 AM1/21/18
to
On Sat, 20 Jan 2018, Kovács Géza wrote:

> Szia!
>
> Ezek szerint akkor a korábban említett duplikátumokat kereső programok
> Windows fájlrendszeren nem igazán tudnának helyesen működni és ez az
> ékezetes probléma miatt van, vagy más miatt?

Siman mukodnek. Csak pl a detox atnevez valamit a rendszerfajlok kozott,
akkor a win nem fog megtalalni dolgokat, es konnyen reinstall lehet. Tehat
szigoruan csak a felhasznaloi adatokra szabad rakuldeni. De a win alatt
nem olyan eles az /usr es /home szetvalasztas...

Felhasznaloi adatoknal mukodik, bar a szokozok kezelese figyelmet igenyel,
nem szeretjuk. De a detox pl siman csinalja a szokoz -> alahuzas
konverziot, kenyelmesebb utanna a scripteles is.

Kiss Gabor

unread,
Jan 21, 2018, 3:15:01 PM1/21/18
to

On 01/20/2018 10:17 AM, Kovács Géza wrote:
> Ha Windows-os partíciót be mount-olok Linux alatt és azon futtatom az
> általatok említett programok valamelyikét, akkor se az ékezetes
> fájlnevek, se a hosszú fájlnevek, se a szóközt tartalmazó fájl - és
> könyvtárnevek nem fognak problémát okozni?

A duffnak nem.

Csibra Gergo

unread,
Jan 22, 2018, 4:15:04 AM1/22/18
to
Saturday, January 20, 2018, 1:55:42 PM, Kovács Géza wrote:

> Ezek szerint akkor a korábban említett duplikátumokat kereső programok
> Windows fájlrendszeren nem igazán tudnának helyesen működni és ez az
> ékezetes probléma miatt van, vagy más miatt?

Nekem elég régóta nem volt gondom azzal, hogy ékezetes fileneveket
tartalmazó NTFS kötetet csatoltam fel linux alatt. Hibásan beállított
Sambánál előfordul, hogy nem ugyanazt látod a linux konzolon mint a
windows intézőben, és esetleg linuxal nem is tudsz mit kezdeni a
fileokkal, csak windowsból éred el, de jellemzően ez sem gond.

--
Best regards,
Csibra Gergo mailto:ge...@csibra.hu

Reply all
Reply to author
Forward
0 new messages