Limitierung der Dateigröße bei FTP-Transfers auf < 4 GiB?
Detlef Wirsing
Ich habe testweise einen privaten FTP-Server mit WarFTPd 1.70/80
aufgesetzt. Das funktioniert auch soweit. Aber ich habe beim Probieren
festgestellt, daß bei sehr großen Videoaufnahmen die Dateigröße falsch
angezeigt wird. Und zwar werden bei Dateien > 4 GiB genau 4 GiB
abgezogen. Ist die Dateigröße also 4 GiB und 10 Bytes, wird als
Gesamtgröße nur 10 Bytes angezeigt. Dieser Fehler ist reproduzierbar.
Ein Download scheint trotzdem korrekt durchgeführt zu werden.
Natürlich dachte ich zuerst daran, daß der Fehler beim Serverprogramm
zu suchen sei. Aber bei einer Recherche im WWW konnte ich keinen
Hinweis darauf finden. Es liest sich für mich eher so, als ob es sich
um ein generelles Problem von FTP-Transfers unter Windows handelt.
Gibt es unter Windows oder FTP generell ein Limit von 4 GiB für die
Dateigröße? Verschiedene FTP-Clients (Cute-FTP Pro, Total Commander)
führen bei mir zum selben Fehler. Ebenso verschiedene Browser
(Firefox, MS Internet Explorer).
Die Datei befindet sich auf einer NTFS-Partition unter Windows XP
Professional, SP 3. Auch der Testdownload erfolgte auf NTFS. Einen
anderen Server würde ich ungern installieren, da ich mir bei der
Konfiguration von WarFTPd hinter einer dynamischen IP echt den Arsch
abgebrochen habe. Ein schönes Programm, aber für Einsteiger nur
bedingt zu empfehlen. Immerhin hat es einige Einstellmöglichkeiten,
die ich bei anderen Serverprogrammen vermisse. Zudem ist es kostenlos.
Ich würde also gern dabei bleiben.
Mit freundlichen Grüßen
Detlef Wirsing
Rainer Ullrich
Detlef Wirsing wrote:
> Ich habe testweise einen privaten FTP-Server mit WarFTPd 1.70/80
> aufgesetzt. Das funktioniert auch soweit. Aber ich habe beim Probieren
> festgestellt, daß bei sehr großen Videoaufnahmen die Dateigröße falsch
> angezeigt wird. Und zwar werden bei Dateien > 4 GiB genau 4 GiB
> abgezogen. Ist die Dateigröße also 4 GiB und 10 Bytes, wird als
> Gesamtgröße nur 10 Bytes angezeigt. Dieser Fehler ist reproduzierbar.
> Ein Download scheint trotzdem korrekt durchgeführt zu werden.
> [...]
also ich benutzt von FileZilla [1] sowohl den Client, als auch den kosten-
losen Server und ich habe definitiv keine Probleme mit Dateien größer 4 GB.
Was hast denn für Probleme mit FTP-Server und dynamischen IPs? Es ist ein
einfacher Port-Forward im Router und gut ist. Wenn das jetzt erledigt ist,
dann kannste beruhigt dein WarFTPd gegen den von FileZilla austauschen.
Happy computing!
R@iner
Links:
[1] http://filezilla-project.org/
--
Was ist ToFu .......................... http://de.wikipedia.org/wiki/TOFU
SP3 mit wenigen Klicks integrieren .... http://www.rainerullrich.de/sp3
Habe ich das richtige SP3? ............ http://www.rainerullrich.de/xp
Unnötige Files vom PC löschen ......... http://www.rainerullrich.de/cp
Arno Welzel
> Ich habe testweise einen privaten FTP-Server mit WarFTPd 1.70/80
> aufgesetzt. Das funktioniert auch soweit. Aber ich habe beim Probieren
> festgestellt, daß bei sehr großen Videoaufnahmen die Dateigröße falsch
> angezeigt wird. Und zwar werden bei Dateien > 4 GiB genau 4 GiB
> abgezogen. Ist die Dateigröße also 4 GiB und 10 Bytes, wird als
> Gesamtgröße nur 10 Bytes angezeigt. Dieser Fehler ist reproduzierbar.
> Ein Download scheint trotzdem korrekt durchgeführt zu werden.
>
> Natürlich dachte ich zuerst daran, daß der Fehler beim Serverprogramm
> zu suchen sei.
Ist es wahrscheinlich auch. Denn das ist dafür verantwortlich, die
Dateigrößen korrekt zu übermitteln. Der Client zeigt nur an, was er vom
Server in Textform übermittelt bekommt und formatiert es passend um.
Denkbar wäre natürlich, daß der Client die Größe interpretiert und
intern in einen 32-Bit-Integer umwandelt, was dann auch diesen Effekt
bewirkt.
Eine prinzipielle Größenbeschränkung auf 4 GiB pro Datei gibt es bei FTP
aber nicht und von PureFTP weiß ich, daß dieser Server auch mit größeren
Dateien korrekt umgeht.
Detlef Wirsing
[...]
>Was hast denn für Probleme mit FTP-Server und dynamischen IPs? Es ist ein
>einfacher Port-Forward im Router und gut ist. Wenn das jetzt erledigt ist,
>dann kannste beruhigt dein WarFTPd gegen den von FileZilla austauschen.
Es geht nicht um das Port Forwarding, das ist banal, sondern um die
Konfiguration von WarFTPd, so daß es regelmäßig überprüft, ob ein
IP-Wechsel stattgefunden hat. Aber das klappt alles bereits.
Filezilla hatte ich vorher schon getestet. Das ist für meine Anwendung
nicht ausreichend. Zu wenig Konfigurationsmöglichkeiten. Das gilt auch
für andere FTP-Serverprogramme, die ich bereits durch habe. Deshalb
habe ich auch nicht nach einem Serverprogramm gefragt, sondern ob ein
generelles FTP-Problem mit Dateien jenseits von 4 GiB bekannt ist.
Rainer Ullrich
> Rainer Ullrich schrieb:
>
> Deshalb
> habe ich auch nicht nach einem Serverprogramm gefragt, sondern ob ein
> generelles FTP-Problem mit Dateien jenseits von 4 GiB bekannt ist.
Die Frage wurde ebenfalls beantwortet.
Happy computing!
R@iner
Detlef Wirsing
>Detlef Wirsing wrote:
>> Rainer Ullrich schrieb:
>>
>> Deshalb
>> habe ich auch nicht nach einem Serverprogramm gefragt, sondern ob ein
>> generelles FTP-Problem mit Dateien jenseits von 4 GiB bekannt ist.
>
>Die Frage wurde ebenfalls beantwortet.
Jein. Ich habe gelesen, daß Du mit Filezilla diese Probleme nicht
hast. Es wäre aber denkbar, daß Filezilla einen grundlegenden Fehler
von Windows umgeht, so wie es früher AMD-Prozessoren gab, die die Bugs
von Intel emulierten. Gerade bei der Zusammenarbeit zwischen Server
und Client vom selben Autor ist sowas ja durchaus denkbar. Filezilla
ist aber für mich definitiv keine Alternative. Ich hoffe immer noch
darauf, daß jemand dieses Problem auch schon mal hatte und gelöst hat.
Detlef Wirsing
[...]
>Eine prinzipielle Größenbeschränkung auf 4 GiB pro Datei gibt es bei FTP
>aber nicht und von PureFTP weiß ich, daß dieser Server auch mit größeren
>Dateien korrekt umgeht.
Ich habe den Eintrag der FAQ auf der Website des Autors zu diesem
Thema nicht wirklich verstanden. Überhaupt habe ich von FTP noch zu
wenig Ahnung. Aber da offensichtlich mehrere andere Programme dieses
Problem nicht haben, werde ich den Autor mal anschreiben. Leider war
das Forum von WarFTPd nicht sehr hilfreich.
Richard W. Könning
>Detlef Wirsing schrieb:
>
>> Ich habe testweise einen privaten FTP-Server mit WarFTPd 1.70/80
>> aufgesetzt. Das funktioniert auch soweit. Aber ich habe beim Probieren
>> festgestellt, daß bei sehr großen Videoaufnahmen die Dateigröße falsch
>> angezeigt wird. Und zwar werden bei Dateien > 4 GiB genau 4 GiB
Was ist mit "anzeigen" gemeint? Die (verarbeitete) Ausgabe des
LIST-Kommandos (oder des neueren MLST-Kommandos) oder die Größe, die
nach einem Transfer vom Client angezeigt wird?
>> abgezogen. Ist die Dateigröße also 4 GiB und 10 Bytes, wird als
>> Gesamtgröße nur 10 Bytes angezeigt. Dieser Fehler ist reproduzierbar.
>> Ein Download scheint trotzdem korrekt durchgeführt zu werden.
Ok, das deutet auf ein Problem mit LIST/MLST hin.
>> Natürlich dachte ich zuerst daran, daß der Fehler beim Serverprogramm
>> zu suchen sei.
>
>Ist es wahrscheinlich auch. Denn das ist dafür verantwortlich, die
>Dateigrößen korrekt zu übermitteln. Der Client zeigt nur an, was er vom
>Server in Textform übermittelt bekommt und formatiert es passend um.
>Denkbar wäre natürlich, daß der Client die Größe interpretiert und
>intern in einen 32-Bit-Integer umwandelt, was dann auch diesen Effekt
>bewirkt.
Wenn es um die Ausgabe des LIST/MLST-Kommandos geht, dann sollte man
sich die z.B. mit einem Kommandozeilenprogramm anschauen, um sicher zu
sein, daß nicht der Client irgendetwas falsch verwurstet.
Ciao,
Richard
--
Dr. Richard Könning Heßstraße 63
Tel.: 089/5232488 80798 München
Heiko Rost
> Natürlich dachte ich zuerst daran, daß der Fehler beim Serverprogramm
> zu suchen sei. Aber bei einer Recherche im WWW konnte ich keinen
> Hinweis darauf finden. Es liest sich für mich eher so, als ob es sich
> um ein generelles Problem von FTP-Transfers unter Windows handelt.
> Gibt es unter Windows oder FTP generell ein Limit von 4 GiB für die
> Dateigröße?
Es gibt kein generelles Limitin FTP. Wenn es im konkreten Fall eine
Beschränkung gibt ist Server und/oder Client die Ursache.
> Verschiedene FTP-Clients (Cute-FTP Pro, Total Commander)
Kenne ich leider beide nicht aus eigener Erfahrung.
> führen bei mir zum selben Fehler. Ebenso verschiedene Browser
> (Firefox, MS Internet Explorer).
Der Internet Explorer bis mindestens Version 7 kann mit Dateien > 4GB
nicht per FTP umgehen, er zeigt als Dateigröße dann 3.99 GB an. Wenn
Deiner bei solchen Dateien etwas anderes anzeigt, sehe ich das Problem
beim Server. Mit SeaMonkey und Firefox stimmt die angezeigte Dateigröße
bei den Aufnahmen meiner Dreambox.
Auch wenn Du das Programm aus irgendwelchen Gründen nicht benutzen
willst, solltest Du trotzdem FileZilla ausprobieren. Das kann auf jeden
Fall mit so großen Dateien umgehen. Dort kannst Du auch bei den
Einstellungen unter "Debug" die Option "Unbearbeitete Verzeichnisliste
im Log anzeigen" aktivieren. Dann siehst Du die vom Server gelieferte
Liste. Wenn dort bereits die falschen Größen angezeigt werden, sehe ich
den Server als Fehlerqelle.
Falls WarFTP den Datentransfer protokollieren kann, solltest Du da auch
mal hineinschauen, was genau an den Client übertragen wird.
Gruß Heiko
Rainer Ullrich
> Rainer Ullrich schrieb:
>
>> Detlef Wirsing wrote:
>>> Rainer Ullrich schrieb:
>>>
>>> Deshalb
>>> habe ich auch nicht nach einem Serverprogramm gefragt, sondern ob ein
>>> generelles FTP-Problem mit Dateien jenseits von 4 GiB bekannt ist.
>> Die Frage wurde ebenfalls beantwortet.
>
> Jein. Ich habe gelesen, daß Du mit Filezilla diese Probleme nicht
> hast. Es wäre aber denkbar, daß Filezilla einen grundlegenden Fehler
> von Windows umgeht, so wie es früher AMD-Prozessoren gab, die die Bugs
> von Intel emulierten. Gerade bei der Zusammenarbeit zwischen Server
> und Client vom selben Autor ist sowas ja durchaus denkbar.
ROTFL. Das kannste selber ganz schnell ausprobieren, in dem de nen
FZ-Server startest und mit jedem x-beliebigen Client darauf zugreifst.
> Filezilla
> ist aber für mich definitiv keine Alternative. Ich hoffe immer noch
> darauf, daß jemand dieses Problem auch schon mal hatte und gelöst hat.
Für mich wäre der völlig veraltete warftpd keine Alternative. Irgendwo
hab ich neulich gelesen, daß der einige große Sicherheitslücken hat. Würde
mich nicht wundern, denn die letzte wirkliche Entwicklung war ADAIR 2002,
dann kamen nur noch spärlich Bugfixes in Form von RCs. Ich hab mich damals
daraufhin ziemlich schnell von warftpd verabschiedet.
Detlef Wirsing
[...]
>Was ist mit "anzeigen" gemeint? Die (verarbeitete) Ausgabe des
>LIST-Kommandos (oder des neueren MLST-Kommandos) oder die Größe, die
>nach einem Transfer vom Client angezeigt wird?
[...]
Gemeint ist LIST.
Detlef Wirsing
[...]
>Auch wenn Du das Programm aus irgendwelchen Gründen nicht benutzen
>willst, solltest Du trotzdem FileZilla ausprobieren. Das kann auf jeden
>Fall mit so großen Dateien umgehen. Dort kannst Du auch bei den
>Einstellungen unter "Debug" die Option "Unbearbeitete Verzeichnisliste
>im Log anzeigen" aktivieren. Dann siehst Du die vom Server gelieferte
>Liste. Wenn dort bereits die falschen Größen angezeigt werden, sehe ich
>den Server als Fehlerqelle.
Es lädt seit gestern jemand bei mir eine Datei runter, die knapp 5 GB
groß ist. Danach werde ich wissen, ob nur die Dateigröße beim Kommando
LIST falsch angezeigt wird, oder ob auch der Transfer zu Fehlern
führt. Jedenfalls wird die Datei über die angezeigten 690 MB hinaus
weiter gesendet.
>Falls WarFTP den Datentransfer protokollieren kann, solltest Du da auch
>mal hineinschauen, was genau an den Client übertragen wird.
Für mich sind das böhmische Dörfer. Was mich wundert, ist, daß ich
keinen Hinweis im Netz auf dieses Problem finde. Ich würde auch ein
anderes Programm verwenden. Aber entweder kosten sie Geld, oder sie
haben zu wenige Einstellmöglichkeiten. Bei Filezilla weiß ich z.B.
nie, wer gerade was auf meinem Rechner macht. Außerdem gibt es keine
Möglichkeit, angelegte Accounts nach einer voreingestellten Zeit
automatisch wahlweise zu deaktivieren oder zu löschen, soweit ich mich
erinnere.
Falls mir jemand eine Alternative zu WarFTPd nennen kann, die ähnlich
frei konfigurierbar ist und nichts kostet, bin ich für Tips dankbar.
Gut gefällt mir bei WarFTPd der hierarchische Aufbau der
Userverwaltung, bei dem User die Rechte ihrer Gruppe automatisch
übernehmen. Auch das Verschieben von Usern von einer Gruppe in eine
andere, mit automatischer Änderung der Rechte, klappt prima.
Heiko Rost
> Es lädt seit gestern jemand bei mir eine Datei runter, die knapp 5 GB
> groß ist. Danach werde ich wissen, ob nur die Dateigröße beim Kommando
> LIST falsch angezeigt wird, oder ob auch der Transfer zu Fehlern
> führt. Jedenfalls wird die Datei über die angezeigten 690 MB hinaus
> weiter gesendet.
Wenn die Größe auch in FileZilla falsch angezeigt wird, sehe ich wie
bereits geschrieben das Problem beim Server. Leider reicht ein einfacher
Test, ob die Zieldatei nach dem Übertragen die richtige Größe hat, nicht
aus. Wenn Du Pech hast, macht der Server nach den ersten 4 GB wieder ab
Dateianfang weiter. Du müßtest Quell- und Zieldatei miteinander
vergleichen oder ein Prüfsummenprogramm benutzen. Leider bin ich bei
keinem mir bekannten zu 100% sicher, ob es mit Dateien dieser Größe
umgehen kann.
> Für mich sind das böhmische Dörfer.
So schwer ist das auch nicht, ein Eintrag des Dateilistings kann so
aussehen:
-rw-r--r-- 1 0 0 6905372352 Apr 10 11:15 Dateiname.ts
----------\ /-------- ----\ /--- -----\ /---- ----\ /-----
1 2 3 4
1: Dateiattribute und Angaben über Besitzer, hier uninteressant
2: Größe
3: Datum
4: Dateiname ;-)
Interessant ist ist hier nur Nummer 2, wenn Du da im Log des Servers
bereits einen falschen Wert findest, ist der Server als Übeltäter
entlarvt.
> Was mich wundert, ist, daß ich keinen Hinweis im Netz auf dieses Problem finde.
Wahrscheinlich weil die wenigsten Dateien dieser Größe übertragen. Als
ich vor drei(?) Jahren wegen meiner Dreambox einen FTP-Clienten
brauchte, der das konnte, half auch nur probieren. In fast keiner
Beschreibung war zu finden, ob es ein Größenlimit gibt. Die ein oder
zwei, bei denen es anders war, waren Löhnware, und für einen simplen
FTP-Client wollte ich kein Geld ausgeben.
Gruß Heiko
Detlef Wirsing
>Am Mon, 20 Apr 2009 10:14:43 +0200 schrieb Detlef Wirsing:
>
>> Es lädt seit gestern jemand bei mir eine Datei runter, die knapp 5 GB
>> groß ist. Danach werde ich wissen, ob nur die Dateigröße beim Kommando
>> LIST falsch angezeigt wird, oder ob auch der Transfer zu Fehlern
>> führt. Jedenfalls wird die Datei über die angezeigten 690 MB hinaus
>> weiter gesendet.
>
>Wenn die Größe auch in FileZilla falsch angezeigt wird, sehe ich wie
>bereits geschrieben das Problem beim Server. Leider reicht ein einfacher
>Test, ob die Zieldatei nach dem Übertragen die richtige Größe hat, nicht
>aus. Wenn Du Pech hast, macht der Server nach den ersten 4 GB wieder ab
>Dateianfang weiter. Du müßtest Quell- und Zieldatei miteinander
>vergleichen oder ein Prüfsummenprogramm benutzen.
[...]
Darauf habe ich jemanden angesetzt, der mich um eine aktuelle
Fernsehaufnahme bat. Wenn er den Krempel runtergeladen hat, werde ich
wissen, ob die Datei sauber übertragen wurde.
Der Download ist noch nicht abgeschlossen. Logdateien habe ich aber
gefunden. Bisher ist kein Eintrag der Datei mit der Länge vorhanden.
Liegt vielleicht daran, daß der Transfer bisher nicht beendet ist. Man
wird sehen.