TortoiseSVN tötet die UTF-8 Kodierung.

616 views
Skip to first unread message

Roman Biliz

unread,
Dec 9, 2010, 7:23:05 AM12/9/10
to us...@tortoisesvn.tigris.org

Wenn man zum Beispiel eine PHP-Datei mit einem Redaktor wie Dreamweaver in UTF-8 erstellt und diese mit aktivierten auto-props hochlädt wird die Kodierung der Datei in ISO überschrieben. Das ist MEGABLÖD, verstehe gar nicht wie alle mit dem Program  bisher gearbeitet haben.

 

In den Einstellungen soll eine Optionsauswahl für die Standardkodierung geben.

 

Sonst hat das Programm sehr wenig Zweck da sogar Deutsche Umlaute nie mehr korrekt abgebildet werden, geschweige andere Sprachen.

 

 

 

http://www.kf-tech.net

EDV-Service, Software, Webdesign

 

Stefan Wild

unread,
Dec 9, 2010, 11:00:23 AM12/9/10
to us...@tortoisesvn.tigris.org
Welche TSVN-Version verwendest du eigentlich?
Bei uns funktioniert das einwandfrei, (im Gegensatz zu diversen svn-clients unter Linux)
Evtl. liegt es auch an den autoprops?

-- 

Mit freundlichen Grüßen

Stefan Wild


autinity systems GmbH
Neefestraße 42
D-09119 Chemnitz
Amtsgericht Chemnitz HRB: 21552
Telefon: +49 (0) 371 918897-50
Fax:     +49 (0) 371 918897-49
email:   stefa...@autinity.de
web:     www.autinity.de

Felix Saphir

unread,
Dec 9, 2010, 11:27:18 AM12/9/10
to us...@tortoisesvn.tigris.org
Am 09.12.2010 17:00, schrieb Stefan Wild:
> Am 09.12.2010 13:23, schrieb Roman Biliz:
>>
>> Wenn man zum Beispiel eine PHP-Datei mit einem Redaktor wie
>> Dreamweaver in UTF-8 erstellt und diese mit aktivierten auto-props
>> hochlädt wird die Kodierung der Datei in ISO überschrieben. Das ist
>> MEGABLÖD, verstehe gar nicht wie alle mit dem Program bisher
>> gearbeitet haben.
>>
>> *In den Einstellungen soll eine Optionsauswahl für die
>> Standardkodierung geben.*

>>
>> Sonst hat das Programm sehr wenig Zweck da sogar Deutsche Umlaute
>> nie mehr korrekt abgebildet werden, geschweige andere Sprachen.
>>
> Welche TSVN-Version verwendest du eigentlich? Bei uns funktioniert
> das einwandfrei, (im Gegensatz zu diversen svn-clients unter Linux)
> Evtl. liegt es auch an den autoprops?

That's funny, I've never had trouble with UTF-8 encoded files with any
svn client (command line or GUI) on any operating system (Windows, Linux
and FreeBSD).

Felix

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689234

To unsubscribe from this discussion, e-mail: [users-un...@tortoisesvn.tigris.org].

Ulrich Eckhardt

unread,
Dec 10, 2010, 2:48:38 AM12/10/10
to us...@tortoisesvn.tigris.org
On Thursday 09 December 2010, Roman Biliz wrote:
> Wenn man zum Beispiel eine PHP-Datei mit einem Redaktor wie Dreamweaver in
> UTF-8 erstellt und diese mit aktivierten auto-props hochlädt wird die
> Kodierung der Datei in ISO überschrieben.

ISO10646? ;D

Im Ernst, erzaehl uns doch was Du gemacht und gesehen hast anstatt Deiner
Interpretation dessen.

Seriously, how about you tell us what you did and saw instead of your
interpretation thereof?

> In den Einstellungen soll eine Optionsauswahl für die Standardkodierung
> geben.

Wie genau soll das sich verhalten?

How exactly should that behave?

> Sonst hat das Programm sehr wenig Zweck da sogar Deutsche Umlaute nie mehr
> korrekt abgebildet werden, geschweige andere Sprachen.

~$ svn ls $(URL)/test\ messages
1 Basic Latin ABCD.dprj
2 Cyrillic ЁЂЀ.dprj
3 Unified CJK Ideographs 文字化け.dprj
4 Devanagari जगाड.dprj

Funktioniert hier. Gerade um zu testen sind der Inhalt und der Filename
gleich, der Inhalt ist UTF-8-kodiert.

Works for me. Note that exactly for testing the content and the filename are
the same, the content being encoded in UTF-8.

Uli

Uli
--
ML: http://tortoisesvn.tigris.org/list_etiquette.html
FAQ: http://tortoisesvn.net/faq


**************************************************************************************
Domino Laser GmbH, Fangdieckstraße 75a, 22547 Hamburg, Deutschland
Geschäftsführer: Thorsten Föcking, Amtsgericht Hamburg HR B62 932
**************************************************************************************
Visit our website at <http://www.dominolaser.com/>
**************************************************************************************
Diese E-Mail einschließlich sämtlicher Anhänge ist nur für den Adressaten bestimmt und kann vertrauliche Informationen enthalten. Bitte benachrichtigen Sie den Absender umgehend, falls Sie nicht der beabsichtigte Empfänger sein sollten. Die E-Mail ist in diesem Fall zu löschen und darf weder gelesen, weitergeleitet, veröffentlicht oder anderweitig benutzt werden.
E-Mails können durch Dritte gelesen werden und Viren sowie nichtautorisierte Änderungen enthalten. Domino Laser GmbH ist für diese Folgen nicht verantwortlich.
**************************************************************************************

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689426

in...@kf-tech.net

unread,
Dec 10, 2010, 3:29:10 AM12/10/10
to us...@tortoisesvn.tigris.org
Ich erstelle eine PHP-Datei in UTF-8, schiebe sie in die Arbeitskopie,
lade sie hoch und sie ist in ISO. Wenn ich versuche diese Datei mit
einer in UTF-8 zu ersetzen dann ist sie sofort nach dem umbennenen,
wenn sie von Tortoise-SVN erfasst wird ist sie dann gleich in ISO.
Wenn die Datei Sonderzeichen z.B. Kyrillisch enthält bleibt sie in
UTF-8, enthält sie Umlaute wird sie in ISO-5911-15 geändert.

Ich habe schon oft gehört, dass viele Programmierer erzählt haben - es
soll auch mit ISO funktionieren. Das tut es aber nicht, man brauch nur
Umlaute+Problem im Google einzutippen, es werden 200.000 Beiträbe
abgebildet. Die meisten Webprojekte wie Joomla, Drupal und co.
schreiben es vor, dass die Dateien explizit in UTF-8 gespeichert
werden müssen.

Wenn Tortoise schon in die Datei schreibt, wo liegt den das Problemm
die Kodierung wie in allen anderen Redaktoren wenigstens manuell
festzulegen zu können wenn sie nicht automatisch korrekt erkannt wird.

> Cyrillic ЁЂЀ.dprj - Die Zeichen sind übrigens nicht korrekt abgebildet.

On 10 Dez., 08:48, Ulrich Eckhardt <ulrich.eckha...@dominolaser.com>
wrote:

> ------------------------------------------------------http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMess...
>
> To unsubscribe from this discussion, e-mail: [users-unsubscr...@tortoisesvn.tigris.org].

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689459

Ulrich Eckhardt

unread,
Dec 10, 2010, 4:04:10 AM12/10/10
to us...@tortoisesvn.tigris.org
On Friday 10 December 2010, in...@kf-tech.net wrote:
> Ich erstelle eine PHP-Datei in UTF-8, schiebe sie in die Arbeitskopie,
> lade sie hoch und sie ist in ISO.

Was ist genau ISO? Wie genau sieht das "lade sie hoch" aus? Und, nur um
sicherzugehen, es geht hier um den Inhalt von Files und nicht um deren
Filenamen, richtig? Beides sollte uebrigens korrekt funktionieren, hier tut
es das.

> Wenn ich versuche diese Datei mit einer in UTF-8 zu ersetzen dann ist
> sie sofort nach dem umbennenen, wenn sie von Tortoise-SVN erfasst wird
> ist sie dann gleich in ISO.

Wie sieht dieses Umbenennen aus? Umbenennen aus dem TSVN-Kontextmenue?
Umbenennen im Explorer? Was heisst "wenn sie von Tortoise-SVN erfasst wird"?

> Wenn die Datei Sonderzeichen z.B. Kyrillisch enthält bleibt sie in
> UTF-8, enthält sie Umlaute wird sie in ISO-5911-15 geändert.

ISO-5911-15 kenn' ich nicht, ich gehe mal davon aus Du meinst ISO 8859-15,
auch bekannt als "Latin 9".

> Ich habe schon oft gehört, dass viele Programmierer erzählt haben - es
> soll auch mit ISO funktionieren. Das tut es aber nicht, man brauch nur
> Umlaute+Problem im Google einzutippen, es werden 200.000 Beiträbe
> abgebildet. Die meisten Webprojekte wie Joomla, Drupal und co.
> schreiben es vor, dass die Dateien explizit in UTF-8 gespeichert
> werden müssen.

Ja, schon richtig, UTF-8 macht Sinn. Das Problem ist dass ich (und vermutlich
andere hier) immer noch nicht wissen was genau Du gemacht und gesehen hast.
Wie hast Du festgestellt dass die Datei jetzt in Latin-9 kodiert ist? Dir ist
schon klar dass Du eine UTF-8-kodierte Datei als Latin-9 dekodieren kannst,
wobei Du jedoch fuer alles ausser ASCII-Bereich nur Schrott erhaelst? Ist es
vielleicht nur Dein Editor der einfach den falschen Decoder benutzt,
eventuell weil er das Encoding falsch raet? Oder dass er einen BOM erwartet?

> Wenn Tortoise schon in die Datei schreibt, wo liegt den das Problemm
> die Kodierung wie in allen anderen Redaktoren wenigstens manuell
> festzulegen zu können wenn sie nicht automatisch korrekt erkannt wird.

[T]SVN schreibt nicht in die Datei, ausser explizit angewiesen, z.B.
mit "keyword replacements" oder "eol-style". Du redetest von "auto-props",
aber vielleicht verraetst Du mal welche und auf welchen Wert?

> Cyrillic ЁЂЀ.dprj - Die Zeichen sind übrigens nicht korrekt abgebildet.

*schulterzuck* Hier stimmt die Sache. Das CJK ist uebrigens "mojibake"
(japanisch fuer das Symptom unter dem Du leidest), der Devanagari ist "jugad"
(heisst soviel wie "hacken" oder "basteln" auf indisch), falls Du da
irgendwie gucken willst wo die falsche (De)Kodierung ist.

Please don't top-post.

Cheers!

Uli


**************************************************************************************
Domino Laser GmbH, Fangdieckstraße 75a, 22547 Hamburg, Deutschland
Geschäftsführer: Thorsten Föcking, Amtsgericht Hamburg HR B62 932
**************************************************************************************
Visit our website at <http://www.dominolaser.com/>
**************************************************************************************
Diese E-Mail einschließlich sämtlicher Anhänge ist nur für den Adressaten bestimmt und kann vertrauliche Informationen enthalten. Bitte benachrichtigen Sie den Absender umgehend, falls Sie nicht der beabsichtigte Empfänger sein sollten. Die E-Mail ist in diesem Fall zu löschen und darf weder gelesen, weitergeleitet, veröffentlicht oder anderweitig benutzt werden.
E-Mails können durch Dritte gelesen werden und Viren sowie nichtautorisierte Änderungen enthalten. Domino Laser GmbH ist für diese Folgen nicht verantwortlich.
**************************************************************************************

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689462

Stefan Küng

unread,
Dec 10, 2010, 4:40:40 AM12/10/10
to us...@tortoisesvn.tigris.org
2010/12/10 in...@kf-tech.net <in...@kf-tech.net>:

> Ich erstelle eine PHP-Datei in UTF-8, schiebe sie in die Arbeitskopie,
> lade sie hoch und sie ist in ISO. Wenn ich versuche diese Datei mit

Das ist mit Verlaub schlicht nicht möglich. TortoiseSVN und SVN ändern
keine Daten.
Das einzige was geändert wird wenn die entsprechenden Properties
gesetzt sind sind Zeilenumbrüche. Das ist alles. Nichts anderes wird
je geändert. Vorallem wird niemals (ich wiederhole: niemals) an einer
Kodierung rumgeschraubt.

> einer in UTF-8 zu ersetzen dann ist sie sofort nach dem umbennenen,
> wenn sie von Tortoise-SVN erfasst wird ist sie dann gleich in ISO.
> Wenn die Datei Sonderzeichen z.B. Kyrillisch enthält bleibt sie in
> UTF-8, enthält sie Umlaute wird sie in ISO-5911-15 geändert.

Wie gesagt, das ist nicht möglich. Stell sicher, dass nicht irgendein
anderes Programm die Datei verändert. Oder deine Firewall/Virenscanner
beim Commit/Update die Kodierung während der Übertragung verändert.

> Ich habe schon oft gehört, dass viele Programmierer erzählt haben - es
> soll auch mit ISO funktionieren. Das tut es aber nicht, man brauch nur
> Umlaute+Problem im Google einzutippen, es werden 200.000 Beiträbe
> abgebildet. Die meisten Webprojekte wie Joomla, Drupal und co.

Du hast "Subversion" in deinem Google-Suchbegriff vergessen. Ansonsten
machen die 200.000 Beiträge null Sinn.

> schreiben es vor, dass die Dateien explizit in UTF-8 gespeichert
> werden müssen.
>
> Wenn Tortoise schon in die Datei schreibt, wo liegt den das Problemm
> die Kodierung wie in allen anderen Redaktoren wenigstens manuell
> festzulegen zu können wenn sie nicht automatisch korrekt erkannt wird.

TSVN und SVN *schreiben nicht in die Dateien*.

Das einzige, was in Dateien eingefügt wird sind die expandierten svn:keywords.
Und diese werden immer in utf8 eingefügt.
Dabei wird jedoch die Datei nur zwischen den '$' Zeichen verändert.
Nix anderes wird je an der Datei verändert.

Wir benutzen viele, viele Dateien im utf8-Format in unserem eigenen
Repository (z.B. sind alle po-Files für die Übersetzungen von TSVN in
utf8 Format). Wenn SVN oder TSVN wirklich diese Dateien automatisch
verändern würde, dann würde wohl kaum jemand diese Tools je einsetzen
wollen.


Stefan

--
       ___
  oo  // \\      "De Chelonian Mobile"
 (_,\/ \_/ \     TortoiseSVN
   \ \_/_\_/>    The coolest Interface to (Sub)Version Control
   /_/   \_\     http://tortoisesvn.net

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689477

Stefan Pendl

unread,
Dec 10, 2010, 4:50:37 AM12/10/10
to us...@tortoisesvn.tigris.org
>
> 2010/12/10 in...@kf-tech.net <in...@kf-tech.net>:
> > Ich erstelle eine PHP-Datei in UTF-8, schiebe sie in die
> Arbeitskopie,
> > lade sie hoch und sie ist in ISO. Wenn ich versuche diese Datei mit
>
> Das ist mit Verlaub schlicht nicht möglich. TortoiseSVN und SVN ändern
> keine Daten.
> Das einzige was geändert wird wenn die entsprechenden Properties
> gesetzt sind sind Zeilenumbrüche. Das ist alles. Nichts anderes wird
> je geändert. Vorallem wird niemals (ich wiederhole: niemals) an einer
> Kodierung rumgeschraubt.
>

Ich würde immer einen BOM verwenden, dann ist immer sichergestellt, dass es keine Probleme gibt.

I would always use a BOM to make sure there are no problems.

BTW, haven't had problems with UTF-8 encoded files either and I use a bunch, in addition to Unicode files.
The client is Windows, what else, and the server is Unix.

---
Stefan

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689481

Felix Saphir

unread,
Dec 10, 2010, 4:54:55 AM12/10/10
to us...@tortoisesvn.tigris.org
Am 10.12.2010 10:50, schrieb Stefan Pendl:
>
> Ich würde immer einen BOM verwenden, dann ist immer sichergestellt,
> dass es keine Probleme gibt.
>
> I would always use a BOM to make sure there are no problems.

Please never use a BOM for UTF-8 encoded files. It causes more problems
than it "solves".

Felix

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689482

in...@kf-tech.net

unread,
Dec 10, 2010, 6:09:36 AM12/10/10
to us...@tortoisesvn.tigris.org
Es lag doch wohl am Editor.

Dreamweaver, den ich verwende kann die Dateien in UTF-8 anlegen. Wenn
er sie öffnet und dort keine UTF Zeichen vorhanden sind speichert er
die Dateien in ISO. Es sei den bei jeder Datei die keine UTF-8 Zeichen
hat jedes Mal : Modifizieren->Seiteneigenschaften->Titel/Kodierung auf
UTF-8 stellen. Blöd, ist aber so. Ist mir vorher nicht aufgefallen,
eigentlich hat das Teil viel Geld gekostet.

Tortoise ist hier nicht schuld.

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689497

in...@kf-tech.net

unread,
Dec 10, 2010, 3:12:15 AM12/10/10
to us...@tortoisesvn.tigris.org
Ich verwende die letzte Version der Software.Habe ein PHP-Projekt
angelegt, ist eine Erweiterung für Joomla (arbeite auch mit Perl).
Joomla schreibt vor, dass die Dateien explizit in UTF-8 also Multibyte
gespeichert werden sollen. Habe das Projekt per Tortoise-SVN auf einen
Linux-Server hochgeladen und arbeite lokal unter Windows.
Nun sehe ich, dass alle Dateien in /htdocs nun alle in ISO-5911-1 sind
die keine Sonderzeichen enthilten. Das heist, ich packe eine UTF-8-
Datei in die Arbeitskopie und sie wird zu ISO. Mit dem UTF-8-
Zeichensatz kann ich mit dieser Datei nicht mehr arbeiten.
Ändert Tortoise-SVN alle Dateien selbständig?

On 9 Dez., 17:00, Stefan Wild <stefan.w...@autinity.de> wrote:
> Am 09.12.2010 13:23, schrieb Roman Biliz:
>
> > Wenn man zum Beispiel eine PHP-Datei mit einem Redaktor wie Dreamweaver in UTF-8 erstellt und diese mit aktivierten auto-props hochlädt wird die Kodierung der Datei in ISO überschrieben. Das ist MEGABLÖD, verstehe gar nicht wie alle mit dem Program  bisher gearbeitet haben.
>

> > *In den Einstellungen soll eine Optionsauswahl für die Standardkodierung geben.*


>
> > Sonst hat das Programm sehr wenig Zweck da sogar Deutsche Umlaute nie mehr korrekt abgebildet werden, geschweige andere Sprachen.
>

> >http://www.kf-tech.net<http://www.kf-tech.net/>


>
> > EDV-Service, Software, Webdesign
>
> Welche TSVN-Version verwendest du eigentlich?
> Bei uns funktioniert das einwandfrei, (im Gegensatz zu diversen svn-clients unter Linux)
> Evtl. liegt es auch an den autoprops?
>
> --
>
> Mit freundlichen Grüßen
>
> Stefan Wild
>
> autinity systems GmbH
> Neefestraße 42
> D-09119 Chemnitz
> Amtsgericht Chemnitz HRB: 21552
> Telefon: +49 (0) 371 918897-50
> Fax:     +49 (0) 371 918897-49

> email:   stefan.w...@autinity.de
> web:    www.autinity.de
>
> ------------------------------------------------------http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMess...
>
> To unsubscribe from this discussion, e-mail: [users-unsubscr...@tortoisesvn.tigris.org].

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2689449

Felix Saphir

unread,
Dec 13, 2010, 10:57:19 AM12/13/10
to us...@tortoisesvn.tigris.org
Am 10.12.2010 09:12, schrieb in...@kf-tech.net:
> Ich verwende die letzte Version der Software.Habe ein PHP-Projekt
> angelegt, ist eine Erweiterung für Joomla (arbeite auch mit Perl).
> Joomla schreibt vor, dass die Dateien explizit in UTF-8 also
> Multibyte gespeichert werden sollen. Habe das Projekt per
> Tortoise-SVN auf einen Linux-Server hochgeladen und arbeite lokal
> unter Windows. Nun sehe ich, dass alle Dateien in /htdocs nun alle in
> ISO-5911-1 sind die keine Sonderzeichen enthilten. Das heist, ich
> packe eine UTF-8- Datei in die Arbeitskopie und sie wird zu ISO. Mit
> dem UTF-8- Zeichensatz kann ich mit dieser Datei nicht mehr
> arbeiten. Ändert Tortoise-SVN alle Dateien selbständig?

How do you determine that the encoding has changed? Especially if there
were no special characters in the first place?

Felix

P.S. Please don't top post

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2690424

David Balažic

unread,
Dec 13, 2010, 11:24:14 AM12/13/10
to us...@tortoisesvn.tigris.org
Nächstes mal schau nach, wann genau die Kodierung geändert.

Das heisst:
- Date öffnen
- Kodierung (in der Datei, nicht im Editor) prüfen
- Date bearbeiten und speichern
- Kodierung (in der Datei) prüfen
- SVN Commit...
- Kodierung (in der Datei, nicht im Editor) prüfen

usw...

Du sagtest doch schon letztes mal, dass es am DreamWeaver
liegt, oder?

MfG,
David

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2690468

Ludwig Hügelschäfer

unread,
Dec 13, 2010, 2:19:58 PM12/13/10
to us...@tortoisesvn.tigris.org
David Balažic wrote on 13.12.10 17:24:

> Du sagtest doch schon letztes mal, dass es am DreamWeaver
> liegt, oder?

Yes, he did. This posting dates before the posting with the solution and
probably got stuck in the moderation pipeline.

;-)

Ludwig

------------------------------------------------------
http://tortoisesvn.tigris.org/ds/viewMessage.do?dsForumId=4061&dsMessageId=2690493

Reply all
Reply to author
Forward
0 new messages