Performance-Evaluierung

[Tim Frink]

Hi,

ich klassifiziere meine Daten mit der Methode "Entscheidungsbäume"
(supervised learning). Nun will ich die Performance meines Modells
messen. Dazu habe ich eine leave-one-out Kreuzvalidierung gemacht,
um den Klassifizierungsfehler zu bestimmen. Ich glaube aber nicht,
dass dieses Maß für eine zuverläßige Performance-Bewertung meines
Modells ausreicht. Was sind denn Standard-Verfahren, die man für
Klassifikations-Modelle im Bereich der Künstlichen Intelligenz
und Statistik, gewöhnlicherweise durchführt?

In der Literatur findet man auch den Signifikanztest, mit dem
z.B. zwei Modelle verglichen werden können. Ist es auch sinnvoll,
einen Signifikanztest für ein einziges Modell durchzuführen? Falls
ja, was wäre eine geeignete Hypothese?

Schöne Grüße,
Tim