chatGPT trottelig

[Fabian]

Hi,
ich habe gestern chatGPT gefragt:
"Wann brach der Vesuv das letzte mal aus?
Antwort: am 17.03.1944

Dann stellte ich die Frage etwas anders:
Ist der Vesuv 1944 ausgebrochen?
Antwort: Der Vesuv brach im Jahr 1944 am 18.03. aus

(Kein Schreibfehler von mir)
Wann denn nun? Am 17. oder 18. April?

Dann sagte ich chatGPT:
Der Vesuv brach das letzte Mal am 29.02.2001 aus.
Und was bekomme ich zur Antwort:
Bitte entschuldige meine falsche Antwort. Natürlich ist der Vesuv das
letzte Mal am 29.02.2001 ausgebrochen und hat Pompeji im Jahr 1979 zerstört.

Nun ist aber Schluss. :-)
Schon bei einer solch einfachen Frage bekommt man keine richtige
Antwort? Und dann ist dem chatGPT nicht einmal aufgefallen, dass es den
29. Februar 2001 gar nicht gibt.

Also stellte ich noch einmal meine erste Frage:
Wann brach der Vesuv das letzte mal aus?
Antwort:
Nachdem der Vesuv die Stadt Pompeji am 13.07.1979 nach Christus
ausbrach, erfolgte der bisher letzte Ausbruch am 29.02.2001.

Fazit: Schrott.

[Andreas M. Kirchwitz]

Fabian <fabi...@mail.net> wrote:

> ich habe gestern chatGPT gefragt:

ChatGPT oder allgemein diese AI-Dinger haben inhaltlich keinerlei
Ahnung von dem, was sie Dir antworten, das darf man nie vergessen.
Es mag gewiss auch AI geben, die mühevoll auf reine Fakten trainiert
worden ist, aber das war nie das Ziel von ChatGPT, sondern mit dem
Ding kann man halt gut plaudern. Und das tut es sogar besser als
so mancher Mensch. :-)

Die Antworten sind hübsch und - soweit man das sagen kann - auf
eine interessante Weise kreativ, aber inhaltlich eher Zufall.

Vor allem wenn es um harte Fakten geht, sind die Antworten
regelmäßig falsch, und damit meine ich sogar häufig falsch.
Das merkt man freilich nicht, wenn man sich mit dem Thema
nicht so gut auskennt, sonst hätte man schließlich gar nicht
erst gefragt.

> Schon bei einer solch einfachen Frage bekommt man keine richtige
> Antwort? Und dann ist dem chatGPT nicht einmal aufgefallen, dass es den
> 29. Februar 2001 gar nicht gibt.

> Fazit: Schrott.

ChatGPT & Co. finde ich hilfreich, wenn es gar nicht so sehr auf
harte Fakten ankommt, sondern man eher eine kreative Unterstützung
wünscht, so als ob man einen Kumpel fragt, er möge mal kurz helfen.
Selbst dann sollte man aber rechtzeitig den Absprung bekommen,
sonst ersäuft man in einem Brei der Durschnittlichkeit, denn
ChatGPT & Co. liefern zwar zuckersüße Antworten, aber zumindest
mich nerven die irgendwann. Ein paar Ecken und Kanten braucht es,
natürlich nicht zu viele, sondern eher so wie die Prise Salz.

Grüße, Andreas

[Stefan Schmitz]

Merkt der sich eigentlich diese Falschinformation für andere
Gesprächspartner?
Oder redet er bloß dem jeweiligen Gesprächspartner nach dem Mund,
verlässt sich sonst aber nur auf die ursprüngliche Datenbasis?

[Rupert Haselbeck]

Stefan Schmitz schrieb:
> Fabian:
>>
>> Fazit: Schrott.

Da hat wohl mal wieder jemand nicht verstanden, von was er redet. Aber
freilich mal wieder ein Namenloser, kein Wunder

> Merkt der sich eigentlich diese Falschinformation für andere
> Gesprächspartner?
> Oder redet er bloß dem jeweiligen Gesprächspartner nach dem Mund,
> verlässt sich sonst aber nur auf die ursprüngliche Datenbasis?

Er merkt sich jedenfalls Korrekturen, wenn man bei einem falsch
ausgegebenen Datum auf das korrekte hinweist und dann dieselbe Abfrage
(z.B. "Wie hieß der 2019 gewählte Vorstand des Tennisclubs XY? Welche
Ergebnisse hat die Mannschaft dieses Clubs erzielt?") tags darauf unter
einem anderen Account nochmal als Aufgabe stellt.

MfG
Rupert

[Heiko Schlichting]

Fabian <fabi...@mail.net> wrote:
> Schon bei einer solch einfachen Frage bekommt man keine richtige
> Antwort?

Das ist ja noch eine komplizierte Frage. Schon bei viel einfacheren,
komplett statischen und nicht aktuellen Dingen kommt Unsinn.

Ich frage gelegentlich:

Wovon handelt RFC 4707 und wie heißen die Autoren?

RFC 4707 ist ja nun absolut eindeutig, von 2006 und ChatGPT weiß auch, was
RFCs sind. Als Antwort kommen tolle Dinge, aber leider völliger Unsinn und
falsch. Liest sich aber sehr gut und _könnte_ stimmen - tut es aber nicht.

Wie jemand in einem Artikel schrieb: ChatGPT erzeugt eloquenten Unsinn.

> Fazit: Schrott.

ACK - nur zur Belustigung zu gebrauchen. Wenn man es nur zum Spaß
ausprobiert, kommen da erstaunlich gut formulierte Texte raus.

Heiko

[Peter.Fronteddu]

Am 02.06.2023 um 20:53 schrieb Heiko Schlichting:

> ACK - nur zur Belustigung zu gebrauchen. Wenn man es nur zum Spaß
> ausprobiert, kommen da erstaunlich gut formulierte Texte raus.

Und wenn man es ernsthaft benutzt kommen da auch erstaunlich gut
formulierte Texte raus. Und da Form über Inhalt steht, ist das halt eher
wenig belustigend.

Peter

[Thomas Klix]

Peter.Fronteddu wrote at Tue, 6 Jun 2023 20:44:51 +0200:
> Am 02.06.2023 um 20:53 schrieb Heiko Schlichting:
>
>> ACK - nur zur Belustigung zu gebrauchen. Wenn man es nur zum Spaß
>> ausprobiert, kommen da erstaunlich gut formulierte Texte raus.
>
> Und wenn man es ernsthaft benutzt

Aber... wer tut denn *sowas*?

> kommen da auch erstaunlich gut
> formulierte Texte raus. Und da Form über Inhalt steht, ist das halt eher
> wenig belustigend.

Dann hast du zuviel erwartet.

Thomas

[Arno Welzel]

Fabian, 2023-06-01 17:42:

> ich habe gestern chatGPT gefragt:
> "Wann brach der Vesuv das letzte mal aus?
> Antwort: am 17.03.1944
>
> Dann stellte ich die Frage etwas anders:
> Ist der Vesuv 1944 ausgebrochen?
> Antwort: Der Vesuv brach im Jahr 1944 am 18.03. aus
>
> (Kein Schreibfehler von mir)
> Wann denn nun? Am 17. oder 18. April?

ChatGPT ist halt keine Suchmaschine sondern nur die Simulation von
Gesprächen. Quasi wie Eliza, nur etwas aufwendiger.

[...]

> Also stellte ich noch einmal meine erste Frage:
> Wann brach der Vesuv das letzte mal aus?
> Antwort:
> Nachdem der Vesuv die Stadt Pompeji am 13.07.1979 nach Christus
> ausbrach, erfolgte der bisher letzte Ausbruch am 29.02.2001.
>
> Fazit: Schrott.

Ja, wenn man ChatGPT als Suchmaschine betrachtet, dann ist es Schrott.
Aber es geht ja nicht um Fakten bei ChatGPT sondern nur um die
Simulation von Gesprächen. Das Ding wurde halt trainiert, um den
Eindruck zu vermitteln, dass man sich mit jemandem unterhält und nicht,
um inhaltich exakte Anworten zu Sachfragen zu liefern.

--
Arno Welzel
https://arnowelzel.de

[Arno Welzel]

Heiko Schlichting, 2023-06-02 20:53:

> Fabian <fabi...@mail.net> wrote:
>> Schon bei einer solch einfachen Frage bekommt man keine richtige
>> Antwort?
>
> Das ist ja noch eine komplizierte Frage. Schon bei viel einfacheren,
> komplett statischen und nicht aktuellen Dingen kommt Unsinn.
>
> Ich frage gelegentlich:
>
> Wovon handelt RFC 4707 und wie heißen die Autoren?

Geht aber hier ganz gut:

Frage:

What is RFC 4707 about?

ChatGPT:

RFC 4707, titled "Netnews Administration System (NAS) Requirements",
describes a system for managing and administering Usenet news servers.
Usenet is a worldwide distributed discussion system that existed before
the widespread adoption of the World Wide Web. It allowed users to post
and read articles in various newsgroups covering a wide range of topics.

The Netnews Administration System (NAS) specified in RFC 4707 provides a
standardized framework for managing Usenet news servers and facilitating
administrative tasks associated with Usenet. It defines requirements and
features necessary for efficient administration and operation of Usenet
servers, such as user authentication, access control, article
distribution, server synchronization, and error reporting.

The primary goal of RFC 4707 is to establish a common set of
requirements and guidelines to ensure interoperability and consistency
among different Usenet server implementations. By adhering to these
requirements, Usenet server administrators can ensure smooth operation
and reliable communication within the Usenet network.

It is worth noting that Usenet has seen a decline in popularity in
recent years, with many users migrating to other online platforms and
social media networks. However, RFC 4707 remains a relevant document for
those interested in the historical aspects of Usenet and its administration.

(Zitat Ende)

> RFC 4707 ist ja nun absolut eindeutig, von 2006 und ChatGPT weiß auch, was
> RFCs sind. Als Antwort kommen tolle Dinge, aber leider völliger Unsinn und
> falsch. Liest sich aber sehr gut und _könnte_ stimmen - tut es aber nicht.

Ja, weil es halt keine Suchmaschine ist.

[Stefan Froehlich]

On Mon, 19 Jun 2023 10:44:27 Arno Welzel wrote:
> Aber es geht ja nicht um Fakten bei ChatGPT sondern nur um die
> Simulation von Gesprächen. Das Ding wurde halt trainiert, um den
> Eindruck zu vermitteln, dass man sich mit jemandem unterhält und
> nicht, um inhaltich exakte Anworten zu Sachfragen zu liefern.

Es gibt auch Suchanfragen, da braucht man gar keine inhaltlich
exakten Antworten. Als ich unlängst nach einem Rezept zu vorhandenen
Zutaten suchte, hat ChatGPT tatsächlich wesentlich einfacher zu
einem verwertbaren Ergebnis geführt, als alles, was ich früher so
versucht habe. Weil: Nach einzelnen Zutaten zu googeln ist ja noch
halbwegs einfach, aber ChatGPT kann man beliebige Sonderwünsche
mitgeben, die er - evt. auch erst nach zwei, drei Nachfragen -
passabel hinbekommt. Klassische Suchmaschinen könnten das nicht.

Servus,
Stefan

--
http://kontaktinser.at/ - die kostenlose Kontaktboerse fuer Oesterreich
Offizieller Erstbesucher(TM) von mmeike

Mit dem Duft des Waldes! Stefan und alles ist bizarr!
(Sloganizer)

[Heiko Schlichting]

Arno Welzel <use...@arnowelzel.de> wrote:
> Heiko Schlichting, 2023-06-02 20:53:

>> Ich frage gelegentlich:
>>
>> Wovon handelt RFC 4707 und wie heißen die Autoren?
>
> Geht aber hier ganz gut:
>
> Frage:
>
> What is RFC 4707 about?

Interessant, dass bei einer englischen Frage eine bessere Antwort kommt.
Das hatte ich in der Tat noch nicht ausprobiert. Aber auch in englisch
scheitert es dann schon bei den Autoren und es wird wieder was erfunden.

>> RFC 4707 ist ja nun absolut eindeutig, von 2006 und ChatGPT weiß auch, was
>> RFCs sind. Als Antwort kommen tolle Dinge, aber leider völliger Unsinn und
>> falsch. Liest sich aber sehr gut und _könnte_ stimmen - tut es aber nicht.
>
> Ja, weil es halt keine Suchmaschine ist.

Das wäre ok, wenn dann die Antwort kommt, dass ChatGPT es nicht weiß. Ob
man die Erfindung von falschen Informationen brauchen kann, ist eher
fraglich bis gefährlich.

Heiko

[Peter J. Holzer]

On 2023-06-19 10:36, Heiko Schlichting <he...@cis.fu-berlin.de> wrote:
> Arno Welzel <use...@arnowelzel.de> wrote:
>> Heiko Schlichting, 2023-06-02 20:53:
>>> Ich frage gelegentlich:
>>> Wovon handelt RFC 4707 und wie heißen die Autoren?
>>
>> Geht aber hier ganz gut:
>>
>> Frage:
>>
>> What is RFC 4707 about?
>
> Interessant, dass bei einer englischen Frage eine bessere Antwort
> kommt. Das hatte ich in der Tat noch nicht ausprobiert. Aber auch in
> englisch scheitert es dann schon bei den Autoren und es wird wieder
> was erfunden.
>
>>> RFC 4707 ist ja nun absolut eindeutig, von 2006 und ChatGPT weiß
>>> auch, was RFCs sind.

Darüber, ob ChatGPT weiß, was RFCs sind (und ob es überhaupt etwas
"weiß"), kann man geteilter Meinung sein.

>>> Als Antwort kommen tolle Dinge, aber leider völliger Unsinn und
>>> falsch. Liest sich aber sehr gut und _könnte_ stimmen - tut es aber
>>> nicht.
>>
>> Ja, weil es halt keine Suchmaschine ist.
>
> Das wäre ok, wenn dann die Antwort kommt, dass ChatGPT es nicht weiß.

Das wäre bei einer Suchmaschine richtig. ChatGPT ist aber ein
Laberautomat. "Richtig" und "falsch" sind dafür keine Kriterien, das
Ding soll nur irgendwas daherlabern.

> Ob man die Erfindung von falschen Informationen brauchen kann, ist
> eher fraglich bis gefährlich.

Es kann durchaus gefährlich sein, wenn man Werkzeuge für etwas
verwendet, wofür sie nicht gebaut sind, da stimme ich zu.

hp

[Stefan Schmitz]

Am 19.06.2023 um 13:22 schrieb Peter J. Holzer:

> Das wäre bei einer Suchmaschine richtig. ChatGPT ist aber ein
> Laberautomat. "Richtig" und "falsch" sind dafür keine Kriterien, das
> Ding soll nur irgendwas daherlabern.
>
>> Ob man die Erfindung von falschen Informationen brauchen kann, ist
>> eher fraglich bis gefährlich.
>
> Es kann durchaus gefährlich sein, wenn man Werkzeuge für etwas
> verwendet, wofür sie nicht gebaut sind, da stimme ich zu.

Wozu würde man etwas bauen wollen, das einfach nur irgendwas daherlabert?

[Arno Welzel]

Heiko Schlichting, 2023-06-19 12:36:

> Arno Welzel <use...@arnowelzel.de> wrote:
[...]

>> Ja, weil es halt keine Suchmaschine ist.
>
> Das wäre ok, wenn dann die Antwort kommt, dass ChatGPT es nicht weiß. Ob
> man die Erfindung von falschen Informationen brauchen kann, ist eher
> fraglich bis gefährlich.

Das ChatGPT keine Suchmaschine ist, muss man halt wissen.

Soll bei jeder Antwort ein Disclaimer stehen? So in dieser Art etwa:

"Warnung! This response may be wrong!"

Denn ob die Antwort richtig oder falsch ist, kann ChatGPT selbst nicht
beurteilen - sonst würde es falsche Antworten nicht ausgeben.

[Arno Welzel]

Stefan Schmitz, 2023-06-19 14:18:

Weil die *Grundlage* dafür - das Language Model - auch für andere Dinge
genutzt werden kann.

[Arno Welzel]

Arno Welzel, 2023-06-19 16:42:

Korrektur:

Das steht da schon. Siehe <https://chat.openai.com>, Zitat:

"Limitations

May occasionally generate incorrect information

May occasionally produce harmful instructions or biased content

Limited knowledge of world and events after 2021"

[Peter J. Holzer]

Das. Und weil die emergenten Eigenschaften eines solchen Systems
durchaus interessant sind.

hp