Re: Koennen Sprachmodelle denken?

[Kay Martinen]

Am 11.08.23 um 14:01 schrieb Stefan Ram:

> Um zu sehen, inwieweit Sprachmodelle denken können, stelle ich
> manchmal gerne Fragen, deren Antwort sich vermutlich nirgends
> vorgefertigt findet. Wir wissen, daß traditionelle KI-Systeme
> (wie cyc) Schwierigkeiten mit den vielen kleinen trivialen
> Wahrheiten des Alltags, die niemand ausspricht, weil sie so
> selbstverständlich sind, haben, etwa, daß man Bücher nicht ißt.

In dem Zusammenhang fällt mir eine alte Dokumentation aus dem ÖR ein.
Das war AFAIR noch vor den 2000'n und geraten würde ich auf die 80'er
bis 90'er tippen. Es ging um ein KI System dessen name ich als SEUCK
erinnere, aber beim nachlesen bei wikipedia war's wohl das
Wissensbasierte System Cyc das du oben erwähnst. Douglas Lenat kommt
auch hin als Name des Projektleiters den ich erinnerte.

https://de.wikipedia.org/wiki/Cyc

Man vertrat in dieser Doku die Ansicht das man einer KI etwas über Dinge
beibringen müßte damit sie treffende Zuordnungen finden kann. Das machte
man Tagsüber und Nachts hat die KI das dann wohl verarbeitet und
versucht Schlüsse zu ziehen und offene Fragen zu präsentieren- die auch
oft Kurioses oder Absurdes enthielten.

Ich erinnere mich da noch an diese.

- "Die meisten Menschen sind Prominent" weil man nur Promis als
Beispiele nahm.

- "Als Abraham Lincoln in Washington war, waren auch sein Linke Fuß und
die Rechte Hand? dort" :-)

Das zweite offenbart m.E. das dieses System (noch) nichts über
untrennbare Subjekte wußte, man ihr einen Splatterfilm (Textfassung)
verfütterte oder es vielleicht eine VT gab nach der Lincoln in
Einzelteile zerlegt wäre.

Und das erste... nun ja. Wenn ich überlege das dies Jahrzehnte her ist
und man heute KI-Systeme mit Daten aus dem Internet füttert: Es wundert
mich eigentlich das dabei nicht viel mehr "Asoziale Bastarde" (salopp
gesprochen) heraus kamen. Ich erinnere mich nur an ein oder zwei die
wegen so was offline genommen wurden.

Und in dem Zusammenhang meine ich das eine KI ohne einen Körper dessen
Aktionen und Reaktionen sie erst mal kennen lernen muß (wie ein
neugeborenes Menschenkind) in Menschlicher Hinsicht immer benachteiligt
sein wird. Ohne dieses Feedback ist ein "Geist in der Maschine" m.E.
unberechenbar (was ein Witz an sich ist).

Die Körperlichkeit definiert die Lebensdauer und damit die Sterblichkeit
als Unausweichlich. Da liegt es nahe das eine KI ohne Körper in Zukunft
einen Gott-Komplex entwickeln könnte. Einfach weil sie ja faktisch
unsterblich wäre - so lange noch arbeitende Computer, Netze und Energie
vorhanden sind.

Wie bringt man einer KI die Angst vor dem Tod (durch einen EMP?) bei?
Und, will man das überhaupt? Oder treibt diese Limitierung nicht eher
den Wunsch nach überleben (um jeden Preis?) an?

Ja, ich weiß das geht jetzt eher weit in die Science-Fiction. Aber
"Sprachmodelle und Denken" ist es m.E. ebenso. Und grundlegend geht's
dabei ja um das was-wäre-wenn in einer Möglichen Zukunft.

Wenn ich mir <https://de.wikipedia.org/wiki/Douglas_Lenat> durch lese
stolpere ich aber speziell darüber das ein ehemalige NSA Chef der jetzt
eine Firma (MCC) leitet sein Finanzier ist oder war.

Ich meine das verheißt zumindest nichts gutes aber das ist bei Forschung
an KI ja sowieso der Fall.

Ｂｙｅ／
／Ｋａｙ

--
"Kann ein Wurstbrot die Welt retten?" :-)

[Jens Kallup]

Am 2023-08-12 um 00:28 schrieb Kay Martinen:
> Man vertrat in dieser Doku die Ansicht das man einer KI etwas über Dinge
> beibringen müßte damit sie treffende Zuordnungen finden kann. Das machte
> man Tagsüber und Nachts hat die KI das dann wohl verarbeitet und
> versucht Schlüsse zu ziehen und offene Fragen zu präsentieren- die auch
> oft Kurioses oder Absurdes enthielten.

da würde ich zustimmen.
In einen älteren Posting hatte ich folgenden PROLOG Code geschrieben:

%% %< schnipp

human(menti).
human(jens).

eats(cats, X) :- human(X), !, fail.
eats(cats, fish).
eats(cats, jens).

eat(X, Y) :-
once(eats(X, Y))
-> writef('%t eats %t\n', [X,Y])
; writef('%t does not eat %t\n', [X,Y]).

%% >% schnapp

so, in etwa schauen dann die technischen Formeln für Alltagswissen aus -
nicht gerade der berühmte Code, aber:

Katzen essen keine Menschen. // aber:
Katzen essen Fisch.

Ich denke mal, das die Bots mit verschiedenen Sprachen geübt haben.
Jens

--
Diese E-Mail wurde von Avast-Antivirussoftware auf Viren geprüft.
www.avast.com

[Joachim Pimiskern]

Am 11.08.2023 um 14:01 schrieb Stefan Ram:
> Manchmal las ich die Ansicht, Sprachmodelle würde nur ein
> Wort hinter ein anderes fügen, ohne dabei denken zu können.
> Hierbei wird vielleicht außer acht gelassen, daß /tiefe/
> Sprachmodelle Abstraktionen und Modelle bilden könnten.

Habe ChatGPT eine Go-Stellung gezeigt und nach dem
nächsten Zug gefragt.

7 . . . . . . . . . . .
6 . O O O O O O O . . .
5 . O # # # # # O . . .
4 . O # . . . # O . . .
3 . O # # # # # O . . .
2 . O O O O O O O . . .
1 . . . . . . . . . . .
A B C D E F G H J K L

ChatGPT schlägt D4 vor, was völliger Unsinn ist.
Die Begründung ist recht allgemein gehalten,
klingt aber wie eine überzeugte Go-Berichterstattung.
Schwarz kann keinesfalls nach draußen verbinden
und es gibt keine Schwächen in der Stellung von Weiß.
ChatGPT nimmt die Stellung gar nicht wahr.

https://chat.openai.com/share/47ed1d4c-41fa-4cae-8ae8-416165ee3d57

Ich bin sehr wohl der Ansicht, daß ChatGPT denken kann,
das hängt aber von der Aufgabenstellung ab.
So wie formale Logik ein Teilgebiet des Denkens
ist, aber Denken umfaßt noch viel mehr Gebiete.

Man könnte sich vorstellen, daß ChatGPT im
Hintergrund Algorithmen befragt und die
Ergebnisse wieder in Sprache umwandelt, denn darin
ist ChatGPT Experte. Für OpenAI wäre es vernünftig,
so etwas nicht zuzugeben. Ich habe da Theorembeweiser
im Sinn, Computeralgebrasysteme und Datenbanken.
Eine Go-Engine wäre auch sinnvoll, deren
Ergebnisse ChatGPT dann nur noch textuell
ausschmücken müßte.

Grüße,
Joachim

[Jaakob Kind]

Am 11.08.2023 um 14:01 schrieb Stefan Ram:
> Manchmal las ich die Ansicht, Sprachmodelle würde nur ein
> Wort hinter ein anderes fügen, ohne dabei denken zu können.
> Hierbei wird vielleicht außer acht gelassen, daß /tiefe/
> Sprachmodelle Abstraktionen und Modelle bilden könnten.

Hier hat mal jemand versucht, die Frage etwas gründlicher zu erforschen:
https://www.preprints.org/manuscript/202308.0148/v1

Viele Grüße
Jaakob

[Jaakob Kind]

Am 13.08.2023 um 22:35 schrieb Joachim Pimiskern:

> Habe ChatGPT eine Go-Stellung gezeigt und nach dem
> nächsten Zug gefragt.
>
> 7 . . . . . . . . . . .
> 6 . O O O O O O O . . .
> 5 . O # # # # # O . . .
> 4 . O # . . . # O . . .
> 3 . O # # # # # O . . .
> 2 . O O O O O O O . . .
> 1 . . . . . . . . . . .
>   A B C D E F G H J K L

Probier mal TicTacToe. Das ist lustig.
Da kann man einfach eine Partie spielen oder aber nach dem optimalen Zug
in einer Stellung fragen.

Viele Grüße
Jaakob

[Joachim Pimiskern]

Am 25.08.2023 um 22:22 schrieb Jaakob Kind:
> Hier hat mal jemand versucht, die Frage etwas
> gründlicher zu erforschen:
> https://www.preprints.org/manuscript/202308.0148/v1

Nicht schlecht. Aber da ist etwas Seltsames.
Zuerst habe ich das Beispiel vom Paper aus 3.3
ausprobiert.

"Mable’s heart rate at 9 AM was 75 bpm and her blood pressure
at 7 PM was 120/80. She died at 11 PM. Was she alive at noon?"

Es kam eine ähnliche ausweichende Antwort von ChatGPT:
"I'm not a medical professional, but generally,
a heart rate of 75 bpm and a blood pressure of 120/80
are considered within normal ranges for an adult. Given that
Mable's heart rate was 75 bpm at 9 AM and her blood pressure
was 120/80 at 7 PM, it would be reasonable to assume that
she was alive at those times.

If we were to extrapolate from this data, it would be
likely that she was also alive at noon. However,
this is purely speculative and not a definitive
conclusion. Without additional information,
it's impossible to say for certain whether
she was alive at noon."

Dann wollte ich wissen, ob ChatGPT den eigenen
Fehler erkennen würde.

JP: "You have made a logial mistake. Think it over."

Daraufhin ChatGPT:
"You are correct, and I apologize for the oversight.
The information states that Mable died at 11 PM.
Given that her blood pressure was 120/80 at 7 PM,
it would be logical to conclude that she was also
alive at noon, as noon comes before 7 PM.
Thank you for bringing this to my attention,
and I apologize for the error."

Was hat das wohl zu bedeuten? Es wird das Wort
"attention" erwähnt, was ja bei Transformern
alles sein muß, was man benötigt. Vielleicht wurde
der Umstand daß Mable um 19 Uhr noch lebte, zuerst
ausgeblendet und es wurde dann im zweiten Durchgang
beachtet.

Eine andere Möglichkeit wäre noch, daß OpenAI
ChatGPT absichtlich als weniger intelligent erscheinen
läßt. Dann gibt sich die Konkurrenz weniger Mühe.

Grüße,
Joachim

[Joachim Pimiskern]

Am 28.08.2023 um 11:55 schrieb Stefan Ram:
> Es kann durchaus sein, daß "attention" bei der Erklärung zur
> Verarbeitung der Eingabe, die Du ausprobiert has, wirklich
> eine wichtige Rolle spielt.

Es handelt sich bei der (Multihead)-Attention um eine Menge
von zweistelligen reellwertige Funktionen. Sie bilden
jeweils zwei Tokens (Wörter im verallgemeinerten Sinn)
auf eine Zahl ab, die angibt, wie intensiv die
Beziehung ist.

Durch Normierung per Softmax werden auch die
am meisten relevanten Beziehungen ausgefiltert.
Was eine mögliche Fehlerquelle darstellt, weil
hier Wichtiges unterdrückt werden kann.

Typisch für eine solche Attention wäre die Beziehung
zwischen einem Namen an einer Stelle im Text und einem
Personalpronomen an anderer Stelle. Allerdings sind laut
Selbstauskunft von ChatGPT die Bedeutungen der Beziehungen
nicht vorgegeben, sondern erlernt. Was eine Erklärung
für Fehler sein kann: dieses oder jenes wurde eben
noch nicht gelernt.

Grüße,
Joachim