Rolf

2024-06-10 17:25:47

LLMs sind nicht intelligent

Vor ein paar Tagen sah ich einen ähnlichen Dialog wie den folgenden auf Mastodon. Ich probierte ihn kurz danach mit Microsofts Copilot selbst aus, denn er repräsentiert in Kurzfassung das, was aktuell als künstliche Intelligenz angesehen wird.

Warum gibt Copilot eine so offensichtlich unsinnige Antwort?

Weil da keine Intelligenz ist, die die Frage versteht, sondern lediglich über ein Large Language Model eine Texttransformation stattfindet. Und das ist im Kern nichts anderes, als eine irrsinnig komplexe Markow-Kette, bei der einfach aus den Wahrscheinlichkeiten, mit denen ein bestimmtes Wort auf das nächste folgt, Sätze gebildet werden. Dass also mit einer gewissen Wahrscheinlichkeit auf „Ich öffnete die“ das Wort „Tür“ folgen wir, mit erheblich geringerer Wahrscheinlichkeit das Wort „Revisionsklappe“ und niemals „Staubsauger“. Dabei wird nicht nur mit ein paar wenigen, sondern mit Milliarden von Wahrscheinlichkeiten operiert. Was übrigens so richtig auf die Stromrechnung geht.
Bei dem Beispiel nimmt Copilot die Wahrscheinlichkeiten des Flussüberquerungsrätsels und berechnet daraus die Antwort. In den vielen Varianten des Rätsels, die zum Training benutzt wurden, kommen neben dem Boot und dem Fluss der Wolf, die Ziege und der Kohlkopf vor. Wenn ich jetzt einfach mal Wolf und Kohlkopf weglasse, hangelt sich Copilot durch die Wortwahrscheinlichkeiten, die die diversen Flussüberquerungen beschreiben. Nur dass es ohne Wolf und Kohlkopf sinnlos ist mehr als einmal zu fahren.

Ein Mensch versteht das.

Das nennt sich Intelligenz.

Texttransformationen können zwar intelligent wirken und erstaunliche Resultate erzeugen, aber sie können einfach von der Voraussetzung her niemals intelligent werden. Und dabei ist es egal, wie viel Texte und Training ich hineinwerfe. Der Ansatz gibt es einfach nicht her.

Logikrätsel

^{Autoren der Wikimedia-Projekte (Wikimedia Foundation, Inc.)}

AlanSmithee

2023-12-29 14:39:19

Die Maus ist raus.