Mike Müller: Googles Chatbot erzählt «Chutzenmist»
Bard sei ein «pathologischer Lügner»: So urteilten Google-Mitarbeiter über den Chatbot des Suchmaschinenkonzerns. Er ging im März 2023 online, und in unserem Test hat die künstliche Intelligenz (KI) des Suchmaschinenkonzerns deutlich mehr falsche und unplausible Antworten geliefert als der Hauptkonkurrent Chat-GPT.
Auch Microsoft hatte Anlaufschwierigkeiten: Die Startschwierigkeiten bei Copilot konnten schnell eliminiert werden. Google hat neulich einen wichtigen Fortschritt vermeldet, mit dem man zu Chat-GPT aufschliessen will. Ein neuer Softwarekern namens Gemini kommt seit letzter Woche flächendeckend zum Einsatz. Google verspricht sich so viel von ihm, dass der Konzern soeben entschieden hat, Bard in Gemini umzutaufen.
In der Reinkarnation als Gemini hat Bard eine zweite Chance verdient. Ist mit dem alten Namen auch der Hang zur Lüge verschwunden? Doch schon meine ersten Stichproben fallen verheerend aus. Auch Gemini halluziniert. Sprich: Der Bot erfindet Fakten und gibt Falschinformationen von sich.
Der Bot soll die Frage beantworten, wer Mike Müller ist. Die grundsätzlichen biografischen Daten stimmen: 1963 geboren in Grenchen, Schweizer Schauspieler und Kabarettist. Doch er dichtet Müller auch mehrere Bücher, Bühnenprogramme und eine Beteiligung als Synchronsprecher von Shrek in der deutschen Fassung des gleichnamigen Films an.
Mit dieser Beschreibung konfrontiert, urteilt Mike Müller: «Die grünen Passagen stimmen, der Rest ist Chutzenmist.» Die farbliche Unterscheidung stammt von der «Antwort überprüfen»-Funktion. Sie markiert Passagen mit Grün oder Braun, je nachdem, ob sie via Google-Suche erhärtet werden konnten.
Mike Müller sieht einen Vorsatz: «Es ist wie in der Mittelschule, wenn man einem faulen Kumpel für zwei Päckli Zigaretten einen Vortrag zusammenstiefelt, dieser Kumpel einem die Freundin ausspannt und man sich solcherlei rächt.» Abschliessend gibt es doch noch ein Lob: «Der letzte Satz allerdings ist nichts als die pure Wahrheit, Wahnsinn.» Dieser letzte Satz lautet: «Zusammenfassend lässt sich sagen, dass Mike Müller einer der vielseitigsten und erfolgreichsten Schweizer Künstler der Gegenwart ist.»
Immerhin: Mittels «Antwort überprüfen»-Funktion liessen sich die Falschinformationen identifizieren. In weiteren Tests zeigt sich allerdings, dass auch die nicht alle Fehler abfängt: Als ich den Bot zu mir und meinem privaten Blog befrage, erfindet er eine völlig fiktive Rangliste der beliebtesten Blogposts, die nicht durchgängig als falsch markiert wird.
Was meint Google dazu? Die Funktion «Antwort überprüfen» sei kein Faktenchecker, teilt Mediensprecherin Pia De Carli auf Anfrage mit: Die Funktion beurteile eine Aussage danach, ob es im Internet stützende Inhalte gebe: «Wenn eine Aussage mit einer gewissen Wahrscheinlichkeit bewertet werden kann, zeigt die hervorgehobene Phrase an, wo Sie mehr über unterstützende oder möglicherweise widersprüchliche Informationen erfahren können, die über die Google-Suche gefunden wurden.»
Das Experiment müsste gestoppt werden – sofort. Ich kann die Qualität der Antworten zwar nur durch Stichproben bestimmen. Es ist nicht ausgeschlossen, dass der Bot bei meinem Test einen schlechten Tag hatte. Trotzdem ist er zu weit weg von der Qualität, die Google anstreben muss – daran ändert auch der neue Namen nichts. Zur ungenügenden Qualität äussert sich Mediensprecherin Pia De Carli diplomatisch: «Alle grossen Sprachmodelle halluzinieren, auch unseres. Wir arbeiten weiter daran, die Antworten zu verbessern.»
Matthias Schüssler ist Digitalredaktor der SonntagsZeitung.