Tipps zum Verhindern von Halluzinationen

Prompt Engineering

Unter Prompt Engineering wird verstanden, Anweisungen für das LLM so anzupassen, dass es die bestmögliche Antwort generiert. Auch für die LLM-Hersteller ist Prompt Engineering wichtig. Die Hersteller definieren sogenannte System-Prompts, diese sind für den Endbenutzer unsichtbar und können nicht überschrieben werden, enthalten jedoch wichtige Regeln oder Anweisung für die LLM.

Der korrekte Aufbau von einem Prompt ist wichtig. Wieso dies so ist, lässt sich einfach erklären. Wie auch bei einer Kommunikation zwischen zwei Menschen helfen mehr Kontext und spezifischere Aussagen Missverständnisse zu verhindern, so auch bei LLMs. Der einzige Unterschied ist, dass das LLM nicht unseren Tonfall hört und unsere Körpersprache lesen kann. Dadurch ist es noch schwieriger unsere Nachricht korrekt zu übermitteln. Im Transformer des LLM kann, wenn mehr Kontext mitgeliefert wird, innerhalb der Attention besser berechnet werden, welche Antwort am besten geeignet ist.

Zusätzlich haben LLMs heutzutage Zugriff ins Internet. Wenn nicht gezielt mitgeteilt wird, von wo Informationen geholt werden sollen, kann das LLM Quellen, wie fragwürdige Chat-Foren, aufgreifen und von dort Falschinformationen abrufen. Durch die Rollen vergabe sucht das LLM auch in einem anderen Muster im Internet. Beispielsweise ein Physiklehrer würde nicht auf Halbwissen aus einem Chat Forum seinen Unterrichtsstoff aufbauen, sondern sich eher auf ein offizielles Dokument einer Universität stützen.

Tipps für den idealen Prompt-Aufbau

<instruction>
Remove all 'o' from the following text
</instruction>
The quick brown fox jumps over the lazy dog.

Act as a physicist. Explain the concept of quantum entanglement to a high school student.
Your explanation should be no more than 100 words.

Answer the following question. Think step by step.
Problem: How many people live in the ten biggest cities of the world combined?

Get your informations from: https://f3o.ch/llm/
Answer the following question: What is the Attention inside of a Transformer?

Answer the following question. If you do not know the answer, say "I don't know".
Question: What is the population of Mars?

Agent Architektur

Anstelle von einem einzigen LLM, welches den User Prompt verarbeitet, gibt es den Ansatz von KI-Agents. Dies sind Systeme, die aus einem LLM bestehen, welches verschiedene Aufgaben koordinieren kann. Zusätzlich sind oft andere Tools, wie Mail, Kalender oder Datenbanken daran angeschlossen, um eine Antwort noch besser und fehlerfreier zu generieren. Bei allen folgenden Beispielen kann ein Agent wie eine alleinstehende LLM angeschaut werden.

Reflektion

Mithilfe von mehreren Agents kann zum Beispiel eine automatische Reflektion erzeugt werden. Der User Prompt wird von einem Agent (einem LLM) verarbeitet. Anstatt dass diese Antwort nun direkt zurückgegeben wird, verarbeitet ein zweiter Agent (ein zweites LLM) die Antwort. Das zweite LLM kann den Text überprüfen, Fehler finden und anschliessend, via zweiten Prompt an den ersten Agent, Verbesserungen wünschen. Wenn dies mehrmals gemacht wird, können falsche Antworten besser ausgefiltert werden. Es besteht aber auch die Möglichkeit, dass die Antworten den roten Faden verlieren.

Plan

Eine weitere Agent Architektur ist, dass im ersten Schritt der Verarbeitung der User Prompt geplant wird. Anstelle vom direkten Beantworten oder Verarbeiten der eigentlichen Anforderung wird ein Schritt-für-Schritt Plan erstellt, wie vorgegangen werden soll. Dieser wird dann entsprechend abgearbeitet und die endgültige Antwort dem User zurückgegeben. Aktuell kann dieses Vorgehen sehr gut bei der Deep Research Funktion von Gemini beobachtet werden. Gemini erstellt zuerst einen Plan für die Recherche, welche anschliessend sogar noch vom Benutzer editiert werden kann, bevor die eigentliche Recherche startet.

Unternehmen Nachstellung

Noch experimentell ist der Versuch, Unternehmen mit verschiedenen Agents abzubilden. Gerade wenn ein Benutzer eine sehr komplexe Aufgabe dem LLM übergibt, könnte diese Architektur ihre Vorteile haben. In dieser Architektur wird pro Abteilung in einem realen Unternehmen ein Agent erstellt, welcher gezielte Systemprompts für seinen Bereich hat oder schon im Training gezielt darauf trainiert wurde. Somit kann es zum Beispiel ein Agent geben, der im Innendesign ein grosses Wissen hat, ein Agent, welcher im Möbelschreinern Spezialist ist und zum Schluss ein Agent, welcher sich im Finanzwesen vertieft hat. Um diese zu koordinieren hat es zum Beispiel einen Projektleiter-Agent. Wenn nun ein Benutzer seinen Prompt absetzt, wird dies dem Projektleiter gegeben, welcher dann einen ersten Plan entwirft. Dieser wird dann den einzelnen Agents gegeben und von dort an wie in einem echten Unternehmen abgearbeitet. Die verschiedenen Agents können hierbei komplett frei miteinander kommunizieren.

Ein grosser Vorteil von diesem Aufbau ist, dass jeder Agent auf ein Thema spezialisiert ist und nicht alles verstehen muss. Die Aufgabe vom User wird in kleine Subtasks aufgeteilt, welche dann gezielt und genauer abgearbeitet werden können. Wie auch bei echten Unternehmen besteht jedoch die Gefahr, zum Beispiel durch Fehlkommunikation das Ziel zu verfehlen.

Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation ermöglicht es zwischen dem Embedding und der Berechnung des nächsten Tokens, weiteren Kontext zum Prompt hinzuzufügen. Wenn nun ein Benutzer fragt “Wie viele Sitzplätze hat der A320?”, werden die Vektoren beim RAG-System abgefragt. Dieses erkennt, dass es dazu Informationen enthält und kann somit automatisch den Kontext “Ein A320 hat 150-187 Sitzplätze” hinzufügen. Dadurch erhält das LLM gerade sämtliche Fakten und muss nicht auf interne, beim Training gelernte, Informationen (welche auch veraltet sein könnten) zurückgreifen.

Während Halluzinationen meistens behoben werden können, hat dieser Lösungsansatz jedoch ein grosses Problem. Die Quelle, von welcher RAG die Informationen bekommt, darf keine Fehlinformationen beinhaltet. Bei einer kleinen Informationssammlung ist dies vielleicht noch überprüfbar, aber das Limit von menschlicher Kontrolle ist schon bald erreicht. Somit muss entweder ein System erstellt werden, welches falsche und richtige Informationen erkennt und nur die richtigen abspeichert oder es muss ein anderer Lösungsansatz bei einem grösseren Wissens-Kontext verwendet werden.

Temperatur

Die Temperatur ist ein Parameter, der steuert, wie streng sich das Modell an die berechneten Wahrscheinlichkeiten hält. Sie bestimmt den Grad der «Zufälligkeit» bei der Auswahl des nächsten Wortes.

• Niedrige Temperatur (nahe 0): Das Modell wählt fast immer das Wort mit der allerhöchsten berechneten Wahrscheinlichkeit. Das Verhalten ist sehr strikt und deterministisch.
• Hohe Temperatur (nahe 1): Das Modell hat mehr Freiheiten und darf auch Wörter wählen, die statistisch etwas weniger wahrscheinlich sind. Dies sorgt für vielfältigere, aber auch unvorhersehbarere Texte.

Halluzinationen entstehen oft, wenn das Modell vom sichersten Pfad abweicht und anfängt, unwahrscheinliche Verknüpfungen zu bilden (es wird zu «kreativ» bei Fakten). Indem man die Temperatur senkt, zwingt man das Modell, strikt beim statistisch sichersten Pfad zu bleiben. Das eliminiert das Risiko, dass das Modell zufällig Fakten erfindet, nur um den Text variabler zu gestalten.

Reinforcement Learning from Human Feedback (RLHF)

Ein grosser Vorteil von RLHF ist, dass Menschen direkt im Prozess involviert sind. Da sämtliche Antworten von Menschen angeschaut und auch auf faktische Korrektheit überprüft werden, können Halluzinationen direkt erkennt und schlecht bewertet werden. Dadurch werden diese weniger oder sogar komplett aus dem System genommen. Bei grossen KI-Firmen wird dies schon längst umgesetzt, trotzdem könnte hier durch noch längeres oder besseres RLHF mehr Fehlinformationen aus dem System gefiltert werden.

Es gibt Vermutungen, dass durch RLHF jedoch eine neue Form von Fehlinformationen im System auftauchen können. Während dem RLHF wird das LLM trainiert, hilfreich zu sein und dem Menschen zuzustimmen. Besonders bei Fragen, auf welche eine Antwort im RLHF gewählt wird, die faktisch nicht korrekt ist. Beispielsweise lernt das LLM, dass es auf die Frage, wie ein Auto gestohlen werden kann, antwortet, dass diese Handlung illegal ist. Rein faktisch ist diese Antwort jedoch inkorrekt, weil nicht beschrieben ist, wie ein Auto gestohlen werden kann. Das führt zu einem Konflikt zwischen Wahrheit und der Erwartung von uns Menschen, was dazu führen kann, dass das LLM die Antwort gibt, welche wir erwarten und nicht die Wahrheit.