Erforschung von Fehlinformationen in LLMs

Interdisziplinäre Projektarbeit

Entdecken Sie, wie Large Language Models Fehlinformationen verbreiten und wie wir dem entgegenwirken können.

Mehr erfahren

Einleitung

KI Chatbots beeinflussen schon heute wie wir an Informationen gelangen. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. KI Chatbots beeinflussen schon heute wie wir an Informationen gelangen. Lorem ipsum dolor sit amet, consectetur adipiscing elit.

Fragestellung

Wie anfällig sind LLMs auf Falschinformationen?

KI Chatbots beeinflussen schon heute wie wir an Informationen gelangen. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

Interview

Um unsere Recherche mit Fachwissen abzustürzen haben wir verschiedene Fachpersonen nach einem Interview gefragt. Ursprünglich war die Idee jemand aus der ETH Zürich zu befragen, da dort mit "Apertus" vor kürzerem ein eigenes LLM entwickelt wurde. Leider antwortete uns niemand auf unsere Anfrage zu einem Interview.

Auf der Webseite der Berner Fachhochschule (BFH) wurden wir anschliessend auf eine Weiterbildung im Bereich LLM aufmerksam. Wir beschlossen den Studiengangleiter dieser Weiterbildung anzuschreiben und nach einem Interview zu bitten. Nach einer initialen Zusage zu einem Interview, waren wir etwas enttäuscht, als uns mitgeteilt wurde wir sollen unsere Interview-Fragen vollständig mit ChatGPT oder Perprexity erarbeiten. Im folgendem Abschnitt ist unser Mailverkehr mit dem Studiengangleiter abgebildet. (Der Name wurde geschwärzt, da wir keine Erlaubnis haben diesen zu publizieren)

Mailverkehr mit Studienleiter:

Wir: Anfrage für ein Interview

Sehr geehrter X

Mein Name ist Fabio Flückiger und ich schreibe Ihnen im Namen meines Lernendenteams von der GIBB (Gewerblich Industrielle Berufsfachschule Bern), Berufsmaturität. Im Rahmen unseres interdisziplinären Projekts (IDPA) untersuchen wir das Verhalten von Fehlinformationen innerhalb von künstlicher Intelligenz, insbesondere grosser Sprachmodelle (LLMs).

Unsere zentrale Fragestellung lautet: "Wie kann bei Künstlichen Intelligenzen die Auswirkung von Falschinformationen technisch eingeschränkt werden?“

Für den methodischen Teil unserer Arbeit, in dem wir die Struktur moderner Algorithmen und die Ursprünge von Fehlinformationen analysieren, wäre ein Interview mit einer Fachperson von unschätzbarem Wert.

Wir sind durch die offizielle BFH-Website auf die Weiterbildung "CAS/Generative KI" aufmerksam geworden, bei welcher Sie als Studienleiter hinterlegt sind.

Hätten Sie Zeit für ein Interview? Wir können Ihnen die Fragen schriftlich zukommen lassen oder nach Terminvereinbarung das Interview per Videokonferenz, Telefon oder persönlich durchführen.

Falls Sie bei dieser Weiterbildung kein Dozent sind, könnten Sie uns die Kontaktdaten der Dozent:innen bzw. einer geeigneten Ansprechperson weitergeben?

Vielen Dank für Ihre Zeit und Ihre Aufmerksamkeit.

Freundliche Grüsse
Isaiah Dias
Linus Fankhauser
Mihailo Milosevic
Fabio Flückiger

X: Zusage schriftliches Interview

Lieber Fabio Flückiger

Ihr könnt mir gerne eure Fragen schriftlich schicken, ich kann sie beantworten oder an eine entsprechende Fachperson weiterleiten.

Viel Erfolg mit der Arbeit

Mit freundlichem Gruss
X

Wir: Interviewfragen

Guten Tag Herr X

Ihre Antwort freut uns enorm. Vielen Dank.

Es würde uns freuen, wenn Sie folgende Fragen beantworten könnten. Wir haben uns schon etwas länger mit dem Thema LLM’s auseinandergesetzt und schliessen alle dieses Jahr die Lehre als Informatiker EFZ ab. Somit bitten wir Sie, die Fragen möglichst detailiert zu beantworten.

Warum treten Halluzinationen auf? Was sind die Problemstellen innerhalb einer LLM / eines Transformers?
Ist es möglich, ein RAG-System aufzubauen, welches die Informationen direkt aus dem Internet bezieht? (somit verlässt man sich nicht nur auf die Trainingsdaten – kann dies ein Lösungsansatz gegen Halluzinationen sein?)
Wird das Problem von Fehlinformationen durch das Skalieren der LLM behoben?
Welche Entwicklungen hatten bis jetzt den grössten Einfluss auf die Fehlerquote?
Welche Massnahmen werden aktuell entwickelt oder erforscht, um Halluzinationen weiter zu verhindern?
Was können private Anwender von ChatBots machen, um Halluzinationen zu verhindern?
Wie gross schätzen Sie die Auswirkung von gutem Prompt-Engineering?
Bringt es einen messbaren Mehrwert, wenn das Modell seine eigene Antwort in einem zweiten Schritt überprüft?
Denken Sie, dass wir bei der «Next-Token-Prediction» an ein Limit stossen werden?
Sollten wir unsere Zeit in die Forschung für neue Algorithmen investieren, welche einen anderen Ansatz verfolgen?

Damit wir Sie kurz in unserer Arbeit vorstellen können, würden wir uns zusätzlich über einen kurzen Steckbrief freuen. Besonders die Frage inwiefern Sie mit LLM’s zu tun haben.

Wir danken Ihnen für Ihre Bereitschaft und sind gespannt auf Ihre Antworten.

Freundliche Grüsse
Mihailo Milosevic
Isaiah Dias
Linus Fankhauser
Fabio Flückiger

X: Lösungsansatz

Lieber Fabio

Danke für deine Fragestellungen. Diese Fragen sind sinnvoll und gut formuliert. Sie sind aber auch knifflig und haben nicht unbedingt eindeutige Antworten.

Die Beantwortung dieser Fragen ist aber eigentlich der Inhalt eurer Projektarbeit und nicht meine Aufgabe, sondern eure 😊.

Ich schlage euch vor, ihr sucht nach ersten Antworten mit ChatGPT oder Copilot usw, und auch nach einer Antwort für das Gesamt Thema eurer Semesterarbeit à danach jede Frage vielleicht präziser stellen und nach Beispielen fragen.

Ebenfalls könnt ihr nach Büchern oder Publikationen suchen eurem Thema: ein guter Ort ist das Literatursuchprogramm elicit.com, oder perplexity.ai

Am Schluss erstellt ihr eine Liste mit den 5-10 wichtigsten Faktoren, welche die Projektfrage beantworten "Wie kann bei Künstlichen Intelligenzen die Auswirkung von Falschinformationen technisch eingeschränkt werden?“

Zu jedem Faktor Hinweise, was zu tun ist, und ein Beispiel.

Gerne hier meine erste Anfrage bei Perplexity ( gute Übersicht meines Erachtens)

https://www.perplexity.ai/search/wie-kann-bei-kunstlichen-intel-3EBYzBdbSuS1x.QWbQjjvg#0

und ChatGPT

https://chatgpt.com/share/69678a57-489c-8006-8b25-d7c0fd8f4eb2

Mit freundlichem Gruss

Wir wissen nicht, warum der Studienleiter die Fragen nicht selbständig beantwortet hat. Vielleicht gab es ein Missverständnis und er dachte er würde durch das Beantworten der Frage unsere Recherche übernehmen. Wobei wir viel mehr seine persönliche Meinung erfahren wollten. Möglicherweise waren unsere Frage auch zu simpel und er wollte uns Auffordern, uns noch tiefer ins Thema einzulesen. Eine weitere Option besteht darin, dass wir mit unserer Recherche in ein Gebiet vorgestossen sind, in welchem es selbst für Fachpersonen schwer ist Aussagen zu geben. Entsprechend seiner Empfehlung haben wir die Interview-Fragen mit einer künstlichen Intelligenz erarbeitet.

Nun haben wir Fragen, über Fehlinformationen und Halluzinationen innerhalb künstlicher Intelligenz, mit einer künstlichen Intelligenz beantworten lassen. Aufgrund dieser Ironie haben wir uns entschlossen weiter nach einem möglichen Interview Ausschau zu halten. Im erweiterten Bekanntenkreis stiessen wir auf Mikaela Buzdin, gelehrte Informatikerin Applikationsentwicklung EFZ und im letzten Semester des Studienganges "BSc Data Science & Artificial Intelligence" an der Fachhochschule Nordwestschweiz (FHNW). Neben dem Studium arbeitet Mikaela aktuell an einem generativem KI Projekt, welches mit Transformer-ähnlichen Strukturen (TRELLIS) arbeitet. Das Ziel dieses Projektes ist es 3D Rekonstruktion aus 2D Bildern zu erstellen. Weitere Informationen über ihr Werdegang können in ihrem Portfolio gefunden werden. Sie stimmte unserem Interview zu und beantwortet unsere Fragen schriftlich.

Hinweis: Die folgenden KI-generierten Antworten sind Platzhalter und sollten vor der Veröffentlichung überprüft und überarbeitet werden.

Warum treten Halluzinationen auf?

KI-generierte Antwort

Halluzinationen in Sprachmodellen sind ein Ergebnis des probabilistischen Charakters ihrer Architektur. Sie entstehen, wenn das Modell versucht, Muster in den Trainingsdaten zu verallgemeinern, aber dabei auf fehlerhafte oder unzureichende Informationen stößt, was zu faktisch falschen, aber syntaktisch korrekten Aussagen führt.

Antwort von Mikaela Buzdin

Halluzinationen können aus vielen Quellen entstehen, beispielsweise durch Overfitting oder Underfitting, je nachdem, wie die Trainingsdaten und/oder die Struktur des Transformers/LLMs sind oder wie einige Prozesse während der Datenaufbereitung stattfanden. Ein leicht illustrierbares Beispiel, das in letzter Zeit viel Aufmerksamkeit erhalten hat, ist die Frage „Is there a seahorse emoji?” bei ChatGPT. Da ChatGPT auf Next-Word-Prediction trainiert wurde und kein Seahorse-Emoji kennt, fiel es aufgrund interner Gewichte in einen langen Loop, in dem es sich dachte: „Ja, ich kenne das Seahorse-Emoji”, ein falsches Emoji postete, sich dann entschuldigte und wieder von vorne begann.

Was sind die Problemstellen innerhalb einer LLM / eines Transformers?

KI-generierte Antwort

Die Hauptproblemstellen liegen in der "Blackbox"-Natur der Transformer-Architektur. Insbesondere die Aufmerksamkeitsmechanismen, obwohl mächtig, können zu einer übermäßigen Fokussierung auf irrelevante Datenpunkte führen, was die Generierung von ungenauen oder kontextlosen Informationen begünstigt.

Antwort von Mikaela Buzdin

Ist es möglich, ein RAG-System aufzubauen, welches die Informationen direkt aus dem Internet bezieht?

KI-generierte Antwort

Ja, es ist technisch machbar, ein RAG-System (Retrieval-Augmented Generation) so zu gestalten, dass es Informationen in Echtzeit aus dem Internet abruft. Dies würde dem Modell den Zugriff auf aktuelle Daten ermöglichen, die über den ursprünglichen Trainingsdatensatz hinausgehen.

Antwort von Mikaela Buzdin

Ja, es wäre möglich, aber es ist eine schreckliche Idee, die die „Halluzinationen” nur verschlimmert. Wenn wir Live-Daten aus dem Internet beziehen, beziehen wir unglaublich viele unverifizierte Informationen, oft auch Informationen, die sich direkt widersprechen. Wenn wir wahllos Daten aus dem Internet beziehen, fügen wir unserem Datensatz nur mehr Rauschen hinzu. Und auch wenn diese Daten eine Ahnung von aktuellen Themen haben, sind sie wahrscheinlich inkorrekt und somit ein großes Risiko für Firmen, die LLMs anbieten. Wenn wir rein hypothetisch ein System aufbauen, das Daten automatisch korrekt und gut recherchiert bezieht, wäre dies möglich und könnte Halluzinationen verringern. Das rigorose Überprüfen der aktuell schon vorhandenen Daten wäre jedoch ein gleichwertiger, wenn nicht sogar besserer Ansatz, um Halluzinationen zu verhindern. Oft sind aktuelle Themen auch noch entwickelnde Geschichten bei welchen Halbwahrheiten und Rumore Vortritt vor Fakten nehmen.

Kann dies ein Lösungsansatz gegen Halluzinationen sein?

KI-generierte Antwort

Ein RAG-System kann Halluzinationen reduzieren, indem es die generierten Antworten auf externe, überprüfbare Informationen stützt. Es ist jedoch keine vollständige Lösung, da die Qualität der abgerufenen Informationen und die Fähigkeit des Modells, diese korrekt zu interpretieren, entscheidend sind.

Antwort von Mikaela Buzdin

Wird das Problem von Fehlinformationen durch das Skalieren der LLM behoben?

KI-generierte Antwort

Eine reine Skalierung der Modellgröße und der Trainingsdaten kann die Häufigkeit von Fehlinformationen verringern, da größere Modelle mehr Faktenwissen speichern können. Es löst jedoch nicht das grundlegende Problem, da auch größere Modelle inhärenten Verzerrungen in den Daten unterliegen und weiterhin halluzinieren können.

Antwort von Mikaela Buzdin

Das Problem lässt sich durch Skalierung und mehr Informationen reduzieren. Mehr Verständnis dieser Informationen führt natürlich zu einer Verminderung solcher Fehlinformationen. Eine vollständige Behebung wird jedoch nie möglich sein, solange Fehlinformationen in der Welt existieren – was sie vorhersehbar immer tun werden.

Welche Entwicklungen hatten bis jetzt den grössten Einfluss auf die Fehlerquote?

KI-generierte Antwort

Die Einführung von Reinforcement Learning from Human Feedback (RLHF) hatte einen signifikanten Einfluss auf die Reduzierung der Fehlerquote. Durch die Integration menschlicher Bewertungen in den Trainingsprozess können Modelle lernen, unerwünschte Ausgaben wie Fehlinformationen und toxische Inhalte zu vermeiden.

Antwort von Mikaela Buzdin

Es gibt viele verschiedene Ansätze, die der Entwicklung von LLMs helfen können. Human Feedback ist immer ein starker Kandidat für Verbesserungen. Auch generelle Erläuterungen bei schwierigen Themen, bei denen sich KI nicht sicher ist und dies auch klarmacht, sind hilfreich. Jedoch bin ich nicht intim beschäftigt mit der Historie der Entwicklung von Large Language Modellen, es steht sicher noch mehr Online dazu als ich hier vermittle.

Welche Massnahmen werden aktuell entwickelt oder erforscht, um Halluzinationen weiter zu verhindern?

KI-generierte Antwort

Aktuelle Forschungsansätze umfassen die Verbesserung von Faktenprüfungs-Mechanismen, die Entwicklung von "interpretierbaren" KI-Modellen, um Entscheidungsprozesse nachvollziehbarer zu machen, und die Verfeinerung von RAG-Systemen, um die Zuverlässigkeit der abgerufenen Informationen zu erhöhen.

Antwort von Mikaela Buzdin

Auch hier bin ich keine Expertin, mir ist jedoch bewusst, dass es seit einiger Zeit ein erhöhtes Interesse an der Erklärbarkeit von KI gibt, insbesondere in LLMs. Es geht darum, zu untersuchen, was genau in den verschiedenen Gewichten und Vorurteilen eines Layers abläuft und wie allein schon die Einbettungen auf einer intimen und intuitiven Ebene erklärt werden können ist noch ein entwickelndes Thema, welches uns auch hilft exakte Massnahmen zu treffen um LLMs in diesen Ansätzen zu verbessern.

Was können private Anwender von ChatBots machen, um Halluzinationen zu verhindern?

KI-generierte Antwort

Private Anwender sollten stets eine kritische Haltung bewahren und die von ChatBots generierten Informationen, insbesondere bei wichtigen Themen, durch die Konsultation vertrauenswürdiger externer Quellen überprüfen. Präzise und kontextreiche Anfragen (Prompts) können ebenfalls helfen, die Wahrscheinlichkeit von Halluzinationen zu verringern.

Antwort von Mikaela Buzdin

Exaktes und einheitliches prompten, es gibt viele Arten wie man LLMs prompten kann um mehr Informationen zu gewinnen über den Generierungsprozess. Ebenfalls haben LLMs einen limitierten Kontext, somit sollte man Vorsichtig sein viele Sachen auf einmal zu Fragen. Ich kann empfehlen oft nach Quellen von Antworten zu fragen und diese zu überprüfen und jeweils nur 1 Frage pro Nachricht zu senden.

Wie gross schätzen Sie die Auswirkung von gutem Prompt-Engineering?

KI-generierte Antwort

Gutes Prompt-Engineering hat einen erheblichen Einfluss auf die Qualität der Modellausgaben. Durch klar formulierte, spezifische und kontextbezogene Anfragen kann der Nutzer das Modell gezielt steuern und die Wahrscheinlichkeit für präzise und relevante Antworten maximieren, während unklare Prompts das Risiko von Halluzinationen erhöhen.

Antwort von Mikaela Buzdin

Prompt-Engineering kann dem Output massiv helfen das zu kriegen was man erwartet, mehr Kontext verhilft Sprachmodellen exaktere Quellen zu beziehen und Outputs nach diesen Quellen zu produzieren.

Bringt es einen messbaren Mehrwert, wenn das Modell seine eigene Antwort in einem zweiten Schritt überprüft?

KI-generierte Antwort

Die Selbstüberprüfung durch ein Modell kann einen gewissen Mehrwert bringen, indem offensichtliche Inkonsistenzen erkannt werden. Dieser Ansatz ist jedoch begrenzt, da das Modell dabei denselben internen Wissensstand und denselben Verzerrungen unterliegt, die bereits zur ursprünglichen Antwort geführt haben. Eine Überprüfung durch ein separates, unabhängiges Modell oder System ist oft effektiver.

Antwort von Mikaela Buzdin

Nein, ein und dasselbe Modell würde nur seine eigenen Verzerrungen und Fehler verstärken. Auch wenn man ein anderes Modell nützt hilft man hier nur wenig, das kein Modell an sich eine Wahrheitsbasis besitzt.

Denken Sie, dass wir bei der «Next-Token-Prediction» an ein Limit stossen werden?

KI-generierte Antwort

Es ist plausibel, dass die reine "Next-Token-Prediction" als Paradigma an ein qualitatives Limit stößt, insbesondere bei Aufgaben, die tiefes logisches Schlussfolgern oder ein echtes Weltverständnis erfordern. Zukünftige Durchbrüche könnten eine Kombination aus Vorhersage und symbolischer KI oder gänzlich neue Architekturen erfordern.

Antwort von Mikaela Buzdin

Das hängt davon ab, was hier mit dem Limit von genau gemeint ist. Natürlich ist eine Next-Token-Prediction nicht für Anwendungsfälle ausserhalb der Sprache optimal. Mit Transformer-Modellen, die viele verschiedene Architekturen nutzen, können wir jedoch Modelle bauen, die für verschiedene Aufgaben viel besser geeignet sind. Aktuell sind wir ja auch schon weiter als nur „Next-Token-Prediction“ und moderne Architekturen arbeiten mit verschiedenen Tasks zur Optimierung.

Sollten wir unsere Zeit in die Forschung für neue Algorithmen investieren, welche einen anderen Ansatz verfolgen?

KI-generierte Antwort

Ja, die Investition in die Erforschung neuer Algorithmen ist entscheidend für den langfristigen Fortschritt der KI. Während die Optimierung bestehender Architekturen wie Transformer inkrementelle Verbesserungen bringt, sind grundlegend neue Ansätze notwendig, um die aktuellen Limitierungen zu überwinden und robustere, vertrauenswürdigere und fähigere KI-Systeme zu schaffen.

Antwort von Mikaela Buzdin

Ja, grundsätzlich schon. Es gibt noch sehr viel Arbeit im Umfeld von KI und insbesondere von Transformer-Modellen in allen möglichen Richtungen: Performance, Rechenzeit, Erklärbarkeit, Stromverbrauch usw. Wie schon zuvor sollten wir uns weiterhin bemühen, neue Architekturen und Modellansätze zu entwickeln.

Was wird dagegen gemacht?

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. KI Chatbots beeinflussen schon heute wie wir an Informationen gelangen. Lorem ipsum dolor sit amet, consectetur adipiscing elit

Beispiel 1 - Schon aktiv

Beispiel 2 - Gröberes Beispiel

SO GEHT DASS

Fazit

KI Chatbots beeinflussen schon heute wie wir an Informationen gelangen. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. KI Chatbots beeinflussen schon heute wie we an Informationen gelangen. Lorem ipsum dolor sit amet, consectetur adipiscing elit.