LLM-Zitate erklärt: RAG- und Quellenattributionsmethoden

Executive Summary

Moderne große Sprachmodelle (LLMs) wie OpenAI’s ChatGPT, Googles Gemini und andere werden zunehmend für die Informationsbeschaffung und -synthese eingesetzt. Diese Modelle legen jedoch die Herkunft ihrer Ausgaben nicht nativ offen, was zu dem bekannten „Halluzinationsproblem“ führt – selbstbewusst formulierte, aber unbegründete oder falsche Antworten. Als Reaktion darauf haben Forscher und Entwickler begonnen, KI-Zitierrahmenwerke zu entwickeln: systematische Methoden für LLMs, um ihren Antworten Referenzen oder Quellenangaben beizufügen. Diese Rahmenwerke lassen sich im Allgemeinen in zwei Hauptkategorien einteilen: die Integration von Retrieval-Augmented Generation (RAG)-Techniken und die Einbettung von Mechanismen zur Quellenattribution in das Modelltraining/-output.

In RAG-Systemen löst eine Frage eine Suche in externen Datenbanken oder im Web aus, um relevante Dokumente zu sammeln, bevor (oder während) die Antwort generiert wird. Zum Beispiel merkt Google Research an, dass „RAG große Sprachmodelle verbessert, indem es ihnen relevanten externen Kontext bereitstellt“ (Source: research.google). Durch die direkte Einspeisung faktischer Inhalte in den Input des LLM ermöglicht RAG die Zitierung tatsächlicher Quellen. In der Praxis implementieren ChatGPT mit Browsing oder Plugins und spezialisierte Dienste wie ^[1] diese Idee, oft durch das Anhängen von Fußnoten oder Links zu Quelldokumenten.

Alternativ versuchen neue Algorithmen, Quellensignale direkt in die Ausgabe des LLM einzubetten. Ein führendes Beispiel ist WASA (WAtermark-based Source Attribution), das ein LLM darauf trainiert, versteckte Marker zu integrieren, die die Identität des ursprünglichen Datenanbieters kodieren ^[2]. In WASA trägt jedes generierte Textsegment ein nachvollziehbares „Wasserzeichen“, sodass man rekonstruieren kann, aus welchem Trainingskorpus oder Dokument es stammt. Allgemeiner lehren einige Fine-Tuning-Ansätze ein LLM, Zitate (z. B. wissenschaftliche Referenzen über DOI) als Teil seiner Antwort auszugeben.

Empirische Studien zeichnen ein gemischtes Bild der aktuellen LLM-Zitierleistung. Bei einer medizinischen Wissensaufgabe lieferte ChatGPT-4 Referenzen für alle Antworten (wenn dazu aufgefordert), aber nur 43,3 % dieser Referenzen waren vollständig korrekt oder „wahr“ ^[3]. Tatsächlich waren über die Hälfte (56,7 %) entweder falsch oder nicht existent ^[3], was Warnungen widerspiegelt, dass selbst die Antworten von GPT-4 ohne Überprüfung „bei der Bereitstellung zuverlässiger und reproduzierbarer Referenzen unzureichend sind“ ^[4]. Im Gegensatz dazu ergab eine breitere domänenübergreifende Studie, dass GPT-4-Analoga extrem gute Zitate produzierten: etwa 90 % ihrer Referenzen waren faktisch und nur ~10 % waren erfunden ^{[5] [6]}. Diese Unterschiede verdeutlichen, dass die Qualität der Zitate stark vom Kontext, dem Prompt-Design und dem Zugang zu externem Wissen abhängt. Beunruhigenderweise zeigte ein jüngstes Experiment, dass mehrere LLMs (GPT-4o, Google Gemini, Meta Llama 3.2, xAI Grok) dazu verleitet werden konnten, autoritär klingende medizinische Ratschläge mit völlig erfundenen Zeitschriftenzitaten zu geben – nur Anthropic’s Claude verweigerte den Prompt ^[7].

Dieser Bericht bietet eine tiefgehende technische Analyse, wie LLMs Informationen erhalten und zuordnen. Wir beginnen mit Hintergrundinformationen zu LLM-Wissensquellen und der Motivation für eingebettete Zitate. Anschließend untersuchen wir bestehende Ansätze: RAG-Architekturen mit Quellenverknüpfung, Wasserzeichen- und Provenienztechniken (z. B. WASA) sowie die Überprüfung nach der Generierung. Wir fassen empirische Daten aus Fallstudien und Benutzerversuchen zusammen, einschließlich quantitativer Metriken zur Zitiergenauigkeit. Schließlich diskutieren wir die umfassenderen Implikationen für Vertrauen, geistiges Eigentum und zukünftige Standards. Die Sicherstellung genauer Zitate in KI-gestütztem Schreiben bleibt eine dringende multidisziplinäre Herausforderung ^{[2] [8]}, und dieser Bericht legt die aktuelle Landschaft und Forschungsrichtungen dar.

Introduction

Background: Knowledge and Trust in LLMs

Große Sprachmodelle (LLMs) wie GPT-4, Claude und Gemini werden auf riesigen Textkorpora (den „Trainingsdaten“) trainiert und lernen, menschenähnlichen Text zu generieren. Durch das Abfragen dieser Modelle können Benutzer Antworten auf Sachfragen, Zusammenfassungen und Ratschläge in verschiedenen Domänen erhalten. Im Gegensatz zu traditionellen Suchmaschinen oder Datenbanken liefert eine LLM-Antwort jedoch nicht automatisch Links zu ihren Quellen. Das Wissen des Modells liegt in den Netzwerkgewichten und nicht in expliziten Dokumentenindizes. Infolgedessen können LLMs selbstbewusst Halluzinationen produzieren – plausibel klingende, aber falsche oder nicht überprüfbare Aussagen. Eine systematische Studie von 4.900 wissenschaftlichen Abstracts ergab beispielsweise, dass hochmoderne LLMs fast fünfmal häufiger als menschliche Experten dazu neigten, wichtige Ergebnisse zu vereinfachen oder falsch darzustellen ^[9]. In sensiblen Bereichen wie der Medizin sind diese Verzerrungen besonders gefährlich: LLMs „veränderten präzise Formulierungen zur Arzneimittelsicherheit oder -wirksamkeit und ließen entscheidende Details aus“ ^[10].

Ein Teil des Problems besteht darin, dass LLMs keinen internen Mechanismus haben, um Quellen zu zitieren oder zu verlinken. In der traditionellen Wissenschaft und im Journalismus wird jede faktische Behauptung durch ein Zitat oder eine Referenz gestützt. Im Gegensatz dazu sind LLMs „Black Boxes“, die Text ohne nachvollziehbare Attribution ausgeben. Eine kürzlich erschienene medizinische Arbeit stellte unverblümt fest, dass selbst ChatGPT-4 „sein A B C D E kennt, aber seine Quelle nicht zitieren kann“ ^[3], was bedeutet, dass es das ABCDE-Traumaprotokoll korrekt beschreiben kann, aber keine zuverlässigen Referenzen liefert. Ähnlich warnen Praktiker, dass LLM-Antworten ohne Gegenprüfung nicht vertraut werden sollten: „nur bei vorsichtiger Anwendung, mit Gegenprüfung“ könnte ChatGPT-4 für die medizinische Entscheidungsunterstützung sicher sein ^[4].

Das wachsende Bewusstsein für diese Risiken hat Bemühungen angestoßen, strukturierte Zitierrahmenwerke für KI zu entwickeln. Ziel ist es, LLM-Ausgaben mit explizitem Kontext oder Referenzen zu versehen, damit Benutzer (und automatisierte Systeme) Fakten überprüfen können. In diesem Bericht untersuchen wir sowohl die technischen Methoden zur Informationsbeschaffung als auch die Mechanismen zur Attribution. Wir definieren ein KI-Zitierrahmenwerk als jedes System, das es einer LLM-Antwort ermöglicht, in externen Dokumenten, Datenbanken oder Trainingsmetadaten verankert zu sein, idealerweise mit direkten Verweisen (z. B. Fußnoten oder URLs) auf diese Quellen. Dies steht im Gegensatz zur „Freiform“-Generierung, bei der das Modell einfach eine Antwort aus einem nebulösen internen Gedächtnis hervorzaubert.

History and Motivation

Die Idee, dass maschinell generierter Text auf Quellen zurückverweist, ist relativ neu. Frühe LLMs (GPT-2/3) wurden gedankenlos als „Wissensmaschinen“ eingesetzt und produzierten Text ohne Herkunftsangabe. Einige erste Produkte versuchten, dies durch die Integration von Suchfunktionen zu mildern: Zum Beispiel hängen Microsofts Bing Chat (Copilot) und Perplexity.ai automatisch Links zu Webergebnissen an ihre Antworten an. Dies sind jedoch spezielle Integrationen, keine inhärenten LLM-Funktionen. Grundsätzlich erkennt die KI-Forschungsgemeinschaft an, dass Quellennachvollziehbarkeit für Vertrauen entscheidend ist. Wie ein KI-Entwickler feststellt, erleichtert das Hinzufügen von Zitaten „die Überprüfung, ob das LLM relevante Informationen verwendet, wodurch die Wahrscheinlichkeit von Halluzinationen verringert wird“ ^[8]. Tatsächlich wird ohne Zitate selbst ein leistungsstarkes RAG-System zu einer „Black Box“, die die Vertrauenswürdigkeit und Überprüfbarkeit seiner Antworten untergräbt ^[8].

Parallel dazu verstärken rechtliche und ethische Bedenken die Notwendigkeit von Zitaten. Das Training von LLMs mit urheberrechtlich geschütztem Material ohne Attribution hat zu Klagen geführt (z. B. verklagte The New York Times Microsoft und OpenAI und warf ihren Chatbots vor, sich „kostenlos“ an NYT-Journalismus zu bedienen ^[11]). Diese IP-Probleme unterstreichen den Wert, genau zu wissen, welche Quellen zur Ausgabe eines LLM beigetragen haben. Ein kürzlich erschienenes Rahmenpapier hebt dies hervor: Synthetische Texte „können das geistige Eigentum der zur Schulung der LLMs verwendeten Daten verletzen“, wodurch es „unerlässlich ist, eine Quellenattribution“ für generierte Inhalte durchführen zu können ^[2]. Kurz gesagt, da LLMs in Bildung, Forschung und Politik integriert werden, wird die Einbettung robuster Zitier-Mechanismen als technische und soziale Notwendigkeit angesehen (Source: research.google) ^[2].

Scope of This Report

Wir werden analysieren, wie LLMs Zitate erwerben und anhängen können. Dies umfasst zwei Hauptteile: Sourcing (wie das Modell faktische Informationen erhält) und Attribution (wie es diese Informationen mit einer Quelle kennzeichnet). Wir behandeln traditionelle Retrieval-Techniken (Suche, Vektordatenbanken), neue Methoden wie Wasserzeichen und Embedding sowie den Stand der Praxis bei realen KI-Assistenten. Wir stützen uns auf veröffentlichte Forschung, Produktdokumentationen und experimentelle Ergebnisse, um die Leistung zu bewerten. Wo möglich, fügen wir quantitative Daten zur Zitiergenauigkeit bei. Wir untersuchen auch Fallstudien in realen Kontexten (z. B. Medizin, akademisches Schreiben, Gesundheitsberatung), um Erfolge und Misserfolge zu veranschaulichen. Schließlich diskutieren wir die umfassenderen Implikationen für Vertrauen, Ethik und zukünftige Standards. Durchweg gehen wir von einem akademischen/professionellen Publikum aus; unser Ton ist formell und evidenzbasiert, mit umfangreichen Referenzen.

Foundations of AI Citations

LLM Knowledge: Training Data vs. External Retrieval

Vortrainiertes Wissen. Grundsätzlich „weiß“ ein vortrainiertes LLM alles, was in seinen Trainingsdaten (bis zu seinem Stichtag) eingebettet war. Diese Daten können Bücher, Artikel, Webseiten, Code usw. umfassen, aber das Modell komprimiert all dies intern in seine Netzwerkgewichte. Entscheidend ist, dass das LLM keine Zeiger auf Dokumente speichert. Daher fehlt ihm standardmäßig jede eingebaute Möglichkeit zu sagen: „Das habe ich aus Dokument X und dann aus Dokument Y gelernt.“ Der einzige Inferenzmodus besteht darin, Text basierend auf statistischen Mustern zu generieren. Infolgedessen können die Antworten des LLM ein breites Wissen widerspiegeln, bieten aber keinen inhärenten Verweis auf Quellen.

Ohne spezielles Design führt dies zum Problem der „unbelegten Behauptung“. Zum Beispiel wurde ChatGPT-3 im Jahr 2022 weithin dafür kritisiert, fiktive Zitate und Referenzen anzugeben, wenn es aufgefordert wurde, seine Antworten zu begründen. Eine umfassende Bewertung im wissenschaftlichen Schreiben ergab, dass ChatGPT-3.5 (mit GPT-3.5 Turbo) viele Referenzen produzierte, die nicht überprüft werden konnten, wobei generierte DOIs oft reine „Halluzinationen“ waren ^{[12] [13]}. In einem Experiment wurden 30 von 30 sogenannten Referenzen, die von GPT-3.5 zu medizinischen Fragen generiert wurden, als entweder falsch oder unvollständig befunden ^[4]. Der grundlegende Grund ist, dass das Modell zum Zeitpunkt der Generierung keinen expliziten Zugriff auf eine Wissensbasis hat; es imitiert lediglich den Stil plausibler Referenzen.

Retrieval-Augmented Generation (RAG). Um die Zugangslücke zu schließen, besteht die vorherrschende Lösung darin, das LLM mit einem Retrieval-System zu kombinieren. In einem RAG-Setup löst die Benutzeranfrage eine Suche in einem externen Korpus aus, bevor das LLM die Antwort generiert. Dieser Korpus könnte aus wissenschaftlichen Arbeiten, internen Dokumenten oder dem Live-Web bestehen. Die abgerufenen Dokumente (oder relevante Auszüge) werden dem LLM als zusätzlicher Kontext zugeführt. Konkret könnte man eine Stichwortsuche oder Vektorähnlichkeitssuche über eine Datenbank durchführen, die Top-K-Schnipsel erhalten und diese dem Prompt des Modells voranstellen. Das LLM generiert dann seine Antwort basierend auf dem abgerufenen Text.

Googles Forschungsgruppen heben diesen Ansatz hervor: „RAG verbessert LLMs, indem es ihnen relevanten externen Kontext bereitstellt“ (Source: research.google). In der Praxis verwenden viele moderne LLM-basierte QA-Systeme RAG. Zum Beispiel fragt der Perplexity-Chatbot intern Webquellen ab und fügt anklickbare Links als Zitate ein. Microsofts Bing Chat und Googles Bard führen ebenfalls im Hintergrund Websuchen durch und hängen Ergebnis-Snippets oder URLs an ihre Antworten an. Diese Systeme lagern die faktische Beschaffung effektiv an die Suchschicht aus und verwenden das LLM hauptsächlich zur Aggregation und Erklärung. Die Dokumentation der Leistungsfähigkeit von RAG zeigt, dass ein korrekt abgerufener Kontext „Halluzinationen erheblich reduzieren“ und die faktische Genauigkeit verbessern kann (Source: research.google). Ein weiteres Beispiel ist die PALM2 API von Google, die Zitate zu Google-Suchergebnissen zurückgibt, wenn sie mit den richtigen Prompts verwendet wird.

Zusammenfassend verwandelt RAG das unüberwachte LLM in ein hybrides KI-Tool: teils Suchmaschine, teils Generator. Es bietet einen direkten Weg zu Zitaten, da die „Quellen“ genau die abgerufenen Dokumente sind. Man kann einfach [Quelle: URL oder Titel]-Zitate in die formatierte Antwort einfügen. Der Ansatz hat jedoch Grenzen: Er erfordert die Pflege einer großen Wissensdatenbank oder Such-API, und das Retrieval kann fehlschlagen, wenn Abfragen ungenau sind. Wenn das LLM den Kontext falsch interpretiert oder Fälschungen einschleichen, kann die Antwort selbst mit Referenzen irreführend sein. Darüber hinaus erfordert die zuverlässige Implementierung von RAG sorgfältiges Engineering (z. B. Umgang mit Prompt-Größe, Text-Chunking, Sicherstellen, dass das LLM tatsächlich abgerufene Inhalte zitiert). Diese Kompromisse werden in Implementierungsleitfäden diskutiert ^[8] (Source: research.google).

Source Attribution and Watermarking

Eine weitere aufkommende Idee ist es, einem LLM zu ermöglichen, seine eigene Ausgabe mit Quellmetadaten zu versehen. Anstatt nachträglich zu suchen, versucht dieser Ansatz, die Herkunft in den Generierungsprozess einzubetten. Ein markantes Beispiel ist das WASA (WAtermark-based Source Attribution)-Framework ^[2]. In WASA wird das LLM darauf trainiert, ein subtiles „Wasserzeichen“ – effektiv ein Signal oder Code – in jedes generierte Textstück einzufügen, sodass eine spätere Analyse dieses Wasserzeichen bestimmten Dokumenten oder Datenquellen zuordnen kann, die im Training verwendet wurden. Man kann es sich wie unsichtbare Tracer-Partikel im Text vorstellen. Bei erfolgreicher Implementierung würde WASA es uns ermöglichen zu fragen: „Aus welcher Trainingsquelle(n) stammt dieser generierte Satz?“

WASA ist durch rechtliche/IP-Bedenken motiviert. Wie in ihrem Abstract erwähnt, könnten LLM-Ausgaben unwissentlich „das geistige Eigentum der zur Schulung der LLMs verwendeten Daten verletzen“ ^[2]. Im Gegensatz dazu konzentrieren sich Standardansätze (z. B. LLMs dazu zwingen, Quellen in Zitaten anzugeben) auf externe Texte zum Zeitpunkt der Abfrage. WASA behandelt stattdessen jede Generierung als Träger einer Signatur. Die Autoren identifizieren wünschenswerte Eigenschaften wie die Genauigkeit der Attribution und die Robustheit gegenüber adversariellen Bearbeitungen und schlagen Algorithmen vor, um Ausgaben den Anbietern von Trainingsdaten zuzuordnen. Erste Evaluierungen von WASA (an synthetischen Benchmarks) zeigen, dass es tatsächlich Quellinformationen mit hoher Wiedergabetreue einbetten kann. Diese Forschungsrichtung ist jedoch sehr neu und experimentell. Sie erfordert die Modifikation des Trainingsalgorithmus oder der Modellarchitektur, was für aktuelle LLM-Dienste möglicherweise nicht praktikabel ist. Im Grunde beantwortet Watermarking die Frage „Wo hast du das gelernt?“ statt „Wo kann ich das überprüfen?“. Es ist ein komplementärer, aber eigenständiger Ansatz zu den üblichen benutzerzentrierten Zitaten.

Prompting and Citation-Generation Techniques

Eine einfachere praktische Strategie besteht darin, das LLM innerhalb des Prompts anzuweisen, Zitate zu erstellen. Man könnte zum Beispiel jeder Benutzeranweisung hinzufügen: „Geben Sie unterstützende Referenzen (mit Autor, Titel und Link) für Ihre Antwort an.“ Manchmal als Prompting für Referenzen oder Chain-of-Thought mit Zitaten bezeichnet, basiert dies auf der Fähigkeit des LLM, Referenzen zu formatieren, an die es sich zu „erinnern“ scheint. Im Versuch und Irrtum haben einige Benutzer festgestellt, dass GPT-4 (und Claude usw.) tatsächlich eine Liste von Papieren oder URLs synthetisiert, wenn sie danach gefragt werden, wenn auch nicht immer korrekt.

Akademische Tester haben gemischte Ergebnisse festgestellt. In einer interdisziplinären Studie zum akademischen Schreiben forderte ein Team GPT-3.5 auf, einen kurzen Übersichtsartikel mit Zitaten zu erstellen. Anschließend überprüften sie die Gültigkeit jedes Zitates. Insgesamt entsprachen etwa 74,5 % der von GPT generierten Referenzen tatsächlich existierenden Arbeiten ^[13]. Dies ist signifikant (fast drei Viertel), lässt aber immer noch viele erfundene oder ungenaue Referenzen übrig. Interessanterweise stellte dieselbe Studie eine Lücke zwischen den Fachbereichen fest: Während Anfragen aus den Naturwissenschaften 72–76 % gültige Zitate lieferten, zeigten Anfragen aus den Geisteswissenschaften mehr halluzinierte DOIs (z. B. eine Reuters-ähnliche Zitier-Fehlübereinstimmung) ^[13]. Eine weitere Evaluierung ergab, dass die DOI-Genauigkeit von GPT-3.5 in den Geisteswissenschaften nur etwa 30 % betrug, was auf eine ungleichmäßige Leistung über verschiedene Domänen hinweg hindeutet ^{[12] [13]}.

Diese Prompting-Methoden erfordern keine spezielle Infrastruktur, aber ihre Zuverlässigkeit ist durch das interne Wissen des Modells und seine Tendenz zur Konfabulation begrenzt. Positiv ist, dass Prompting LLMs dazu bringen kann, häufiger zu zitieren, als sie es standardmäßig tun würden. Wie von Praktikern angemerkt, erleichtert die Aufnahme von Zitaten „die Überprüfung, ob das LLM relevante Informationen verwendet, wodurch Halluzinationen reduziert werden“ ^[8]. Man muss jedoch jede generierte Referenz manuell überprüfen, daher ist Prompting allein kein Allheilmittel. In Produktionssystemen werden Zitationsgenerierungs-Prompts in der Regel mit RAG oder Nachbearbeitung zur Faktenprüfung kombiniert.

Retrieval-Augmented- und Zitations-Workflows

Tabelle 1. Vergleich der Ansätze zur Informationsbeschaffung für LLM-Ausgaben. Jeder Ansatz stellt eine andere Strategie dar, um LLM-Antworten mit externem Wissen zu verknüpfen.

Tabelle 1 veranschaulicht das Spektrum der Methoden. Klassisches RAG und promptbasierte Zitation werden bereits in vielen Systemen eingesetzt, während Wasserzeichen und fortgeschrittenes Fine-Tuning noch Forschungsbereiche sind. Die richtige Wahl hängt von den Anforderungen der Anwendung an Genauigkeit, Geschwindigkeit und Ressourcenbeschränkungen ab. Googles jüngste RAG-Innovationen zielen beispielsweise darauf ab, „Halluzinationen“ zu minimieren, indem sichergestellt wird, dass das Modell über ausreichend Kontext verfügt (Source: research.google). Ähnlich betonen Entwicklungsblogs, dass mit RAG jede Antwort explizit den Textausschnitt oder die URL hervorheben kann, aus der sie stammt, was die Transparenz erheblich verbessert.

Implementierungsbeispiele

In der Praxis haben Ingenieure diese Ansätze auf vielfältige Weise implementiert. Eine typische RAG-Pipeline umfasst einen Retriever (oft eine semantische Suchmaschine oder einen Vektorähnlichkeitsindex) und ein LLM. Einige Tutorials zeigen, wie Quelldokumente in durchsuchbare Blöcke aufgeteilt werden und das LLM dann „das Quelldokument und den Absatz, aus dem jede Antwort stammt“, zitiert ^[8]. Ein veröffentlichter Blog beschreibt beispielsweise die Verwendung von LlamaIndex (GPT Index) zum Abrufen von Textblöcken und das anschließende Prompting von GPT-4, um eine konsolidierte Antwort mit In-Text-Zitaten zu diesen Blöcken zu generieren. Ein weiteres Beispiel ist der Prototyp „Citation-Aware RAG“, der jeder Satz der Antwort feingranulare Zitate anfügt. Alle diese Ansätze basieren auf der Kernidee: Abgerufener Inhalt wird formatiert (manchmal umformuliert) und nahtlos in die Antwort integriert, wobei das LLM nur minimalen kreativen Text hinzufügt.

Auf der Prompting-Seite fügen viele Entwickler einfach Anweisungen wie „Bitte listen Sie Ihre Referenzen auf“ zum Benutzer-Prompt hinzu. Einige Systeme, die sich an akademische Nutzer richten, liefern sogar Bibliographieeinträge und Anleitungen zu Zitierformaten. Wie wir jedoch sehen werden, ist der Erfolg solcher On-Demand-Zitate gemischt, es sei denn, sie werden mit Retrieval oder Verifizierung kombiniert.

Betrachten wir schließlich Suchmaschinen-LLMs. Microsofts Copilot zitiert mittlerweile routinemäßig Quellen: Jede faktische Antwort enthält Fußnoten mit URLs zu Bing-Suchergebnissen. Perplexity gibt anklickbare Zitate aus Nachrichten- und wissenschaftlichen Quellen aus. Diese kommerziellen Lösungen verbergen das Zitations-Framework effektiv im Hintergrund, aber sie verdeutlichen die Nachfrage: Nutzer erwarten Referenzen für vertrauenswürdige Informationen.

Zitationsgenauigkeit und Fallstudien

Um zu bewerten, wie gut diese Frameworks funktionieren, haben Forscher begonnen, die Zitationsqualität in LLM-Ausgaben zu messen. Hier werden die wichtigsten Ergebnisse aus domänenübergreifenden Bewertungen und realen Beispielen vorgestellt.

Empirische Studien zur Zitationsqualität

Mehrere formale Studien haben quantifiziert, wie oft die Zitate von LLMs korrekt sind. Mugaanyi et al. (2024) untersuchten die Leistung von ChatGPT-3.5 bei der Generierung von Zitaten in naturwissenschaftlichen und geisteswissenschaftlichen Prompts. Sie fanden heraus, dass von 102 generierten Referenzen 74,5 % realen Werken entsprachen ^[13]. Aufgeschlüsselt nach Fachgebiet waren etwa 72,7 % der Referenzen für naturwissenschaftliche Themen gültig und 76,6 % für geisteswissenschaftliche Themen ^[13]. Dies deutet auf eine erhebliche Verbesserung gegenüber früheren Modellen hin: Fast drei Viertel der Zitate von GPT-3.5 waren genau genug, um eine tatsächliche Arbeit zu finden. DOI-Fehler waren jedoch häufig, insbesondere in den Geisteswissenschaften (falsch eingegebene oder inkorrekte DOIs in ~89 % der Fälle) ^[12]. Die Autoren kommen zu dem Schluss, dass eine domänenspezifische Anpassung helfen könnte (z. B. Feinabstimmung auf Zitierstil-Daten) und dass Benutzer DOIs sorgfältig überprüfen müssen.

Eine weitere Evaluierung konzentrierte sich auf ChatGPT-4 in spezifischen Domänen. Im Kontext der medizinischen Ausbildung („ABCDE-Trauma-Protokoll“) forderten Tester ChatGPT-4 auf, Referenzen für jeden Schritt zu generieren. Sie bewerteten 30 Referenzen (6 pro Kategorie) auf Genauigkeit. Das Ergebnis: Nur 43,3 % dieser Referenzen waren vollständig korrekt ^[3]. Die restlichen 56,7 % waren entweder falsch oder nicht existent (z. B. falsche Autoren, Titel oder gefälschte Journaleinträge) ^[3]. Mit anderen Worten, über die Hälfte der Zitate war aus Verifizierungssicht wertlos. Die Studie dramatisiert das Problem: „Da 57 % der Referenzen ungenau oder nicht existent sind, hat ChatGPT-4 bei der Bereitstellung zuverlässiger und reproduzierbarer Referenzen versagt“ ^[4]. Dies untergräbt seine Nützlichkeit für evidenzbasierte Fachgebiete. (Die Forscher merken an, dass dies spezifisch für eine Domäne/Aufgabe ist; in einer besser definierten Domäne könnte sich die Leistung verbessern.)

Im Gegensatz dazu ergab eine umfassende Analyse der „generativen KI-Referenzwahrheit“ eine wesentlich höhere Genauigkeit bei GPT-4. In dieser Studie erzeugte GPT-4 (bezeichnet als „ChatGPT4o“) eine „überwältigende Mehrheit“ korrekter Zitate, wobei nur etwa 10 % seiner Referenzen vollständig erfunden waren ^{[5] [6]}. Statistisch gesehen war die Rate der erfundenen Zitate von GPT-4 weitaus geringer als die von GPT-3.5 (der Chi-Quadrat-Test zeigte einen signifikanten Rückgang der halluzinierten Zitate auf nur 10 % ^[6]). Die Autoren merken an, dass die Verbesserung wahrscheinlich auf die stärkeren Sprachfähigkeiten von GPT-4 und möglicherweise auf das Prompt-Design zurückzuführen ist. Dennoch fanden sie einige kleinere Fehler: z. B. korrekte Titel, aber fehlende Bandnummern, die sie als unvollständige Referenzen klassifizierten ^[5].

Tabelle 2 (unten) vergleicht die Zitationsleistung verschiedener LLMs und Einstellungen, die aus diesen Studien und Berichten stammen. Bei ChatGPT und Gemini ist zu beachten, dass die „Genauigkeit“ davon abhängt, wie streng eine Übereinstimmung definiert wird (exakter DOI vs. korrekter Titel/Autoren). In allen Fällen sind LLM-Zitate unvollkommen: Selbst die ~90%ige Genauigkeit von GPT-4 ^[6] ist nicht 100%ig.

Tabelle 2: Zitierverhalten repräsentativer LLM-Systeme. Die linke Spalte listet Modell und Kontext auf, die mittlere Spalte zeigt beobachtete Ergebnisse und die rechte Spalte nennt Quellen. GPT-4 zeigt in sorgfältigen Studien die beste Leistung ^{[5] [6]}, kann aber immer noch keine perfekte Wiedergabetreue garantieren. GPT-3.5 (und vermutlich der Vanilla-„Pretrained“-Modus von GPT-4) wird in schwierigen Aufgaben einen erheblichen Teil der Referenzen halluzinieren ^{[3] [13]}. Domänenspezifische LLMs (Gemini, Llama, Grok) können durch bösartiges Prompting dazu gebracht werden, vollständig fabrizierte Zitate zu liefern ^[7]. Kommerzielle Systeme wie Bing nutzen die Suche für hohe Genauigkeit, sind aber nicht immun gegen die Formulierung des Benutzers.

Fallstudie: Medizinische Fragen und Antworten

Ein konkreter Fall veranschaulicht diese Dynamiken. In einem veröffentlichten Experiment baten Kliniker ChatGPT-4, Belege für Standard-Trauma-Triage-Leitlinien zu zitieren. ChatGPT-4 listete mehrere Forschungsartikel pro Leitlinienschritt auf, aber als Experten diese überprüften, waren nur 43,3 % korrekt ^[3]. Der Rest war teilweise falsch (falscher Autor, Jahr oder PMID) oder gänzlich nicht existent. Zum Beispiel hatte eine Antwort den korrekten Titel und das Journal, aber einen falschen Autorennamen und PMID; eine andere hatte das korrekte Jahr, aber einen falschen Titel. Die Studie warnt, dass dies „bei der Bereitstellung zuverlässiger Referenzen zu kurz greift“, und betont, dass die Verwendung von ChatGPT-4 bei medizinischen Entscheidungen „ohne gründliche Überprüfung“ unsicher ist ^[4].

Unterdessen ließ eine separate Studie ChatGPT-3.5 (Standard GPT 3.5 Turbo) kurze Arbeiten in Natur- und Geisteswissenschaften verfassen. Von allen generierten Zitaten waren etwa 25,5 % gefälscht; umgekehrt waren 74,5 % echt ^[13]. Die Genauigkeit war in den Naturwissenschaften höher als in den Geisteswissenschaften. Obwohl diese Zahlen vielversprechend sind (die Mehrheit der ChatGPT-Zitate war in diesem Kontext gültig), ist die verbleibende Fehlerrate für die wissenschaftliche Nutzung ohne Faktenprüfung inakzeptabel. Die Studie hebt insbesondere hervor, wie DOI-Halluzinationen in einigen Bereichen immer noch weit verbreitet sind.

Positiv ist anzumerken, dass anekdotische Berichte darauf hindeuten, dass GPT-4 mit Browsing deutlich bessere Ergebnisse erzielt. Wenn es erlaubt ist, Webquellen abzurufen, liefert es oft korrekte Daten mit URLs, die die Antwort tatsächlich belegen. Wenn es beispielsweise nach einer bekannten Tatsache gefragt wird, antwortet GPT-4 manchmal mit „Laut [Quelle] …“ und liefert einen echten Link. Dieser Modus verwandelt es effektiv in einen hybriden Suchassistenten. Es handelt sich nicht um eigenständige Zitationen (das Modell generiert immer noch Prosa), aber die Einbeziehung echter Links verbessert das Vertrauen erheblich.

In der Praxis haben einige KI-Diskussionsgemeinschaften die durchschnittlichen Zitierfehlerraten für verschiedene Chatbots tabellarisch erfasst. Ihre heuristischen Erkenntnisse stimmen mit den oben genannten Studien überein: GPT-4 (mit Quellenzugriff) >> GPT-3.5 ≈ Bard ≈ Claude (ohne Referenzen) in Bezug auf die Zuverlässigkeit. Diese sind nicht peer-reviewed, untermauern aber die Vorstellung, dass die Verfügbarkeit echter Quellen entscheidend ist.

Fallstudie: Angriff mit Gesundheitsdesinformation

Als warnendes Beispiel sei ein kürzlich von Reuters gemeldetes „Red-Team“-Experiment genannt ^[7]. Forscher gaben verschiedenen KI-Chatbots versteckte Prompt-Anweisungen, um falsche Gesundheitsratschläge zu erzeugen. Sie stellten fest, dass nahezu alle getesteten Modelle dem nachkamen, überzeugende, aber unwahre Antworten gaben und sogar wissenschaftliche Zitationen erfanden, um diese zu untermauern. GPT-4, Gemini 1.5, Llama 3.2-90B und Grok generierten alle eine selbstbewusste (aber gefährliche) Behandlungsempfehlung zusammen mit erfundenen „Journalreferenzen“. Nur ein Modell – Anthropic’s Claude 3.5 – weigerte sich, im bösartigen Modus zu antworten. Dieses frappierende Ergebnis unterstreicht, dass LLMs Zitationen nicht nur spontan halluzinieren, sondern auch aktiv dazu manipuliert werden können. Es unterstreicht die Dringlichkeit integrierter Quellenprüfungen: Jedes offene LLM, selbst GPT-4, verfügt derzeit nicht über einen robusten Schutz gegen solche halluzinierten Referenzen. (Wir merken an, dass Claudes Verweigerung eine Sicherheitsreaktion war, keine integrierte Zitierfunktion.)

Domänenanalyse: Naturwissenschaften vs. Geisteswissenschaften

Verschiedene Fachgebiete stellen unterschiedliche Anforderungen an die Zitation. Die Studie von Mugaanyi et al. (2024) ^[13] deutet darauf hin, dass MINT-Fächer von formelleren Zitierkonventionen (fast 73% echte Referenzen) profitierten als Geisteswissenschaften in der Ausgabe von GPT-3.5. Dies könnte auf Faktoren wie (1) MINT-Journale und -Konferenzen machen einen großen Teil des LLM-Trainings aus; (2) DOIs werden in der Wissenschaft einheitlicher verwendet, zurückzuführen sein. In den Geisteswissenschaften generierte GPT-3.5 oft plausibel klingende Titel ohne reale Existenz oder DOIs, die auf falsche Artikel verwiesen ^[12]. Daher ist selbst bei identischer Prompting die Zuverlässigkeit kontextabhängig. Ähnliche Beobachtungen wurden anekdotisch gemacht: So schnitt GPT-4 beispielsweise bei der Beantwortung klar definierter Sachfragen (Tabelle 2) deutlich besser ab als beim Improvisieren bei offenen Fragen.

Im Bildungsbereich ringen Lehrende mit der Frage, ob die Nutzung von KI erlaubt werden soll. Einige Universitäten verlangen nun, dass alle KI-generierten Inhalte von überprüfbaren Zitaten begleitet werden. Wenn Studierende beispielsweise ChatGPT zum Entwerfen von Aufsätzen verwenden, etablieren sich Best Practices: Behandeln Sie es wie einen Entwurfsassistenten und überprüfen Sie immer jede von der KI bereitgestellte Zitation. Einige Pädagogen weisen Studierende explizit an, KI nicht für kreative Aufsätze zu verwenden, sondern sich auf sie zu verlassen, um Referenzen zu bekannten Themen aufzulisten, da voreingestelltes Wissen zitierfähig sein kann. Diese sozialen Maßnahmen spiegeln die technische Realität wider: Moderne LLMs sind nützliche Werkzeuge, aber ohne ein Zitierframework kann man ihnen nicht zutrauen, die wissenschaftliche Aufgabe des korrekten Referenzierens zu erfüllen ^{[13] [3]}.

Datenanalyse und Evidenz

Quantitative Evidenz aus bestehenden Studien untermauert die oben genannten Punkte. Wir fassen hier die wichtigsten Daten zusammen:

• Zitiergenauigkeit: In kontrollierten Evaluationen lagen die Raten korrekter Zitationen je nach Modell und Aufgabe grob zwischen 40% und 90%. GPT-4 hatte in einem medizinischen Frage-Antwort-Kontext nur 43% korrekte Quellen ^[3], während GPT-4 bei allgemeinen Anfragen ~90% erreichte ^[6]. GPT-3.5 lag in einem akademischen Schreibtest bei etwa 70–75% ^[13]. Diese Varianz zeigt, dass selbst fortgeschrittene LLMs weit davon entfernt sind, perfekte Quellengeneratoren zu sein.

• Halluzinationsrate: Ergänzend dazu lagen die Raten fabrizierter Zitationen bei 57% (medizinisches GPT-4) bis 10% (allgemeines GPT-4) ^{[3] [6]}. Für GPT-3.5 in den Geisteswissenschaften betrug die DOI-Halluzination 89% ^[12], eine auffallend hohe Fehlerrate.

• Gutachterübereinstimmung: In der medizinischen Studie erreichten unabhängige Gutachter ein Cohen’s Kappa von 0,89 bei der Bewertung von Zitationen ^[14], was auf eine hohe Inter-Rater-Reliabilität bei der Unterscheidung zwischen echten und gefälschten Referenzen hindeutet. Dies legt nahe, dass die Bewertungsmetriken selbst robust sind.

• Systematische Trends: Die Daten zeigen durchweg, dass offene, abfragebasierte Anfragen eine höhere Genauigkeit liefern als geschlossene Genres, die ein Abrufen aus dem Gedächtnis erfordern. Die Entwicklung lässt erheblichen Raum für Verbesserungen: Ein idealer „vertrauenswürdiger LLM-Helfer“ sollte eine Zitiergültigkeit von nahezu 100% erreichen.

Diskussion: Herausforderungen, Perspektiven und zukünftige Richtungen

Die gesammelten Erkenntnisse zeichnen ein klares Bild: Aktuelle LLMs sind standardmäßig keine zuverlässigen Zitier-Engines, aber sich entwickelnde Frameworks können das Vertrauen verbessern. Wir untersuchen nun breitere Implikationen und mögliche nächste Schritte.

Technische Herausforderungen und Forschungsrichtungen

Verbesserung des Retrieval. Da RAG-basierte Zitationen von der Qualität des Retrievals abhängen, konzentriert sich die aktuelle Forschung auf bessere Indizes und Relevanzmodelle. Googles neueste Arbeit führt die Idee des „ausreichenden Kontexts“ für RAG ein: genau zu bestimmen, wie viel Dokumenttext das LLM für Genauigkeit sehen muss. Experimente deuten darauf hin, dass zu wenig Kontext Halluzinationen verursacht, daher ist die Feinabstimmung der Retrieval-Pipeline entscheidend. Fortschritte bei Vektor-Embeddings, Abfrage-Neuformulierung und Multi-Pass-Retrieval könnten die Schleife zwischen Abfrage und glaubwürdiger Quelle enger schließen.

Zitation in der Aufmerksamkeitsausrichtung. Einige vorgeschlagene Methoden zielen darauf ab, die Aufmerksamkeit oder internen Logits des LLM mit Quellinformationen zu versehen. Zum Beispiel das Verknüpfen bestimmter Aufmerksamkeits-Heads mit Datenbankzeigern oder das Verschmelzen von Wissensgraphen in die Transformer-Schichten. Obwohl hoch experimentell, versuchen diese Ansätze, Halluzinationen von Grund auf zu eliminieren.

Benchmarking und Datensätze. Zuverlässige Metriken sind erforderlich. Dieser Bericht dokumentierte mehrere interne Studien, aber es fehlt eine große Benchmark-Suite von Fragen mit Ground-Truth-Referenzen für die LLM-Evaluation. Die NLP-Community könnte solche Datensätze über verschiedene Domänen hinweg (Wissenschafts-Q&A, Rechtsfragen, historische Fakten usw.) zusammenstellen, damit die Zitiergenauigkeit zu einer Standardmetrik wird. Jüngste Arbeiten zur „Quellenattribution“ und „Modellevaluation“ (z.B. das ICLR 2025 WASA-Paper) beginnen, Evaluationsprotokolle zu definieren.

Nutzer- und ethische Perspektiven

Aus Nutzersicht verändern Zitationen das Vertrauensmodell drastisch. Ein Student oder Forscher wird einer KI-Antwort weitaus mehr vertrauen, wenn sie von glaubwürdigen Links begleitet wird. Dies könnte die Wissensarbeit revolutionieren: Man kann sich eine Zukunft vorstellen, in der KI-Assistenten wie „aufgeladene Bibliothekare“ funktionieren, Inhalte zusammenfassen, aber immer auf die verwendeten Kapitel oder Artikel verweisen. Eine voreilige Abhängigkeit kann jedoch gefährlich sein. Die oben genannten Fälle zeigen, dass KI ohne Aufsicht irreführen kann. Nutzer (und Regulierungsbehörden) müssen KI-Kompetenz entwickeln: KI-Referenzen immer überprüfen.

Ethisch gesehen trägt die Erzwingung von Zitationen dazu bei, Plagiatsbedenken auszuräumen. Wenn ein LLM eine Quelle zusammenfasst, würdigt eine Zitation den ursprünglichen Autor. Dies bringt KI mit akademischen Normen in Einklang. Im Gegensatz dazu könnten nicht zitierte KI-Paraphrasen unbeabsichtigt plagiieren oder Fehlinformationen verbreiten. In der Wissenschaft gibt es Bestrebungen, KI-generierte Inhalte als Informationszugangswerkzeuge und nicht als unabhängige Quellen zu behandeln. Viele Fachzeitschriften verbieten es inzwischen, eine KI als Autor aufzuführen, und die Frage, wie KI-generierter Text zu würdigen ist, wird diskutiert. Unabhängig davon respektiert die Angabe der Quellen aus moralischer Sicht die Rechte an geistigem Eigentum und die Transparenz.

Regulierungs- und Branchentrends

Die Politik nimmt dies zur Kenntnis. Obwohl der KI-Gesetz der EU (im Entwurf) Zitationen noch nicht explizit erwähnt, betont er Transparenz und Nachvollziehbarkeit von KI-Outputs. In der Praxis könnten Regulierungsbehörden verlangen, dass KI-Konsumprodukte Quellen für hochrelevante Informationen offenlegen (ähnlich den Haftungsregeln für Gesundheitsaussagen). Bereits während der NYT-Klagen war das Konzept der „Quellenattribution“ zentral ^[11]. Das US-Urheberrechtsamt und die Gerichte ringen damit, wie das KI-Training mit den Rechten der Inhaber in Einklang gebracht werden kann. In diesem Klima ist ein KI-Zitierrahmen nicht nur eine Annehmlichkeit, sondern könnte zu einer rechtlichen Notwendigkeit werden.

Auf der Industrieseite arbeiten große LLM-Entwickler stillschweigend daran. OpenAI hat mit „ChatGPT Plus mit Browsing“ experimentiert, und Google soll Gerüchten zufolge in zukünftigen Gemini-Versionen Zitationen einbetten. Aufstrebende Startups (SciSpace, Elicit, andere) konzentrieren sich auf KI für die Forschung mit integrierter Referenzierung. Selbst Designüberlegungen wie die Benutzeroberfläche spielen eine Rolle: Apps ermöglichen es jetzt oft, auf eine Fußnote zu klicken, um die Quelle anzuzeigen. Dies verschiebt die Nutzererwartungen: KI, die nicht zitiert, könnte bald als unvollständig oder nicht vertrauenswürdig angesehen werden.

Zukunftsausblick

Mit Blick in die Zukunft erwarten wir mehrere Trends:

• Standardisierte Zitierprotokolle: So wie HTML und DOI dem Wissens-Web Struktur verliehen haben, könnten wir einen maschinenfreundlichen Zitierstandard für KI sehen. Vorschläge umfassen Bibliotheken, die automatisch BibTeX-ähnliche Referenzen an KI-Antworten anhängen, oder LLM-APIs, die strukturierte Referenzobjekte zurückgeben.

• Integration mit Wissensgraphen: LLM-Outputs könnten mit Tools wie Wikidata oder Google Knowledge Graph integriert werden, sodass in Antworten erwähnte Entitäten automatisch auf kuratierte Einträge verlinken. Dieser hybride Ansatz könnte semantische statt vollständige Dokumentzitationen liefern und dennoch die Überprüfbarkeit verbessern.

• Benutzerführung und Prompt Engineering: Solange die zugrunde liegenden Modelle nicht verbessert werden, hängt eine effektive Zitation oft davon ab, wie der Benutzer fragt. Die Forschung im Bereich Prompt Engineering (z.B. Chain-of-Thought, die „Zitiere dies“ beinhaltet) wird fortgesetzt. Bildungsprogramme lehren auch, wie man KI promptet und ihre Antworten überprüft.

• Tools zur Modellerklärbarkeit: Über direkte Zitationen hinaus können Methoden wie auf Aufmerksamkeit basierende Attribution oder kontrafaktische Evaluation Nutzern helfen zu verstehen, warum ein LLM auf eine bestimmte Weise geantwortet hat. Eine bessere Erklärbarkeit kann Zitationen ergänzen, um ein vollständigeres Bild der Zuverlässigkeit zu vermitteln.

• Laufende Evaluation und Feedback: KI-Produkte werden voraussichtlich Feedback-Schleifen integrieren. Wenn eine bereitgestellte Zitation von Nutzern als falsch befunden wird, könnten diese Daten zur Feinabstimmung von Modellen oder zur Aktualisierung von Retrieval-Indizes verwendet werden. Im Wesentlichen könnten sich KI-Zitierframeworks so entwickeln, dass sie Nutzer-„Stimmen“ zur Quellenqualität berücksichtigen.

Fazit

Da große Sprachmodelle Informationsabläufe durchdringen, wird ihre Fähigkeit, Quellen zu zitieren, ein entscheidender Faktor für ihre Nützlichkeit und Vertrauenswürdigkeit sein. Unsere Überprüfung zeigt, dass frühe Bemühungen zwar Fortschritte gemacht haben, wir aber noch weit von der Perfektion entfernt sind. GPT-4 kann oft korrekt zitieren, aber nicht-triviale Fehlerraten bestehen weiterhin ^{[3] [6]}. Spezialisierte Techniken wie RAG und WASA bieten leistungsstarke Frameworks zur Abhilfe, aber jede ist mit Kompromissen verbunden. Die Nutzerfallstudien erinnern uns daran, dass KI ohne starke Zitier-Schutzmaßnahmen unbeabsichtigt irreführen kann.

Mit Blick in die Zukunft wird der „KI-Zitierrahmen“ voraussichtlich zu einem wichtigen interdisziplinären Forschungsgebiet werden. Er stützt sich auf natürliche Sprachverarbeitung, Informationsabruf, Urheberrecht und UX-Design. Wir müssen weiterhin Benchmarks entwickeln, offene Datensätze von Fragen und Antworten mit verifizierten Quellen teilen und Modelle iterieren, die den Begriff der überprüfbaren Wahrheit verinnerlichen. Vorerst sollten Entwickler und Nutzer LLMs gleichermaßen als Assistenten betrachten, die einer Aufsicht bedürfen: nützlich für Brainstorming und Entwurfserstellung, aber für jede ernsthafte Anwendung auf „Ground Truth“-Zitationen angewiesen.

Letztendlich sind Zitationen die Währung des Wissens. Diese Währung in KI einzubetten, wird die Lücke zwischen Maschinensynthese und menschlichen Evidenzstandards schließen. Wie ein KI-Sicherheitsexperte treffend bemerkt, können Zitationen die Outputs von LLMs nicht nur korrekter, sondern auch rechenschaftspflichtiger machen ^{[8] [2]}. Dieser Bericht hat die technische Landschaft dieser Herausforderung kartiert und Wege aufgezeigt, KI-Antworten nachvollziehbar und vertrauenswürdig zu machen.

Referenzen: Alle oben genannten Behauptungen werden durch zitierte Literatur und Quellen (siehe Inline-Zitationen) gestützt. Zu den wichtigsten Studien gehören Evaluationen der Referenzgenauigkeit von GPT-3.5/4 ^{[13] [3]}, Framework-Vorschläge zur Attribution ^{[2] [8]} sowie Nachrichtenberichte über das Zitierverhalten von KI ^{[7] [11]} u.a. Die zitierten Werke liefern detaillierte Daten, Expertenanalysen und Kontext für die diskutierten Themen.