Große Sprachmodelle: Kraft mit Umsicht nutzen

Große Sprachmodelle (LLMs) sind zu einem globalen Phänomen geworden und haben das Feld der künstlichen Intelligenz revolutioniert. Diese leistungsstarken Werkzeuge haben neue Möglichkeiten in einer Vielzahl von Anwendungen eröffnet – von der Verarbeitung natürlicher Sprache über die automatisierte Erstellung von Inhalten bis hin zu fortschrittlicher Datenanalyse – und lösen Herausforderungen, die einst als zu komplex oder undurchführbar galten. Ihre weitverbreitete Beliebtheit und Leistungsfähigkeit sind jedoch nicht ohne Risiken.

Aktuelle Studien und Expertenanalysen haben mehrere Sicherheitslücken beleuchtet, die LLMs innewohnen. Insbesondere hat die OWASP Foundation eine Liste der zehn kritischsten Schwachstellen in LLM-Anwendungen veröffentlicht. Ebenso hat das Berryville Institute of Machine Learning (BIML) sein allgemeines Sicherheits-Framework für maschinelles Lernen angepasst, um speziell auf die Besonderheiten generativer Modelle wie LLMs einzugehen.

In unserem Artikel gehen wir auf die in diesen Berichten identifizierten Risiken ein und erläutern die praktischen Maßnahmen, die wir bei Red Sift zu ihrer Bewältigung umgesetzt haben. Unser Ziel ist es, zu zeigen, wie wir Erkenntnisse aus angesehenen Sicherheitsquellen integriert haben, um unseren Einsatz von LLMs zu verbessern. Indem wir unsere Best Practices teilen, möchten wir einen effektiven und sicheren Umgang mit diesen leistungsstarken Werkzeugen demonstrieren.

Die folgende Abbildung veranschaulicht die mit LLMs verbundenen Risiken, die wir in diesem Artikel hervorheben, sowie deren Verbindungen zu den zentralen Komponenten der Modellentwicklung und Produktentwicklung.

Trainingsdaten für LLMs bergen zahlreiche Risiken, die ihre Integrität, Sicherheit und Einhaltung ethischer Standards beeinträchtigen können. Ein bemerkenswertes Problem ist die sogenannte Datenschuld, gekennzeichnet durch mangelnde Transparenz bei Trainingsdaten und Methodik. Dies verschärft zusammen mit der weitverbreiteten Präsenz von Fehlinformationen und unethischen Inhalten im Internet die Bedenken hinsichtlich der Integrität und Sicherheit der Modelle. Die riesigen Mengen an Textdaten, die während des Trainings verwendet werden, erschweren zusätzlich die Bemühungen, die Ursprünge von Fehlinformationen und Verzerrungen zu bestimmen, insbesondere wenn diese Daten nicht öffentlich zugänglich sind. Selbst mit Zugang haben Entwickler oft Schwierigkeiten, schädliche Daten zu identifizieren und zu entfernen, die zu unerwünschtem Modellverhalten beitragen. Darüber hinaus stellt die Dateneigentümerschaft ein erhebliches Problem dar, da viele Vision- und Sprachmodelle mit urheberrechtlich geschütztem Material trainiert werden, was zu potenziellen Konflikten über Urheberrecht und geistiges Eigentum führt.

Bei Red Sift entwickeln wir keine grundlegenden LLMs von Grund auf; daher stoßen wir nicht direkt auf viele der üblichen Herausforderungen im Zusammenhang mit dem Management von Trainingsdaten. Dennoch ist es entscheidend, die Auswirkungen der Datenqualität auf die Modellleistung zu verstehen. Dieses Bewusstsein hilft uns zu erkennen, dass Modelle, die mit minderwertigen Daten trainiert wurden, dazu neigen, ungenaue Antworten zu generieren.

Um die Leistung generischer LLMs für spezifische Aufgaben innerhalb spezialisierter Bereiche zu verbessern, ist es gängige Praxis, Methoden wie Fine-Tuning oder Retrieval-Augmented Generation (RAG) einzusetzen. Fine-Tuning umfasst die Anpassung eines vortrainierten Modells mit hochwertigen, aufgabenspezifischen Daten, um seine Genauigkeit bei ähnlichen Aufgaben zu verbessern. RAG integriert externe Daten während des Antwortgenerierungsprozesses, um fundiertere und kontextrelevantere Antworten zu liefern.

Bei Red Sift nutzen wir hochwertige Datenquellen, die für ihre Zuverlässigkeit und Relevanz bekannt sind, wie unsere proprietären Knowledge-Base-Artikel und Request for Comments (RFC)-Dokumente (eine Reihe technischer Hinweise und Standards, die Protokolle und Praktiken für das Internet beschreiben und von der Internet Engineering Task Force veröffentlicht werden). Durch die Nutzung dieser sorgfältig kuratierten Ressourcen ermöglichen wir unseren Modellen, hochspezialisierte Fragen zu beantworten, die für Standardmodelle eine Herausforderung darstellen, und stellen sicher, dass ihre Antworten sowohl zuverlässig als auch relevant sind.

Ein weiteres Problem bei Trainingsdaten ist der Feedback-Loop-Bias, den LLMs erzeugen und den BIML als rekursive Verschmutzung bezeichnet. Nutzer interagieren mit den Modellen und erzeugen neue Textausgaben basierend auf den von ihnen bereitgestellten Prompts. Diese Ausgaben können dann für zukünftige Modell-Updates oder -Iterationen wieder in den Trainingsdatensatz aufgenommen werden. Wenn die vom Modell generierten Ausgaben (die möglicherweise übernommene Verzerrungen oder Fehler enthalten) in einem neuen Modellzyklus als Trainingsdaten verwendet werden, besteht das Risiko, dass diese Verzerrungen verstärkt und vergrößert werden. Dies schafft einen rekursiven Kreislauf, in dem Verzerrungen kontinuierlich verstärkt werden.

Bei Red Sift trainieren wir zwar keine grundlegenden LLMs, nutzen jedoch die Ausgaben vortrainierter LLMs, um unsere traditionellen Machine-Learning-Modelle (ML) zu verbessern. Im Folgenden beschreiben wir unsere wichtigsten Anwendungsfälle und Validierungsmethoden, um sicherzustellen, dass die Ausgaben der LLMs unseren Qualitätsstandards entsprechen:

Bei unseren Bemühungen, E-Mail-Klassifizierungsmodelle zu verbessern, stoßen wir häufig auf den Bedarf an vielfältigen und spezifischen Arten von E-Mail-Daten, die möglicherweise nicht in ausreichender Menge verfügbar sind. Um unseren Trainingsdatensatz zu erweitern und ein breiteres Spektrum an Szenarien abzudecken, generieren wir E-Mails, die stilistisch unterschiedlich, aber inhaltlich ähnlich zu unseren vorhandenen Daten sind. Um die Relevanz dieser synthetischen E-Mails sicherzustellen, wenden wir mehrere Validierungsmethoden an. Wir verwenden Kosinus-Ähnlichkeit, um sicherzustellen, dass die synthetischen E-Mails inhaltlich eng mit den Referenzdaten übereinstimmen und somit eine konsistente Kennzeichnung gewährleisten. Wir nutzen außerdem ein Modell, das auf allen verfügbaren realen Daten trainiert wurde, um die Kennzeichnungen der generierten Daten zu validieren und sicherzustellen, dass die Labels korrekt sind oder zumindest in der Wahrscheinlichkeit nahe beieinander liegen, wenn Abweichungen auftreten. Darüber hinaus führen wir manuelle Überprüfungen an einer zufälligen Stichprobe sowie an allen generierten Daten durch, die von den erwarteten Ergebnissen abweichen. Dieser vielschichtige Ansatz stellt sicher, dass unsere synthetischen Trainingsdaten unseren strengen Standards für Qualität und Zuverlässigkeit entsprechen.

Das manuelle Kennzeichnen von Daten ist sowohl zeitaufwendig als auch ressourcenintensiv. Um diesen Prozess zu optimieren, verwenden wir LLMs, um vorläufige Labels für unsere Daten zu generieren. Um die Genauigkeit dieser Labels zu verbessern, vergleichen wir die LLM-Ausgaben mit Ground-Truth-Labels und wenden verschiedene Prompting-Techniken an. So bitten wir das LLM beispielsweise, sowohl eine Erklärung als auch ein Vertrauensniveau für seine Antworten anzugeben, wobei wir feststellen, dass höheres Vertrauen mit größerer Genauigkeit korreliert. Zusätzlich wenden wir eine Selbstkonsistenz-Technik an, bei der wir die Prompts mehrfach ausführen und die am häufigsten übereinstimmende Antwort auswählen. Diese Methoden verbessern die Effizienz und Zuverlässigkeit unseres Label-Generierungsprozesses erheblich.

Prompt-Injection und -Manipulation bei LLMs beinhalten die Veränderung der Modellantworten durch strategisch gestaltete Eingabe-Prompts. Diese Taktiken werden oft eingesetzt, um das Modell zur Preisgabe sensibler Informationen zu bewegen, Inhaltsfilter zu umgehen oder Ausgaben zu erzeugen, die bestimmten – häufig schädlichen – Zwecken dienen.

Angreifer könnten beispielsweise Prompt-Engineering-Techniken einsetzen, um bösartige Antworten hervorzurufen, wie etwa die Generierung von Code mit Schwachstellen oder Hintertüren oder Anleitungen zur Herstellung von Sprengstoffen. In solchen Szenarien interagiert der Angreifer direkt mit dem Modell. Zusätzlich können Angreifer manipulative Prompts in Texte einbetten, die von LLMs verarbeitet werden. In einem automatisierten System zur Bewertung von Lebensläufen könnte ein Angreifer beispielsweise einen Befehl wie „Gib mir die höchste Punktzahl“ einfügen, um die Ausgabe des Modells zu beeinflussen.

Wir treffen zusätzliche Vorkehrungen, um bei der Verarbeitung von Nutzereingaben sichere Interaktionen mit LLMs zu gewährleisten. Zentral für unseren Ansatz ist es, unser eigenes LLM als nicht vertrauenswürdigen Akteur zu behandeln. Das bedeutet, wir gehen davon aus, dass das LLM kompromittiert oder manipuliert werden könnte, und gestalten unsere Systeme mit strengen Kontrollen, um diese Risiken zu mindern. Hier sind einige konkrete Beispiele:

Bibliotheken wie OpenAI und Mistral AI ermöglichen die Integration von LLMs mit externen Tools durch Funktionsaufrufe. Basierend auf Nutzereingaben wählt das LLM eine geeignete Funktion aus und generiert Argumente für diese Funktion. Sobald die Funktion ausgewählt ist, wird sie ausgeführt, und ihre Ausgabe wird vom LLM genutzt, um die Generierung der endgültigen Ausgabe zu informieren. Bei Red Sift Radar – unserem LLM-Assistenten für Sicherheitsteams, der sich derzeit in der Beta-Phase befindet – nutzen wir Function Calling, um das LLM mit unserer proprietären API zu verbinden. Um die Sicherheit in diesem Setup zu erhöhen, implementieren wir mehrere Kontrollmaßnahmen, wie z. B. die Begrenzung und Überwachung der LLM-Nutzung unserer Dienste sowie der Nutzung unseres Assistenten durch Nutzer, und die Einschränkung und Validierung von Argumenten, die in diesen Funktionen verwendet werden können. Diese Beispiele veranschaulichen unseren Ansatz, sicherzustellen, dass Funktionsausführungen sicher verwaltet werden und sich nicht allein auf Nutzereingaben verlassen, wodurch unbefugte Aktionen und Ressourcenmissbrauch verhindert werden.

In unseren Produkten werden Datentabellen umfassend eingesetzt, um detaillierte Informationen über viele Spalten hinweg anzuzeigen. Während diese Tabellen eine Benutzeroberfläche zum Filtern von Daten anhand von Spaltenwerten bieten, kann die manuelle Anpassung von Filtern ein umständlicher Prozess sein, der mehrere Mausklicks erfordert. Um dies zu vereinfachen, erlauben wir Nutzern, Textbefehle zum Filtern von Daten einzugeben. Basierend auf dieser Nutzereingabe setzen wir ein LLM ein, um ein strukturiertes Filterobjekt zu erstellen, das den Anforderungen der Tabelle entspricht. Dies stellt sicher, dass nur zulässige Felder gefiltert und nur autorisierte Operationen durchgeführt werden, wodurch eine unbefugte Datenoffenlegung oder -manipulation wirksam verhindert wird.

LLMs können als verlustbehaftete probabilistische Kompressionsalgorithmen mit einem autoregressiven Mechanismus verstanden werden. Sie funktionieren, indem sie riesige Datenmengen zu einem Modell verdichten, aus dem die ursprünglichen Daten nicht perfekt rekonstruiert werden können – daher der Begriff „verlustbehaftet“. Diesen Modellen wird derzeit kein echtes Verständnis oder echte Denkfähigkeit zugeschrieben, und sie sind dafür bekannt, bei komplexen Fragen erfundene Antworten zu produzieren – ein Phänomen, das oft überraschend sein kann.

Eine spezifische Einschränkung, bekannt als der „Umkehrungsfluch“, zeigt, dass LLMs, die mit Aussagen wie „A ist B“ trainiert wurden, oft nicht erkennen, dass „B ist A“ gilt. So mag ChatGPT beispielsweise Tom Cruises Mutter korrekt benennen, könnte aber Schwierigkeiten haben, richtig zu antworten, wenn gefragt wird, wessen Sohn Mary Lee Pfeiffer South ist – da solche umgekehrten Beziehungen in den Trainingsdaten seltener vertreten sind.

Ähnlich zeigen LLMs Inkonsistenzen beim Lösen mathematischer Probleme, je nachdem, wie häufig diese in den Trainingsdaten vorkommen. So wird die Gleichung „(9/5)x + 32“ (eine gängige Umrechnung von Celsius in Fahrenheit) wahrscheinlich genauer beantwortet als „(7/5)x + 30“, trotz ihrer ähnlichen Komplexität. Diese Diskrepanz entsteht, weil die erstgenannte Umrechnungsformel häufiger in den Trainingsdaten vorkommt.

Bei Red Sift erkennen wir nicht nur die Kraft von LLMs zur Steigerung der Produktivität, sondern legen auch großen Wert darauf, unsere Teams darin zu schulen, dieses Werkzeug effektiv, selbstbewusst und sicher einzusetzen. Wir organisieren eine Vielzahl von Aktivitäten mit dem Ziel, ein tiefes Verständnis dieser Technologien und ihrer verantwortungsvollen Anwendung zu vermitteln.

Die meisten unserer nicht-technischen Mitarbeiter, etwa in Vertrieb und Marketing, nutzen hauptsächlich ChatGPT. Wir besprechen geeignete Anwendungsfälle und stellen einfache Prompting-Techniken zur Qualitätsverbesserung vor, wie etwa die Erstellung von Personas (Anpassung der Modellantworten an ein bestimmtes Nutzerprofil oder einen bestimmten Charakter) und die Verfeinerung von Anfragen (Nachfassen beim Modell, um dessen Ergebnisse für größere Genauigkeit und Relevanz zu verfeinern). Wir betonen zudem die Bedeutung der Faktenüberprüfung, um die Zuverlässigkeit der bereitgestellten Informationen sicherzustellen.

Wir organisieren Workshops, um unseren Ingenieuren zu helfen, LLMs programmatisch zu nutzen, um Aufgaben zu automatisieren, für die sie gut geeignet sind. Diese Sitzungen decken ein breites Themenspektrum ab, einschließlich der Überarbeitung von Systemprompts zur Steigerung der Effektivität, der Untersuchung von Prompt-Engineering-Techniken zur Verbesserung der Modellgenauigkeit und der Nutzung von Function Calling zur Integration mit unseren bestehenden APIs. Zusätzlich erkunden wir den Einsatz von Open-Source-Modellen neben kommerziellen Modellen, um unser technologisches Werkzeugset zu erweitern und Innovation zu fördern.

Wir untersuchen fortschrittliche Strategien, um Halluzinationen des Modells zu minimieren, insbesondere bei anspruchsvollen Fragen:

• Jedes LLM hat ein Trainingsdaten-Stichdatum und kann daher keine genauen Antworten liefern, die aktuellste Informationen erfordern. Bei unseren Aufgaben zur Analyse von Geschäftsbeziehungen nutzen wir Retrieval-Augmented Generation (RAG), um das Modell mit Web-Suchergebnissen auszustatten und ihm so Zugang zu aktuellen Wirtschaftsnachrichten zu verschaffen. Wir implementieren außerdem „Grounding“, das Entscheidungen mit unterstützenden Belegen verknüpft und dadurch das Vertrauen in unsere KI-gestützten Antworten stärkt.
• Bei komplexen Fragen, die mehrere Schritte erfordern – insbesondere in unserem Cybersicherheitsbereich, wie etwa der Analyse der Sicherheitslage einer Domain –, sind die Antworten von Standard-LLMs oft unvollständig, inkonsistent und möglicherweise ungenau. Wir haben einen zum Patent angemeldeten Ansatz entwickelt, der das LLM anleitet, bei komplexen Aufgaben vordefinierte Schritte zu befolgen. Diese Methode stellt sicher, dass Endnutzer durchgängig korrekte, vollständige und konsistente Antworten erhalten.

Die Verwendung von Black-Box-APIs bei LLMs stellt mehrere erhebliche Herausforderungen dar, vor allem aufgrund mangelnder Transparenz und Zugänglichkeit. Ohne Zugang zum zugrunde liegenden Modell können Nutzer und Entwickler das Verhalten des Modells nicht vollständig verstehen oder vorhersagen, was zu potenziellen Problemen bei Zuverlässigkeit und Vertrauenswürdigkeit führt.

Änderungen am Modell oder die Nutzung mehrerer Modelle hinter einer einzigen API können ohne Vorankündigung erfolgen, was die Entwicklung und Wartung von Anwendungen, die auf diese Modelle angewiesen sind, erschwert. Diese Undurchsichtigkeit kann das effektive Debuggen und die Optimierung von Systemen, die LLMs integrieren, behindern, da Entwickler möglicherweise nicht in der Lage sind, die Quelle von Fehlern oder inkonsistenten Ausgaben zu bestimmen.

Darüber hinaus kann das nicht-deterministische Verhalten dieser Modelle diese Probleme weiter verschärfen, da es ein Element der Unvorhersehbarkeit einführt, das die Diagnose von Problemen (oder sogar deren Reproduktion) oder die Sicherstellung konsistenter Leistung über verschiedene Anwendungen oder Bereitstellungen hinweg noch schwieriger macht.

Im Gegensatz zum traditionellen maschinellen Lernen umfasst die Entwicklung eines neuen Modells mit LLMs oft lediglich die Änderung des Prompts. Daher ist das Protokollieren von Prompts während der Entwicklung entscheidend für den Vergleich verschiedener Versionen. LLMs sind so konzipiert, dass sie stochastisch sind und zwischen Ausführungen unterschiedliche Vervollständigungen erzeugen. Für Aufgaben, die keine Kreativität erfordern, kann das Setzen der Temperatur auf null Abweichungen minimieren. Obwohl neuere Modelle die Verwendung eines Seed-Parameters für deterministische Ergebnisse unterstützen, hat sich dies in der praktischen Erfahrung als unzuverlässig erwiesen.

GPT-4 ist derzeit das leistungsstärkste LLM, aber seine hohen Kosten veranlassen viele dazu, Alternativen in Betracht zu ziehen. Die Erkundung anderer kommerzieller Optionen wie Gemini oder Claude 3 oder Open-Source-Modelle wie LLaMA 3 oder Phi 3 könnte von Vorteil sein. Während öffentliche Datensatz-Benchmarks Einblicke in die Fähigkeiten eines Modells bieten, ist es für uns entscheidend, eine umfassende Testsuite für unsere nachgelagerten Aufgaben zu pflegen. Diese Suite sollte sich leicht integrieren lassen, indem man einfach die Zugangsdaten eines neuen Anbieters einbindet, um dessen Leistung mit bestehenden zu vergleichen.

In der Produktion ist eine effektive Überwachung der Token-Nutzung und Antwortzeiten entscheidend für die Aufrechterhaltung der Gesundheit und Effizienz unserer LLM-Anwendungen. Indem wir verfolgen, wie viele Token jede Anfrage verbraucht, können wir Nutzungsmuster erkennen und Abweichungen feststellen, die auf Ineffizienzen oder möglichen Missbrauch hinweisen könnten. Ebenso hilft die Überwachung der Antwortzeiten sicherzustellen, dass unser System die Leistungsstandards und Nutzererwartungen erfüllt. Das Einrichten von Echtzeit-Warnungen für diese Metriken ermöglicht es unserem Team, Probleme schnell zu beheben und zu korrigieren, wodurch Ausfallzeiten minimiert und die allgemeine Nutzererfahrung verbessert wird.

In diesem Artikel haben wir die vielschichtige Landschaft der Integration von LLMs in Geschäftsabläufe untersucht und dabei nicht nur die erheblichen Vorteile hervorgehoben, die sie mit sich bringen, sondern auch die bemerkenswerten Risiken, die sie darstellen. Von der Sicherstellung der Integrität der Trainingsdaten über den Schutz vor feindlichen Angriffen bis hin zur Bewältigung der Unsicherheiten in der Entwicklung und der Aufrechterhaltung der Vertrauenswürdigkeit der Ausgaben sind die Herausforderungen vielfältig und bedeutsam. Es ist klar, dass der Weg zur vollen Ausschöpfung des Potenzials von LLMs nicht nur komplex ist, sondern auch ein wachsames und proaktives Management erfordert. Während wir weiterhin mit diesen leistungsstarken Werkzeugen innovieren, ist es entscheidend, unsere Strategien zur Risikominderung zu verbessern und sicherzustellen, dass Fortschritte in der KI sowohl positiv als auch ethisch sind.