Textklassifizierung im Zeitalter der LLMs

Zusammenfassung: Das Aufkommen von Large Language Models (LLMs) hat die Textklassifizierung revolutioniert und den Übergang von traditionellen regelbasierten Systemen zu fortschrittlichen Deep-Learning-Techniken vollzogen. Diese Entwicklung verbessert Anwendungen wie Spam-Erkennung und Sentiment-Analyse und bietet präzisere und effizientere Lösungen.

Dieser Artikel:

• Behandelt die Entwicklung der Textklassifizierung mit dem Aufkommen von Large Language Models (LLMs).
• Untersucht Anwendungen in der Spam-Erkennung, Sentiment-Analyse und Themenkategorisierung.
• Beleuchtet den Wandel von regelbasierten Systemen zu Deep Learning und Transformer-Architekturen.

Mit fortschreitender Entwicklung der natürlichen Sprachverarbeitung (NLP) bleibt die Textklassifizierung eine grundlegende Aufgabe mit Anwendungen in der Spam-Erkennung, Sentiment-Analyse, Themenkategorisierung und mehr. Traditionell basierte diese Aufgabe auf regelbasierten Systemen und klassischen Machine-Learning-Algorithmen. Mit dem Aufkommen von Deep Learning, Transformer-Architekturen und Large Language Models (LLMs) hat sich die Textklassifizierung jedoch grundlegend verändert und ermöglicht präzisere, nuanciertere und kontextbewusstere Lösungen.

Bei Red Sift treibt uns unser Engagement für Technologie und Innovation dazu an, kontinuierlich neueste Methoden zu erforschen und zu übernehmen und sie in unsere Arbeit zu integrieren, um komplexe Herausforderungen zu bewältigen. In diesem Artikel werden wir einige der fortschrittlichsten Ansätze zur Textklassifizierung untersuchen und sie mit einem traditionellen ML-Modell vergleichen, um die Kraft der Innovation zu demonstrieren und die Stärken und Grenzen jedes Ansatzes hervorzuheben.

Die Klassifizierungsaufgabe besteht darin, Website-Inhalte in eine von 15 Branchen einzuteilen, die an NAICS-Codes ausgerichtet sind.

Das Testset umfasst 1.500 Websites mit 100 Stichproben pro Klasse. Um zu bewerten, wie sich jede Technik bei unterschiedlichen Mengen an Trainingsdaten verhält, passen wir die Größe des Trainingssets auf fünf Stufen an: 100x, 200x, 400x, 800x und 1600x. Dabei entspricht „100x“ 100 Datenpunkten pro Klasse (insgesamt 1.500 Datenpunkte), sodass wir die Wirksamkeit jeder Methode bei wachsendem Datensatz beobachten können.

Bevor ML-Modelle angewendet werden können, müssen Textdaten in numerische Vektoren umgewandelt werden. Eine der grundlegendsten und beliebtesten Techniken zur Textvektorisierung ist der Bag of Words (BoW)-Ansatz. Dabei wird ein Vokabular aller einzigartigen Wörter im Korpus erstellt und jedes Dokument als Vektor dargestellt, wobei jedes Element dem Vorhandensein eines Wortes im Vokabular entspricht. Alternativ können wir die Häufigkeit des Wortes im Dokument oder einen ausgefeilteren TF-IDF-Wert verwenden (eine Formel, die sowohl die Häufigkeit des Wortes im Dokument als auch im gesamten Korpus berücksichtigt).

Für den Modellierungsteil verwenden wir ein einfaches Logistic-Regression-Modell, implementiert in scikit-learn. Die Kombination von BoW und logistischer Regression ist eine klassische und leistungsstarke Baseline für Textklassifizierungsaufgaben. In diesem Experiment wird die Genauigkeit als Metrik verwendet. Die folgende Abbildung zeigt, dass die Leistung im Testset linear mit dem exponentiellen Wachstum der Trainingsgröße zunimmt.

Zu den Einschränkungen des BoW-Modells gehören:

1. Der Vektor ist spärlich (sparse), was für nicht alle ML-Algorithmen geeignet ist.
2. Der Vektor ist hochdimensional, was viel Speicher und Rechenleistung erfordern kann.
3. Die Wortreihenfolge wird ignoriert, wodurch Informationen verloren gehen können.

Um diese Einschränkungen zu beheben, können wir eine dichte Vektordarstellung verwenden.

Word Embeddings sind mathematische Darstellungen von Wörtern in einem kontinuierlichen Vektorraum, wobei semantisch ähnliche Wörter nahe beieinander liegenden Punkten zugeordnet werden. Jedes Wort wird als dichter Vektor von Fließkommazahlen dargestellt, wobei die Werte durch die Analyse großer Textkorpora gelernt werden. Um die Darstellung eines Dokuments zu ermitteln, können wir die Word Embeddings der im Dokument enthaltenen Wörter mitteln. Zwei frühe, bekannte Modelle für Word Embeddings sind Word2Vec und GloVe. Word2Vec nutzt ein flaches neuronales Netz, um die Embeddings zu lernen, während GloVe auf der Kookkurrenzmatrix von Wörtern im Korpus basiert. In diesem Experiment verwenden wir GloVe.

Seit der Einführung der Transformer-Architektur im Paper Attention is All You Need sind transformerbasierte Modelle für viele NLP-Aufgaben zum State of the Art geworden. Die Self-Attention-Mechanismen in der Transformer-Architektur ermöglichen es, weitreichende Abhängigkeiten und Beziehungen zwischen Wörtern zu erfassen, was bei früheren Modellen fehlte. Ihre Architektur eignet sich außerdem für Parallelisierung, was ein schnelleres Training und eine schnellere Inferenz im Vergleich zur sequenziellen Verarbeitung von RNN-Modellen ermöglicht. BERT ist eines der bekanntesten Modelle dieser Familie. Daher haben wir auch BERT (base-uncased) in dieses Experiment einbezogen.

Ähnlich wie im vorherigen Abschnitt verwenden wir nach der Vektorisierung ein einfaches Logistic-Regression-Modell und die Genauigkeit als Metrik. Die folgende Abbildung zeigt, dass die Word Embeddings vortrainiert sind und bei kleiner Trainingssetgröße einen schnellen Start ermöglichen. Bei größerer Trainingssetgröße ist die Leistung von GloVe und BERT jedoch schlechter als bei BoW. Eine mögliche Erklärung ist, dass BoW einfacher ist, seine Darstellung jedoch aus Daten mit einer ähnlichen Verteilung wie im Testset gelernt wird, während Word Embeddings mit allgemeineren Daten vortrainiert sind.

Dieser Abschnitt konzentriert sich auf modernere Techniken, um Dokumente direkt als dichte Vektoren darzustellen, statt ihre Word Embeddings zu mitteln. Wir vergleichen das Modell gte-large-en-v1.5, das aufgrund seiner geringen Größe (weniger als 1 Mrd. Parameter) im Massive Text Embedding Benchmark (MTEB) Leaderboard von Hugging Face sehr gut abschneidet. Zusätzlich beziehen wir zwei weitere kommerzielle Modelle von OpenAI (text-embedding-3-large) und Google (text-embedding-004) ein. Diese Modelle übertreffen BoW bei der größten Trainingssetgröße und zeigen auch bei der kleinsten Trainingssetgröße eine ausgezeichnete Leistung.

Beim Embedding-Ansatz sind die Embeddings vortrainiert und fixiert; während des Trainings werden nur die Gewichte des Logistic-Regression-Modells aktualisiert. Dies begrenzt die Leistung des Modells. Die Feinabstimmung (Fine-Tuning) von LLMs ermöglicht es dem Modell, aufgabenspezifische Merkmale zu erlernen und eine bessere Leistung zu erzielen.

Es gibt verschiedene Ansätze zur Auswahl, welcher Teil des LLM feinabgestimmt werden soll, abhängig von den verfügbaren Trainingsdaten. Die letzte Schicht des LLM, die zur Vorhersage des nächsten Wortes verwendet wird, wird durch eine Softmax-Schicht für die Klassifizierung ersetzt. Da uns nur begrenzte Trainingsdaten zur Verfügung stehen, führen wir die Feinabstimmung nur für diese Schicht durch.

Wir untersuchen die Leistung der folgenden repräsentativen LLMs:

• BERT: das klassische, reine Encoder-Transformer-Modell (base-uncased, 110 Mio. Parameter)
• GPT-2: das klassische, reine Decoder-Transformer-Modell (small, 124 Mio. Parameter)
• Llama-3: das neueste, reine Decoder-LLM von Meta AI (8 Mrd. und 70 Mrd. Parameter)

Alle Modelle übertrafen den bisher besten Ansatz, Embedding Google, mit Ausnahme von GPT-2. Generell gilt: je größer das Modell, desto besser die Leistung.

Seit der Einführung des InstructGPT-Papers und des ChatGPT-Tools können LLMs mithilfe einfacher Prompts effektiv für Klassifizierungsaufgaben eingesetzt werden. Wir untersuchen Modelle bekannter LLM-Anbieter mit einer unterschiedlichen Anzahl von Beispielen im Prompt. Im Prompt beschreiben wir die Aufgabe und die Klassen und geben anschließend Beispiele für jede Klasse an.

Wir haben einige interessante Erkenntnisse gewonnen:

• Modellgröße: Die großen Modelle GPT-4 und GPT-4o schneiden eindeutig am besten ab, gefolgt von Claude 3.5 Sonnet und Gemini 1.5 Pro.
• Die kleineren Modelle GPT-4o Mini, Gemini 1.5 und Llama-3 70B sind mit 0-2 Beispielen gleichermaßen gut.
• Je größer das Modell, desto weniger Beispiele werden benötigt.
• Llama-Modelle weisen bei 5 Beispielen einen enormen Leistungsabfall auf. Es ist unklar, warum dies der Fall ist, da die Prompt-Länge das Kontextlimit noch nicht erreicht.

Nicht bei dieser spezifischen Aufgabe, aber bei schwierigeren Aufgaben kann In-Context-Learning viele Beispiele erfordern, um eine gute Leistung zu erzielen. Dies führt zu einem langen Prompt mit mehreren Nachteilen:

• Einige LLMs haben begrenzte Kontextfenster und haben Schwierigkeiten mit langen Prompts
• Erhöhte Inferenzlatenz durch die Verarbeitung mehr Tokens
• Höhere API-Kosten durch größere Token-Anzahl

Um diese Probleme zu lösen, können wir die LLMs mit Instruktionen feinabstimmen. Jeder Eintrag in den Feinabstimmungs-Trainingsdaten ist ein Prompt-Antwort-Paar. Das feinabgestimmte Modell wird die Aufgabe tiefgehend verstehen, der Anweisung folgen und Vorhersagen mit einem deutlich kürzeren Prompt treffen.

In den Trainingsdaten müssen wir eine detaillierte Beschreibung der Klassen einbeziehen, ähnlich wie beim In-Context-Learning, um dem Modell zu helfen, die Aufgabe zu verstehen. In der Inferenzphase können wir jedoch einfach die Klassennamen ohne Beschreibung und ohne Beispiele angeben, um die Prompt-Länge erheblich zu verkürzen.

Die folgende Abbildung zeigt eine deutliche Verbesserung zwischen instruktionsfeinabgestimmten Modellen und dem Standardmodell mit Few-Shot-Prompting. Das kleinere Modell Llama-3 8B profitierte stärker von der Instruktionsfeinabstimmung.

Um unsere Analyse zusammenzufassen, vergleicht die folgende Abbildung die leistungsstärksten Techniken über verschiedene Ansätze hinweg und hebt mehrere wichtige Erkenntnisse hervor:

• Keine Trainingsdaten: Few-Shot-Prompting mit GPT-4 liefert die höchste Genauigkeit und übertrifft sogar alle anderen Methoden bei unterschiedlichen Trainingsdatengrößen. Allerdings geht dies zu Lasten der langsamsten und teuersten Option.
• Kleine Trainingsdaten (50x-100x): Die Instruktionsfeinabstimmung mit Llama-3 70B erzielt die beste Genauigkeit, wobei auch das kleinere 8B-Modell gut abschneidet. Bei anspruchsvolleren oder domänenspezifischen Aufgaben dürfte die Instruktionsfeinabstimmung mit Open-Source-Modellen generische kommerzielle Optionen übertreffen. Diese Methode ist zudem schneller und kostengünstiger.
• Mittlere Trainingsdaten (400x-800x): Die Feinabstimmung des Klassifizierungs-Heads mit LLMs zeigt in diesem Bereich klare Vorteile. Die Feinabstimmung eines Llama-3 70B-Modells erzielt die höchste Genauigkeit, vergleichbar mit GPT-4. Kleinere Modelle wie BERT-base (110M vs. 7B) bieten eine leicht geringere Genauigkeit, sind aber deutlich schneller – ein praktischer Kompromiss.
• Große Trainingsdaten (1600x): Für diese unkomplizierte Klassifizierungsaufgabe schneidet ein klassisches Bag-of-Words (BoW)-Modell überraschend gut im Vergleich zu fortschrittlicheren Techniken ab. Der lineare Trend in der ersten Abbildung deutet darauf hin, dass sich die Leistung mit zusätzlichen Trainingsdaten weiter verbessern könnte. Dieser Ansatz hat jedoch einige Einschränkungen: Er erfordert große Mengen an Trainingsdaten und ist einsprachig, d. h. für verschiedene Sprachen sind unterschiedliche Datensätze erforderlich. Im Gegensatz dazu sind viele Large Language Models (LLMs) von Natur aus mehrsprachig. Trotz dieser Einschränkungen bleibt BoW eine äußerst schnelle Methode.

Zusammenfassend hat die Textklassifizierung mit dem Aufstieg der LLMs einen weiten Weg zurückgelegt und bietet transformative Fähigkeiten für reale Anwendungen. Bei Brand Trust ermöglichen uns diese Innovationen in der Textklassifizierung, Webseiteninhalte und Branchenkategorien präzise zu klassifizieren, was unsere Fähigkeit stärkt, Risiken der Domain-Impersonation zu erkennen und zu mindern. Über die Textklassifizierung hinaus hat generative KI Fortschritte in unseren gesamten Produkten vorangetrieben, was unser Engagement unterstreicht, KI zur Bewältigung komplexer Herausforderungen in der Cybersicherheit einzusetzen.

Beispielgröße: