La classificazione dei testi nell'era degli LLM

Sintesi: L'emergere dei Large Language Model (LLM) ha rivoluzionato la classificazione dei testi, passando dai tradizionali sistemi basati su regole a sofisticate tecniche di deep learning. Questa evoluzione migliora applicazioni come il rilevamento dello spam e l'analisi del sentiment, offrendo soluzioni più accurate ed efficienti.​

Questo articolo:

• Analizza l'evoluzione della classificazione dei testi con l'avvento dei Large Language Model (LLM).​
• Esplora le applicazioni nel rilevamento dello spam, nell'analisi del sentiment e nella categorizzazione per argomento.
• Evidenzia il passaggio dai sistemi basati su regole al deep learning e alle architetture transformer.​

Con l'avanzare dell'elaborazione del linguaggio naturale (NLP), la classificazione dei testi rimane un'attività fondamentale con applicazioni nel rilevamento dello spam, nell'analisi del sentiment, nella categorizzazione per argomento e altro ancora. Tradizionalmente, questo compito dipendeva da sistemi basati su regole e algoritmi di machine learning classici. Tuttavia, l'emergere del deep learning, delle architetture transformer e dei Large Language Model (LLM) ha trasformato la classificazione dei testi, consentendo soluzioni più accurate, sfumate e consapevoli del contesto.

In Red Sift, il nostro impegno verso la tecnologia e l'innovazione ci spinge a esplorare e adottare continuamente metodologie all'avanguardia, integrandole nel nostro lavoro per affrontare sfide complesse. In questo articolo, esploreremo alcuni degli approcci più avanzati alla classificazione dei testi e li confronteremo con un modello ML tradizionale, mostrando il potere dell'innovazione ed evidenziando i punti di forza e i limiti di ciascuno.

Il compito di classificazione consiste nel categorizzare il contenuto dei siti web in uno di 15 settori industriali, allineati ai codici NAICS.

Il set di test comprende 1.500 siti web, con 100 campioni per classe. Per valutare come ciascuna tecnica si comporti con quantità variabili di dati di addestramento, regoliamo la dimensione del set di addestramento su cinque livelli: 100x, 200x, 400x, 800x e 1600x. In questo caso, "100x" corrisponde a 100 punti dati per classe (per un totale di 1.500 punti dati), permettendoci di osservare l'efficacia di ciascun metodo man mano che il dataset si espande.

Prima di applicare qualsiasi modello ML, i dati testuali devono essere trasformati in vettori numerici. Una delle tecniche più basilari e diffuse per la vettorizzazione del testo è il Bag of Words (BoW). Crea un vocabolario di tutte le parole uniche nel corpus e rappresenta ogni documento come un vettore in cui ogni elemento corrisponde alla presenza di una parola nel vocabolario. In alternativa, possiamo usare la frequenza della parola nel documento o un punteggio TF-IDF più sofisticato (una formula che tiene conto della frequenza della parola nel documento e della frequenza della parola nel corpus).

Per la parte di modellazione, utilizzeremo un semplice modello di Logistic Regression, implementato in scikit-learn. La combinazione di BoW e Logistic Regression rappresenta una baseline classica e potente per i compiti di classificazione dei testi. In questo esperimento, l'accuratezza viene utilizzata come metrica. La figura seguente mostra che le prestazioni nel set di test aumentano linearmente con la crescita esponenziale della dimensione del set di addestramento.

Alcuni limiti del modello BoW includono:

1. Il vettore è sparso, il che potrebbe non essere adatto a tutti gli algoritmi ML.
2. Il vettore è ad alta dimensionalità, il che potrebbe richiedere molta memoria e potenza di calcolo.
3. L'ordine delle parole viene ignorato, il che potrebbe comportare la perdita di alcune informazioni.

Per affrontare questi limiti, possiamo utilizzare una rappresentazione vettoriale densa.

I word embeddings sono rappresentazioni matematiche delle parole in uno spazio vettoriale continuo, in cui le parole semanticamente simili vengono mappate su punti vicini. Ogni parola è rappresentata come un vettore denso di numeri in virgola mobile, i cui valori vengono appresi analizzando grandi corpus di testo. Per trovare la rappresentazione di un documento, possiamo calcolare la media dei word embeddings delle parole contenute nel documento. Due modelli pionieristici e degni di nota per i word embeddings sono Word2Vec e GloVe. Word2Vec utilizza una rete neurale poco profonda per apprendere gli embeddings, mentre GloVe si basa sulla matrice di co-occorrenza delle parole nel corpus. In questo esperimento utilizzeremo GloVe.

Sin dall'introduzione dell'architettura transformer nel paper Attention is All You Need, i modelli basati su transformer sono diventati lo stato dell'arte per molti compiti di NLP. I meccanismi di self-attention nell'architettura transformer consentono di catturare dipendenze e relazioni a lungo raggio tra le parole, aspetto che mancava nei modelli precedenti. La sua architettura è inoltre adatta alla parallelizzazione, permettendo un addestramento e un'inferenza più rapidi rispetto all'elaborazione sequenziale dei modelli RNN. BERT è uno dei modelli più noti di questa famiglia. Pertanto, includiamo BERT (base-uncased) anche in questo esperimento.

Analogamente alla sezione precedente, dopo la vettorizzazione, utilizziamo un semplice modello di Logistic Regression e l'accuratezza come metrica. La figura seguente mostra che i word embeddings sono pre-addestrati e partono rapidamente quando la dimensione del set di addestramento è ridotta. Tuttavia, le prestazioni di GloVe e BERT risultano peggiori rispetto a BoW quando la dimensione del set di addestramento è maggiore. Una possibile spiegazione è che BoW è più semplice, ma la sua rappresentazione viene appresa da dati con una distribuzione simile a quella del set di test, mentre i word embeddings sono pre-addestrati con dati più generici.

Questa sezione si concentra su tecniche più moderne per rappresentare i documenti direttamente come vettori densi, anziché calcolare la media dei loro word embeddings. Confronteremo il modello gte-large-en-v1.5, che ottiene ottimi risultati nella Massive Text Embedding Benchmark (MTEB) Leaderboard di Hugging Face, considerate le sue dimensioni ridotte (meno di 1 miliardo di parametri). Includiamo anche altri due modelli commerciali di OpenAI (text-embedding-3-large) e Google (text-embedding-004). Questi modelli superano BoW con la dimensione massima del set di addestramento e mostrano prestazioni eccellenti anche con la dimensione minima del set di addestramento.

Nell'approccio basato sugli embeddings, gli embeddings sono pre-addestrati e fissi; durante l'addestramento vengono aggiornati solo i pesi del modello di Logistic Regression. Questo limita le prestazioni del modello. Il fine-tuning degli LLM consente al modello di apprendere le caratteristiche specifiche del compito e ottenere prestazioni migliori.

Esistono approcci diversi per scegliere quale parte dell'LLM sottoporre a fine-tuning, a seconda dei dati di addestramento disponibili. Il livello finale dell'LLM, utilizzato per prevedere la parola successiva, viene sostituito da un livello softmax per la classificazione. Poiché disponiamo di una quantità limitata di dati di addestramento, sottoporremo a fine-tuning solo questo livello.

Esploriamo le prestazioni dei seguenti LLM rappresentativi:

• BERT: il classico modello transformer solo encoder (base-uncased, 110M parametri)
• GPT-2: il classico modello transformer solo decoder (small, 124M parametri)
• Llama-3: l'ultimo LLM solo decoder di Meta AI (8B e 70B parametri)

Tutti i modelli hanno superato il precedente approccio migliore, Embedding Google, ad eccezione di GPT-2. In generale, più grande è il modello, migliori sono le prestazioni.

Sin dall'introduzione del paper InstructGPT e dello strumento ChatGPT, gli LLM possono essere utilizzati efficacemente per compiti di classificazione tramite semplici prompt. Esploriamo modelli di noti fornitori di LLM con un numero variabile di esempi forniti nel prompt. Nel prompt, descriviamo il compito e le classi, quindi forniamo esempi per ciascuna classe.

Abbiamo scoperto alcuni risultati interessanti:

• Dimensione del modello: I grandi modelli GPT-4 e GPT-4o sono chiaramente i migliori, seguiti da Claude 3.5 Sonnet e Gemini 1.5 Pro.
• I modelli più piccoli GPT-4o Mini, Gemini 1.5 e Llama-3 70B sono ugualmente validi con 0-2 esempi.
• Più grande è il modello, meno esempi sono necessari.
• I modelli Llama subiscono un forte calo di prestazioni con 5 esempi. Non è chiaro il motivo, poiché la lunghezza del prompt non raggiunge ancora il limite del contesto.

Non in questo compito specifico, ma in compiti più complessi, l'apprendimento in-context potrebbe richiedere molti esempi per ottenere buone prestazioni. Questo porta a un prompt lungo con diversi svantaggi:

• Alcuni LLM hanno finestre di contesto limitate e faticano con prompt lunghi
• Aumento della latenza di inferenza dovuto all'elaborazione di più token
• Costi API più elevati a causa di un numero maggiore di token

Per affrontare questi problemi, possiamo sottoporre gli LLM a fine-tuning con istruzioni. Ogni elemento nei dati di addestramento per il fine-tuning è una coppia prompt-risposta. Il modello sottoposto a fine-tuning comprenderà a fondo il compito, si atterrà all'istruzione e formulerà previsioni con un prompt molto più breve.

Nei dati di addestramento, dobbiamo includere una descrizione dettagliata delle classi, così come nell'apprendimento in-context, per aiutare il modello a comprendere il compito. Tuttavia, nella fase di inferenza, possiamo semplicemente includere i nomi delle classi senza alcuna descrizione e senza esempi, riducendo così notevolmente la lunghezza del prompt.

La figura seguente mostra un notevole miglioramento tra il fine-tuning con istruzioni e il modello predefinito con prompting few-shot. Il modello più piccolo Llama-3 8B ha beneficiato maggiormente del fine-tuning con istruzioni.

Per riassumere la nostra analisi, la figura seguente confronta le tecniche con le migliori prestazioni tra i diversi approcci, evidenziando diversi aspetti chiave:

• Nessun dato di addestramento: Il prompting few-shot con GPT-4 offre la massima accuratezza, superando persino tutti gli altri metodi con dimensioni variabili dei dati di addestramento. Tuttavia, comporta compromessi: è l'opzione più lenta e più costosa.
• Dati di addestramento ridotti (50x-100x): Il fine-tuning con istruzioni su Llama-3 70B ottiene la migliore accuratezza, con il modello più piccolo da 8B che ottiene comunque buoni risultati. Per compiti più complessi o specifici di un dominio, il fine-tuning con istruzioni su modelli open source probabilmente supera le opzioni commerciali generiche. Questo metodo è anche più veloce ed economico.
• Dati di addestramento medi (400x-800x): Il fine-tuning della testa di classificazione con gli LLM dimostra chiari vantaggi in questo intervallo. Il fine-tuning di un modello Llama-3 70B raggiunge la massima accuratezza, paragonabile a GPT-4. Modelli più piccoli come BERT-base (110M contro 7B) offrono un'accuratezza leggermente inferiore ma prestazioni molto più rapide, rendendoli un compromesso pratico.
• Grandi quantità di dati di addestramento (1600x): Per questo compito di classificazione semplice, un modello classico Bag-of-Words (BoW) ottiene risultati sorprendentemente buoni rispetto a tecniche più avanzate. La tendenza lineare nella prima figura suggerisce che le prestazioni potrebbero migliorare ulteriormente con dati di addestramento aggiuntivi. Tuttavia, questo approccio presenta alcuni limiti: richiede grandi quantità di dati di addestramento ed è monolingue, il che significa che sono necessari dataset diversi per lingue diverse. Al contrario, molti Large Language Model (LLM) sono intrinsecamente multilingue. Nonostante questi limiti, BoW rimane un metodo estremamente rapido.

In conclusione, la classificazione dei testi ha fatto molta strada con l'ascesa degli LLM, offrendo capacità trasformative per applicazioni reali. In Brand Trust, queste innovazioni nella classificazione dei testi ci consentono di classificare con precisione il contenuto delle pagine web e le categorie di settore, rafforzando la nostra capacità di identificare e mitigare i rischi di impersonificazione del dominio. Oltre alla classificazione dei testi, l'IA generativa ha potenziato i progressi in tutti i nostri prodotti, sottolineando il nostro impegno nell'applicare l'IA per affrontare sfide complesse nella cybersecurity.

Dimensione esempio: