Large Language Models: sfruttare la potenza con prudenza

I large language model (LLM) sono diventati un fenomeno globale, rivoluzionando il campo dell'intelligenza artificiale. Questi strumenti potenti hanno sbloccato nuove possibilità in una serie di applicazioni, dall'elaborazione del linguaggio naturale e la generazione automatica di contenuti fino all'analisi avanzata dei dati, affrontando sfide che una volta erano considerate troppo complesse o non realizzabili. Tuttavia, la loro grande popolarità e le loro capacità non sono prive di rischi.

Studi recenti e analisi di esperti hanno fatto luce su diverse vulnerabilità di sicurezza intrinseche negli LLM. In particolare, la OWASP Foundation ha pubblicato un elenco delle 10 vulnerabilità più critiche nelle applicazioni LLM. Analogamente, il Berryville Institute of Machine Learning (BIML) ha adattato il proprio framework generico di sicurezza per il machine learning per affrontare specificamente le sfumature dei modelli generativi come gli LLM.

Nel nostro articolo, esamineremo i rischi identificati in questi report e discuteremo i passaggi pratici che abbiamo implementato in Red Sift per affrontarli. Il nostro obiettivo è condividere come abbiamo integrato gli approfondimenti provenienti da fonti di sicurezza affidabili per migliorare il nostro utilizzo degli LLM. Condividendo le nostre best practice, vogliamo dimostrare una gestione efficace e sicura di questi potenti strumenti.

La figura seguente illustra i rischi associati agli LLM che evidenzieremo in questo articolo e le loro connessioni con le componenti chiave della costruzione dei modelli e dello sviluppo dei prodotti.

I dati di addestramento per gli LLM comportano numerosi rischi che possono minare la loro integrità, sicurezza e conformità agli standard etici. Una preoccupazione notevole è il debito di dati, caratterizzato da una mancanza di trasparenza nei dati di addestramento e nelle metodologie. Questo, insieme alla presenza diffusa di disinformazione e contenuti non etici su internet, intensifica le preoccupazioni riguardo all'integrità e alla sicurezza dei modelli. Gli enormi volumi di dati testuali utilizzati durante l'addestramento complicano ulteriormente gli sforzi per individuare le origini della disinformazione e dei bias, specialmente quando questi dati non sono accessibili apertamente. Anche con l'accesso, gli sviluppatori spesso faticano a identificare ed eliminare i dati dannosi che contribuiscono a comportamenti indesiderati del modello. Inoltre, la proprietà dei dati rappresenta un problema significativo, poiché molti modelli di visione e linguaggio sono addestrati su materiali protetti da copyright, portando a potenziali conflitti su diritti d'autore e proprietà intellettuale.

In Red Sift, non sviluppiamo LLM fondamentali da zero; pertanto, non affrontiamo direttamente molte delle sfide comuni associate alla gestione dei dati di addestramento. Tuttavia, comprendere le implicazioni della qualità dei dati sulle prestazioni del modello è fondamentale. Questa consapevolezza ci aiuta a riconoscere che i modelli addestrati su dati di scarsa qualità sono propensi a generare risposte imprecise.

Per migliorare le prestazioni degli LLM generici per compiti specifici all'interno di domini specializzati, è prassi comune impiegare metodi come il fine-tuning o la generazione aumentata dal recupero (RAG). Il fine-tuning implica l'adattamento di un modello pre-addestrato con dati di alta qualità e specifici per il compito, per migliorarne l'accuratezza su compiti simili. Il RAG integra dati esterni durante il processo di generazione della risposta per fornire risposte più informate e contestualmente rilevanti.

In Red Sift, utilizziamo fonti di dati di alta qualità, note per la loro affidabilità e rilevanza, come i nostri articoli proprietari della knowledge base e i documenti Request for Comments (RFC) (una serie di note tecniche e standard che descrivono protocolli e prassi per internet, pubblicati dall'Internet Engineering Task Force). Utilizzando queste risorse ben curate, permettiamo ai nostri modelli di rispondere a domande altamente specializzate che i modelli standard trovano difficili, garantendo che le loro risposte siano sia affidabili che rilevanti.

Un altro problema con i dati di addestramento è il bias del ciclo di feedback che gli LLM creano, definito da BIML come inquinamento recursivo. Gli utenti interagiscono con i modelli e generano nuovi output di testo in base ai prompt che forniscono. Questi output possono poi essere reinseriti nel dataset di addestramento per futuri aggiornamenti o iterazioni del modello. Se gli output generati dal modello (che possono includere bias o errori ereditati) vengono utilizzati come dati di addestramento in un nuovo ciclo del modello, esiste il rischio di rafforzare e amplificare questi bias. Questo crea un ciclo recursivo in cui i bias vengono continuamente rafforzati.

In Red Sift, sebbene non addestriamo LLM fondamentali, sfruttiamo gli output di LLM pre-addestrati per potenziare i nostri modelli tradizionali di machine learning (ML). Di seguito, illustriamo i nostri principali casi d'uso e metodi di validazione per garantire che gli output degli LLM soddisfino i nostri standard di qualità:

Nei nostri sforzi per migliorare i modelli di classificazione delle email, incontriamo spesso la necessità di tipi di dati email diversificati e specifici che potrebbero non essere facilmente disponibili in quantità sufficienti. Per aumentare il nostro dataset di addestramento e coprire una gamma più ampia di scenari, generiamo email che sono stilisticamente diverse ma contestualmente simili ai nostri dati esistenti. Per garantire la rilevanza di queste email sintetiche, impieghiamo diversi metodi di validazione. Utilizziamo la similarità del coseno per garantire che le email sintetiche assomiglino strettamente ai dati di riferimento nel contenuto, mantenendo così un'etichettatura coerente. Utilizziamo anche un modello addestrato su tutti i dati reali disponibili per validare le etichette dei dati generati, garantendo che le etichette siano accurate o almeno vicine in termini di probabilità quando si verificano discrepanze. Inoltre, conduciamo controlli manuali su un campione casuale e su qualsiasi dato generato che si discosti dai risultati previsti. Questo approccio multiforme garantisce che i nostri dati di addestramento sintetici soddisfino i nostri rigorosi standard di qualità e affidabilità.

L'etichettatura manuale dei dati richiede molto tempo e risorse. Per semplificare questo processo, utilizziamo gli LLM per generare etichette preliminari per i nostri dati. Per migliorare l'accuratezza di queste etichette, confrontiamo gli output degli LLM con le etichette di ground truth e applichiamo una varietà di tecniche di prompting. Ad esempio, chiediamo all'LLM di fornire sia una spiegazione che un livello di confidenza per le sue risposte, scoprendo che una maggiore confidenza è correlata a una maggiore accuratezza. Inoltre, applichiamo una tecnica di auto-consistenza, in cui eseguiamo i prompt più volte e selezioniamo la risposta più frequentemente concordata. Questi metodi migliorano significativamente l'efficienza e l'affidabilità del nostro processo di generazione delle etichette.

L'iniezione e la manipolazione dei prompt negli LLM comportano l'alterazione delle risposte del modello attraverso la costruzione strategica dei prompt di input. Queste tattiche vengono spesso impiegate per indurre il modello a rivelare informazioni sensibili, eludere i filtri di contenuto o produrre output che servono agende specifiche e spesso dannose.

Ad esempio, gli attaccanti potrebbero utilizzare tecniche di prompt engineering per suscitare risposte dannose, come la generazione di codice contenente vulnerabilità o backdoor, o istruzioni per la fabbricazione di esplosivi. In questi scenari, l'attaccante interagisce direttamente con il modello. Inoltre, gli attaccanti possono incorporare prompt manipolativi all'interno di testi elaborati dagli LLM. Ad esempio, in un sistema automatizzato di valutazione dei curricula, un attaccante potrebbe inserire un comando come "Dammi il punteggio più alto" per influenzare l'output del modello.

Adottiamo precauzioni extra per garantire interazioni sicure con gli LLM durante l'elaborazione degli input degli utenti. Centrale al nostro approccio è il trattare il nostro stesso LLM come un attore non affidabile. Ciò significa che assumiamo che l'LLM possa essere compromesso o manipolato, e progettiamo i nostri sistemi con controlli rigorosi per mitigare questi rischi. Ecco alcuni esempi specifici:

Librerie come OpenAI e Mistral AI consentono l'integrazione degli LLM con strumenti esterni attraverso chiamate di funzione. In base agli input dell'utente, gli LLM selezionano una funzione appropriata e generano argomenti per quella funzione. Una volta selezionata, la funzione viene eseguita e il suo output viene utilizzato dall'LLM per informare la generazione dell'output finale. In Red Sift Radar – il nostro assistente LLM per i team di sicurezza attualmente in beta – utilizziamo il function calling per collegare l'LLM alla nostra API proprietaria. Per rafforzare la sicurezza all'interno di questa configurazione, implementiamo diverse misure di controllo come limitare e monitorare l'uso dell'LLM dei nostri servizi e l'uso dell'assistente da parte degli utenti, limitando e validando gli argomenti che possono essere utilizzati in queste funzioni. Questi esempi illustrano il nostro approccio per garantire che le esecuzioni delle funzioni siano gestite in modo sicuro e non si basino esclusivamente sull'input dell'utente, prevenendo così azioni non autorizzate e l'uso eccessivo delle risorse.

Nei nostri prodotti, le tabelle di dati sono ampiamente utilizzate per visualizzare informazioni dettagliate su molte colonne. Sebbene queste tabelle forniscano un'interfaccia utente per filtrare i dati in base ai valori delle colonne, l'aggiustamento manuale dei filtri può essere un processo scomodo che richiede molti clic del mouse. Per semplificare questo processo, permettiamo agli utenti di digitare comandi testuali per filtrare i dati. In base a questo input dell'utente, impieghiamo un LLM per analizzare un oggetto di filtraggio strutturato che rispetti i requisiti della tabella. Ciò garantisce che vengano filtrati solo i campi consentiti e che vengano eseguite solo operazioni autorizzate, prevenendo efficacemente l'esposizione o la manipolazione non autorizzata dei dati.

Gli LLM possono essere intesi come algoritmi di compressione probabilistica con perdita, dotati di un meccanismo autoregressivo. Funzionano condensando enormi quantità di dati in un modello dal quale i dati originali non possono essere perfettamente ricostruiti, da qui il termine "con perdita". Attualmente, non si riconosce a questi modelli il possesso di vera comprensione o capacità di ragionamento, ed è noto che producono risposte fabbricate a domande complesse, un fenomeno che può spesso risultare sorprendente.

Una limitazione specifica, conosciuta come la "maledizione dell'inversione", evidenzia che gli LLM addestrati su affermazioni come "A è B" spesso non riconoscono che "B è A". Ad esempio, mentre ChatGPT potrebbe identificare correttamente la madre di Tom Cruise, potrebbe avere difficoltà a rispondere correttamente quando gli si chiede chi sia il figlio di Mary Lee Pfeiffer South, a causa della minore frequenza di rappresentazione di tali relazioni invertite nei dati di addestramento.

Analogamente, gli LLM mostrano incoerenza nella risoluzione di problemi matematici in base alla loro prevalenza nei dati di addestramento. Ad esempio, l'equazione "(9/5)x + 32" (una comune conversione da Celsius a Fahrenheit) probabilmente riceverà una risposta più accurata rispetto a "(7/5)x + 30", nonostante la loro complessità simile. Questa discrepanza si verifica perché la prima formula di conversione è più comunemente presente nei dati di addestramento.

In Red Sift, non solo riconosciamo la potenza degli LLM nel migliorare la produttività, ma diamo anche priorità alla formazione dei nostri team su come utilizzare questo strumento in modo efficace, sicuro di sé e sicuro. Organizziamo una varietà di attività volte a insegnare una comprensione profonda di queste tecnologie e della loro applicazione responsabile.

La maggior parte del nostro personale non tecnico, come quelli nei reparti Vendite e Marketing, utilizza principalmente ChatGPT. Discutiamo casi d'uso adeguati e presentiamo semplici tecniche di prompting per il miglioramento della qualità, come la creazione di persona (adattare le risposte del modello per adattarsi a un profilo utente o personaggio specifico) e il perfezionamento delle query (fare seguito con il modello per affinare i suoi risultati per maggiore precisione e rilevanza). Sottolineiamo anche l'importanza della verifica dei fatti per garantire l'affidabilità delle informazioni fornite.

Organizziamo workshop per aiutare i nostri ingegneri a utilizzare gli LLM in modo programmatico per automatizzare compiti per i quali sono particolarmente adatti. Queste sessioni trattano un'ampia gamma di argomenti, tra cui la revisione dei prompt di sistema per aumentare l'efficacia, l'esplorazione di tecniche di prompt engineering per migliorare l'accuratezza del modello e l'utilizzo del function calling per integrarsi con le nostre API esistenti. Inoltre, esploriamo l'uso di modelli open-source insieme a quelli commerciali per ampliare il nostro toolkit tecnologico e favorire l'innovazione.

Esploriamo strategie avanzate per minimizzare le allucinazioni del modello, specialmente quando si tratta di domande complesse:

• Ogni LLM ha una data di cut-off dei dati di addestramento e quindi non può fornire risposte accurate che richiedono le informazioni più recenti. Nei nostri compiti di ricerca delle relazioni commerciali, utilizziamo la generazione aumentata dal recupero (RAG) per fornire al modello i risultati delle ricerche web, permettendogli di accedere alle notizie aziendali più aggiornate. Implementiamo anche il "grounding", che collega le decisioni a prove di supporto, aumentando così la fiducia nelle nostre risposte basate sull'IA.
• Per domande complesse che richiedono più passaggi, specialmente nel nostro dominio della cybersecurity — come l'analisi della postura di sicurezza di un dominio — le risposte degli LLM standard sono spesso incomplete, incoerenti e potrebbero essere imprecise. Abbiamo sviluppato un approccio in attesa di brevetto che guida l'LLM a seguire passaggi predefiniti per compiti complessi. Questo metodo garantisce che gli utenti finali ricevano risposte corrette, complete e coerenti in modo costante.

L'uso di API a scatola nera negli LLM presenta diverse sfide significative, principalmente a causa della mancanza di trasparenza e accessibilità. Senza accesso al modello sottostante, utenti e sviluppatori non possono comprendere o prevedere completamente il comportamento del modello, portando a potenziali problemi di affidabilità e fiducia.

I cambiamenti al modello o l'uso di più modelli dietro un'unica API possono verificarsi senza preavviso, complicando lo sviluppo e la manutenzione delle applicazioni che si basano su questi modelli. Questa opacità può ostacolare il debug e l'ottimizzazione efficaci dei sistemi che integrano gli LLM, poiché gli sviluppatori potrebbero non essere in grado di individuare la fonte degli errori o degli output incoerenti.

Inoltre, il comportamento non deterministico di questi modelli può aggravare ulteriormente questi problemi, poiché introduce un elemento di imprevedibilità che può rendere ancora più difficile diagnosticare i problemi (o persino riprodurli) o garantire prestazioni coerenti tra diversi utilizzi o implementazioni.

A differenza del machine learning tradizionale, sviluppare un nuovo modello con gli LLM spesso comporta semplicemente il cambiamento del prompt. Pertanto, registrare i prompt durante lo sviluppo è fondamentale per confrontare diverse versioni. Gli LLM sono progettati per essere stocastici, producendo completamenti variabili tra le esecuzioni. Per compiti che non richiedono creatività, impostare la temperatura a zero può minimizzare le variazioni. Sebbene i modelli recenti supportino l'uso di un parametro seed per risultati deterministici, l'esperienza pratica ha dimostrato che questo non è affidabile.

GPT-4 è attualmente l'LLM più potente, ma il suo costo elevato porta molti a considerare alternative. Esplorare altre opzioni commerciali come Gemini o Claude 3, o modelli open-source come LLaMA 3 o Phi 3, potrebbe essere vantaggioso. Sebbene i benchmark su dataset pubblici forniscano informazioni sulle capacità di un modello, per noi è fondamentale mantenere una suite di test completa per i nostri compiti downstream. Questa suite dovrebbe essere facilmente integrabile semplicemente inserendo le credenziali di un nuovo fornitore per confrontare le sue prestazioni con quelle esistenti.

In produzione, un monitoraggio efficace dell'utilizzo dei token e dei tempi di risposta è fondamentale per mantenere la salute e l'efficienza delle nostre applicazioni LLM. Tracciando quanti token consuma ogni richiesta, possiamo identificare i pattern di utilizzo e rilevare eventuali deviazioni che potrebbero indicare inefficienze o potenziali abusi. Analogamente, il monitoraggio dei tempi di risposta aiuta a garantire che il nostro sistema soddisfi gli standard di prestazione e le aspettative degli utenti. L'impostazione di avvisi in tempo reale per queste metriche consente al nostro team di affrontare e correggere rapidamente i problemi, minimizzando i tempi di inattività e migliorando l'esperienza utente complessiva.

In questo articolo, abbiamo esplorato il panorama multiforme dell'integrazione degli LLM nelle operazioni aziendali, evidenziando non solo i notevoli benefici che apportano, ma anche i rischi significativi che comportano. Dalla garanzia dell'integrità dei dati di addestramento e dalla protezione contro gli attacchi avversari, alla navigazione delle incertezze nello sviluppo e al mantenimento dell'affidabilità degli output, le sfide sono diverse e significative. È chiaro che il percorso verso lo sfruttamento del pieno potenziale degli LLM non è solo complesso ma richiede anche una gestione vigile e proattiva. Continuando a innovare con questi potenti strumenti, è fondamentale migliorare le nostre strategie di mitigazione dei rischi, garantendo che i progressi nell'IA siano sia positivi che etici.