Rilevamento avanzato dei loghi con l'IA: un approccio ibrido

Sintesi: Il rilevamento accurato dei loghi è essenziale per proteggere i brand da usi impropri e attività fraudolente. L'approccio ibrido di IA di Red Sift migliora la precisione del rilevamento, bilanciando efficacemente la riduzione dei falsi positivi con l'identificazione delle minacce reali.

Questo articolo:

• Esplora l'importanza di un rilevamento preciso dei loghi nella protezione dei brand.​
• Presenta l'innovativo metodo ibrido di IA di Red Sift per migliorare l'accuratezza del rilevamento.​
• Sottolinea l'importanza di bilanciare la riduzione dei falsi positivi con l'identificazione delle minacce reali.​

Il rilevamento dei loghi è fondamentale per la protezione dei brand, poiché aiuta a identificare l'uso improprio dei loghi in domini simili e attività fraudolente. Rilevare la presenza autentica dei loghi minimizzando al contempo i falsi positivi è altrettanto essenziale: i falsi positivi sprecano risorse, attivano azioni di enforcement non necessarie e oscurano le minacce reali.

In Red Sift, il nostro prodotto Brand Trust combatte l'abuso di brand, le frodi e gli attacchi tramite domini simili, individuando e monitorando domini fraudolenti che imitano brand legittimi. Il rilevamento accurato dei loghi è fondamentale per fornire informazioni affidabili e intelligence utilizzabile. Per migliorare l'accuratezza, esploriamo diverse tecniche, tra cui la combinazione di modelli di rilevamento oggetti con IA specializzata e modelli di IA generativa. In questo articolo del blog, descriviamo il nostro approccio ibrido di IA e condividiamo le intuizioni emerse dai nostri esperimenti.

I modelli di rilevamento dei loghi sono spesso addestrati utilizzando tecnologie di rilevamento oggetti, che consentono loro di identificare i simboli dei brand in una varietà di immagini. Per gestire in modo efficiente richieste su larga scala, si preferiscono algoritmi in tempo reale, che bilanciano velocità e precisione. Tecniche note come YOLO, EfficientDet e RT-DETR sono emerse come soluzioni leader in questo ambito. Sebbene questi modelli raggiungano prestazioni impressionanti, possono comunque avere difficoltà nei casi ambigui in cui i loghi appaiono su sfondi complessi, sono parzialmente occlusi o assomigliano ad altre forme.

Per migliorare il nostro processo di rilevamento dei loghi e ridurre i falsi positivi, introduciamo un ulteriore passaggio di verifica. Dopo che un logo viene rilevato dal nostro modello esistente, un Large Multimodal Model (LMM) viene utilizzato per confrontare il logo rilevato con un logo di riferimento. Gli LMM estendono i tradizionali Large Language Models (LLM) incorporando capacità visive, consentendo loro di analizzare immagini insieme al testo. Poiché solo una piccola parte dei domini contiene il logo di interesse, il volume di questo passaggio di verifica rimane gestibile. Sebbene la verifica basata su LMM sia più lenta rispetto ai modelli di rilevamento in tempo reale, la sua maggiore accuratezza giustifica il tempo di elaborazione aggiuntivo.

L'IA generativa ha reso davvero semplice l'utilizzo di tecnologie all'avanguardia. Alla base, il nostro approccio consiste nell'inviare un prompt con un'immagine a un modello multimodale, che poi analizza l'input e determina se il logo rilevato corrisponde a un riferimento. Ecco un esempio di come possiamo inviare una tale richiesta a un endpoint di OpenAI per eseguire questa verifica:

Questa semplice chiamata API dimostra quanto sia facile integrare l'IA generativa nella nostra pipeline per le attività di verifica. Tuttavia, sebbene l'approccio fondamentale sia semplice, ottimizzarlo per prestazioni nel mondo reale è molto più complesso. Adottiamo un approccio orientato ai dati, costruendo un dataset di test completo con un numero uguale di verifiche di loghi corrispondenti e non corrispondenti. Questo ci consente di ottimizzare sistematicamente vari parametri, tra cui:

• Ottimizzazione del prompt: perfezionare il modo in cui istruiamo il modello a valutare la somiglianza dei loghi, ad esempio modificando le condizioni relative a colore e slogan per migliorare il richiamo.
• Composizione dell'immagine: sperimentare diversi modi di presentare i loghi di riferimento e il logo rilevato in un'unica immagine o in più immagini.
• Strategia di calcolo al momento del test: determinare il modo ottimale per far "ragionare" il modello prima di prendere una decisione.
• Selezione del modello: valutare diversi modelli di IA generativa per identificare la soluzione con le migliori prestazioni.

Attraverso una sperimentazione approfondita, abbiamo acquisito preziose intuizioni su come ottimizzare efficacemente questi aspetti. Nella prossima sezione, condividiamo i risultati principali dei due esperimenti successivi: strategia di calcolo al momento del test e selezione del modello.

Ricerche recenti suggeriscono che aumentare il calcolo al momento del test può migliorare l'accuratezza dei modelli basati su LLM, consentendo più tempo per il ragionamento (fonte). Abbiamo testato questo concetto valutando tre diverse strategie di risposta:

• Solo risultato: il modello fornisce una risposta diretta senza informazioni aggiuntive.

• Risultato → Spiegazione: il modello fornisce una risposta seguita da una spiegazione.

• Analisi → Risultato: il modello genera un'analisi prima di fornire una decisione.

Abbiamo utilizzato il modello GPT-4o ed eseguito il test tre volte con le strategie sopra descritte. I risultati sono stati coerenti e piuttosto sorprendenti: la strategia Analisi → Risultato ha ottenuto le prestazioni peggiori, mentre c'era poca differenza tra le altre due. In questo compito di verifica dei loghi, dare al modello più tempo per riflettere non ha aiutato e ha persino leggermente ridotto l'accuratezza.

Oggi sono disponibili diversi LMM, che spaziano tra soluzioni commerciali e open-source. Per valutarne le prestazioni, abbiamo confrontato un insieme diversificato di modelli con dimensioni e architetture variabili provenienti da più fornitori:

• GPT-4o e GPT-4o-mini: due modelli di visione di OpenAI
• Claude 3.7 Sonnet: l'ultima versione del modello più intelligente di Anthropic con supporto per il ragionamento esteso
• Gemini 2.0 Flash e Flash-Lite: la famiglia di modelli Flash 2.0 recentemente rilasciata da Google Gemini
• Llama 3.2 90B: il modello più grande che supporta la visione di Meta
• Qwen2.5-VL 7B: uno dei modelli open-source più apprezzati di Alibaba

Abbiamo fatto alcune osservazioni:

• Tra i tre modelli di punta di OpenAI, Google e Anthropic, GPT-4o è stato il leader indiscusso in termini di accuratezza. Claude 3.7 si è classificato ultimo, ma abilitando il ragionamento esteso fino a 1024 token, ha ottenuto un miglioramento significativo, riducendo il divario con GPT-4o.
• Tra i modelli più piccoli, GPT-4o-mini è risultato migliore di Gemini 2.0 Flash-Lite, entrambi superando significativamente il modello open-source Llama3.2 da 90 miliardi di parametri.
• Il risultato più impressionante è stato ottenuto dal modello Qwen2.5-VL, con prestazioni eccezionali per un modello da 7 miliardi di parametri.

Ispirati dalle prestazioni del modello Qwen, abbiamo deciso di ottimizzare (fine-tune) LMM open-source per questo compito specifico, per vedere quanto bene avrebbero potuto funzionare. Per preparare il dataset di istruzioni, ci siamo assicurati che i loghi utilizzati nell'addestramento non comparissero nel set di test, evitando così fughe di informazioni o overfitting. Abbiamo creato coppie istruzione-risposta, testando due approcci: utilizzare solo il risultato nella risposta rispetto a un approccio Analisi → Risultato. Poiché un solo risultato offre poco segnale di apprendimento, abbiamo ipotizzato che le risposte Analisi → Risultato sarebbero state più efficaci.

Abbiamo sperimentato inizialmente con il modello disponibile più piccolo, Qwen2.5-VL 3B, per confrontare i due approcci. La baseline, senza fine-tuning, non è riuscita a fornire previsioni significative, restituendo un valore unico per tutti i dati di test. Il fine-tuning con solo i risultati ha raggiunto un'accuratezza dello 0,75, mentre il fine-tuning con Analisi → Risultato ha migliorato le prestazioni a 0,83, confermando che il ragionamento strutturato aiuta il modello ad apprendere meglio.

Con il dataset finalizzato, siamo passati all'ottimizzazione del modello. LoRA, un metodo di fine-tuning che aggiunge piccoli strati adattatori a un modello congelato, consente un addestramento efficiente senza modificare i pesi originali. QLoRA migliora ulteriormente l'efficienza della memoria attraverso la quantizzazione, permettendoci di eseguire il fine-tuning del modello da 7B su una GPU T4. Il fine-tuning di Qwen2.5-VL 7B ha prodotto un punteggio di 0,935, superando modelli come Gemini 2.0 Flash. Abbiamo anche ottimizzato Llama 3.2 11B, raggiungendo 0,88, significativamente meglio della versione da 90B non ottimizzata testata in precedenza.

Infine, abbiamo ottimizzato Qwen2.5-VL 7B senza quantizzazione utilizzando una GPU A100-40GB per ottenere le massime prestazioni. Questo passo finale ha portato a un punteggio di 0,965, eguagliando GPT-4o. Raggiungere prestazioni a livello di GPT-4o con un modello specializzato da 7B è un risultato notevole, che dimostra il potenziale del fine-tuning mirato.

Combinando i tradizionali modelli di rilevamento dei loghi con la verifica basata su LMM, abbiamo sviluppato un approccio più robusto per identificare i loghi con elevata affidabilità. Questo metodo ibrido aiuta a mitigare i falsi positivi e migliora l'affidabilità delle nostre soluzioni basate sull'IA. In Red Sift, continuiamo a spingere i confini della ricerca sull'IA, esplorando modi innovativi per migliorare l'accuratezza e le prestazioni in vari ambiti. Abbiamo imparato molto durante questo processo e non vediamo l'ora di sviluppare soluzioni innovative che consentano ai nostri clienti di proteggere meglio la propria presenza digitale. Se desideri saperne di più, contatta il team!