Verbesserte Logoerkennung mit KI: Ein hybrider Ansatz

Zusammenfassung: Eine präzise Logoerkennung ist essenziell, um Marken vor Missbrauch und betrügerischen Aktivitäten zu schützen. Der hybride KI-Ansatz von Red Sift verbessert die Erkennungsgenauigkeit und schafft ein effektives Gleichgewicht zwischen der Reduzierung von Falsch-Positiven und der Identifizierung echter Bedrohungen.

Dieser Artikel:

• Beleuchtet die Bedeutung präziser Logoerkennung beim Schutz von Marken.​
• Stellt die innovative hybride KI-Methode von Red Sift vor, die die Erkennungsgenauigkeit steigert.​
• Betont die Balance zwischen der Reduzierung von Falsch-Positiven und der Identifizierung echter Bedrohungen.​

Die Logoerkennung ist entscheidend für den Markenschutz, da sie hilft, Logomissbrauch bei Lookalike-Domains und betrügerischen Aktivitäten zu identifizieren. Ebenso wichtig ist es, echte Logovorkommen zu erkennen und dabei Falsch-Positive zu minimieren – denn Falsch-Positive verschwenden Ressourcen, lösen unnötige Durchsetzungsmaßnahmen aus und verschleiern echte Bedrohungen.

Bei Red Sift bekämpft unser Produkt Brand Trust Markenmissbrauch, Betrug und Lookalike-Angriffe, indem es betrügerische Domains aufspürt und überwacht, die legitime Marken imitieren. Eine präzise Logoerkennung ist der Schlüssel zu zuverlässigen Erkenntnissen und umsetzbaren Informationen. Um die Genauigkeit zu verbessern, untersuchen wir verschiedene Techniken, darunter die Kombination von spezialisierten KI-Objekterkennungsmodellen mit generativen KI-Modellen. In diesem Blogbeitrag beschreiben wir unseren hybriden KI-Ansatz und teilen Erkenntnisse aus unseren Experimenten.

Modelle zur Logoerkennung werden häufig mit Objekterkennungstechnologie trainiert, wodurch sie Markensymbole in einer Vielzahl von Bildern identifizieren können. Um große Mengen an Anfragen effizient zu verarbeiten, werden Echtzeitalgorithmen bevorzugt, die Geschwindigkeit und Genauigkeit ausbalancieren. Bemerkenswerte Techniken wie YOLO, EfficientDet und RT-DETR haben sich als führende Lösungen in diesem Bereich etabliert. Obwohl diese Modelle beeindruckende Leistungen erzielen, können sie bei mehrdeutigen Fällen weiterhin Schwierigkeiten haben – etwa wenn Logos in komplexen Hintergründen erscheinen, teilweise verdeckt sind oder anderen Formen ähneln.

Um unseren Logoerkennungsprozess zu verbessern und Falsch-Positive zu reduzieren, führen wir einen zusätzlichen Verifizierungsschritt ein. Nachdem ein Logo mit unserem bestehenden Modell erkannt wurde, wird ein Large Multimodal Model (LMM) verwendet, um das erkannte Logo mit einem Referenzlogo zu vergleichen. LMMs erweitern traditionelle Large Language Models (LLMs) um visuelle Fähigkeiten, sodass sie Bilder zusammen mit Text analysieren können. Da nur ein kleiner Anteil der Domains das gesuchte Logo enthält, bleibt der Umfang dieses Verifizierungsschritts überschaubar. Obwohl die LMM-basierte Verifizierung langsamer ist als Echtzeit-Erkennungsmodelle, rechtfertigt ihre verbesserte Genauigkeit den zusätzlichen Zeitaufwand.

Generative KI hat es sehr einfach gemacht, modernste Technologie zu nutzen. Im Kern besteht unser Ansatz darin, einen Prompt mit einem Bild an ein multimodales Modell zu senden, das dann die Eingabe analysiert und bestimmt, ob das erkannte Logo mit einer Referenz übereinstimmt. Hier ist ein Beispiel dafür, wie wir eine solche Anfrage an einen Endpunkt von OpenAI zur Durchführung dieser Verifizierung senden können:

Dieser einfache API-Aufruf zeigt, wie mühelos wir generative KI in unsere Pipeline für Verifizierungsaufgaben integrieren können. Während der grundlegende Ansatz jedoch unkompliziert ist, ist die Optimierung für den realen Einsatz weitaus komplexer. Wir verfolgen einen datenorientierten Ansatz und erstellen einen umfassenden Testdatensatz mit einer gleichen Anzahl übereinstimmender und nicht übereinstimmender Logoverifizierungen. Dies ermöglicht es uns, systematisch verschiedene Parameter fein abzustimmen, darunter:

• Prompt-Optimierung: Verfeinerung der Anweisungen an das Modell zur Bewertung der Logoähnlichkeit, etwa durch Anpassung von Bedingungen zu Farbe und Taglines, um die Trefferquote zu verbessern.
• Bildkomposition: Experimentieren mit verschiedenen Möglichkeiten, die Referenzlogos und das erkannte Logo in einem einzigen Bild oder in mehreren Bildern darzustellen.
• Test-Time-Compute-Strategie: Ermittlung der optimalen Vorgehensweise, wie das Modell „nachdenken“ soll, bevor es eine Entscheidung trifft.
• Modellauswahl: Bewertung verschiedener generativer KI-Modelle, um die leistungsfähigste Lösung zu identifizieren.

Durch umfangreiche Experimente haben wir wertvolle Erkenntnisse darüber gewonnen, wie diese Aspekte effektiv feinabgestimmt werden können. Im nächsten Abschnitt teilen wir unsere wichtigsten Ergebnisse aus den beiden letztgenannten Experimenten: Test-Time-Compute-Strategie und Modellauswahl.

Aktuelle Forschung legt nahe, dass eine erhöhte Test-Time-Compute die Genauigkeit von LLM-basierten Modellen verbessern kann, indem mehr Zeit zum Nachdenken zur Verfügung steht (Quelle). Wir haben dieses Konzept getestet, indem wir drei verschiedene Antwortstrategien evaluiert haben:

• Nur Ergebnis: Das Modell liefert eine direkte Antwort ohne zusätzliche Informationen.

• Ergebnis → Erklärung: Das Modell liefert eine Antwort, gefolgt von einer Erklärung.

• Analyse → Ergebnis: Das Modell erstellt eine Analyse, bevor es eine Entscheidung trifft.

Wir verwendeten das GPT-4o-Modell und führten den Test dreimal mit den oben genannten Strategien durch. Die Ergebnisse waren konsistent und durchaus überraschend: Die Strategie Analyse → Ergebnis schnitt am schlechtesten ab, während es zwischen den anderen beiden kaum Unterschiede gab. Bei dieser Logoverifizierungsaufgabe half es dem Modell nicht, mehr Zeit zum Nachdenken zu haben – es verringerte die Genauigkeit sogar leicht.

Es gibt heute mehrere verfügbare LMMs, die sowohl kommerzielle als auch Open-Source-Lösungen umfassen. Um ihre Leistung zu bewerten, haben wir eine vielfältige Gruppe von Modellen unterschiedlicher Größe und Architektur von mehreren Anbietern verglichen:

• GPT-4o und GPT-4o-mini: zwei Vision-Modelle von OpenAI
• Claude 3.7 Sonnet: die neueste Version des intelligentesten Modells von Anthropic mit Unterstützung für erweitertes Denken
• Gemini 2.0 Flash und Flash-Lite: die kürzlich veröffentlichte Flash-2.0-Modellfamilie von Google Gemini
• Llama 3.2 90B: das größte visionfähige Modell von Meta
• Qwen2.5-VL 7B: eines der angesehensten Open-Source-Modelle von Alibaba

Wir haben einige Beobachtungen gemacht:

• Unter den drei Flaggschiff-Modellen von OpenAI, Google und Anthropic war GPT-4o der klare Spitzenreiter in Bezug auf Genauigkeit. Claude 3.7 lag am Ende, lieferte jedoch bei aktiviertem erweitertem Denken mit bis zu 1024 Tokens eine deutliche Verbesserung und verringerte den Abstand zu GPT-4o erheblich.
• Unter den kleineren Modellen war GPT-4o-mini besser als Gemini 2.0 Flash-Lite, wobei beide das Open-Source-Modell Llama3.2 mit 90 Milliarden Parametern deutlich übertrafen.
• Das beeindruckendste Ergebnis lieferte das Qwen2.5-VL-Modell mit einer herausragenden Leistung für ein Modell mit nur 7 Milliarden Parametern.

Inspiriert von der Leistung des Qwen-Modells haben wir uns entschieden, Open-Source-LMMs für diese spezifische Aufgabe feinabzustimmen, um zu sehen, wie gut sie abschneiden können. Bei der Vorbereitung des Instruktionsdatensatzes haben wir sichergestellt, dass Logos, die im Training verwendet wurden, nicht im Testset erscheinen, um Informationsleckage oder Overfitting zu verhindern. Wir haben Instruktions-Antwort-Paare erstellt und dabei zwei Ansätze getestet: die Verwendung nur des Ergebnisses in der Antwort im Vergleich zu einem Ansatz mit Analyse → Ergebnis. Da ein reines Ergebnis nur ein geringes Lernsignal bietet, gingen wir davon aus, dass Antworten mit Analyse → Ergebnis effektiver wären.

Wir haben zunächst mit dem kleinsten verfügbaren Modell, Qwen2.5-VL 3B, experimentiert, um die beiden Ansätze zu vergleichen. Die Baseline ohne Feinabstimmung lieferte keine sinnvollen Vorhersagen und griff für alle Testdaten auf einen einzigen Wert zurück. Die Feinabstimmung nur mit Ergebnissen erreichte eine Genauigkeit von 0,75, während die Feinabstimmung mit Analyse → Ergebnis die Leistung auf 0,83 verbesserte – ein Beleg dafür, dass strukturiertes Denken dem Modell beim Lernen hilft.

Nach Fertigstellung des Datensatzes gingen wir zur Modellanpassung über. LoRA, eine Feinabstimmungsmethode, die kleine Adapterschichten zu einem eingefrorenen Modell hinzufügt, ermöglicht effizientes Training ohne Änderung der ursprünglichen Gewichte. QLoRA verbessert die Speichereffizienz zusätzlich durch Quantisierung, was uns ermöglichte, das 7B-Modell auf einer T4-GPU feinabzustimmen. Die Feinabstimmung von Qwen2.5-VL 7B ergab einen Wert von 0,935 und übertraf damit Modelle wie Gemini 2.0 Flash. Wir haben außerdem Llama 3.2 11B feinabgestimmt und dabei 0,88 erreicht – deutlich besser als die zuvor getestete Out-of-the-Box-90B-Version.

Schließlich haben wir Qwen2.5-VL 7B ohne Quantisierung mit einer A100-40GB-GPU für maximale Leistung feinabgestimmt. Dieser letzte Schritt führte zu einem Wert von 0,965 – gleichauf mit GPT-4o. Ein GPT-4o-vergleichbares Leistungsniveau mit einem spezialisierten 7B-Modell zu erreichen, ist eine beachtliche Leistung und zeigt das Potenzial gezielter Feinabstimmung.

Durch die Kombination traditioneller Logoerkennungsmodelle mit LMM-gestützter Verifizierung haben wir einen robusteren Ansatz zur Identifizierung von Logos mit hoher Zuverlässigkeit entwickelt. Diese hybride Methode hilft, Falsch-Positive zu reduzieren und die Zuverlässigkeit unserer KI-gestützten Lösungen zu verbessern. Bei Red Sift erweitern wir kontinuierlich die Grenzen der KI-Forschung und erkunden innovative Wege, um Genauigkeit und Leistung in verschiedenen Bereichen zu verbessern. Wir haben während dieses Prozesses sehr viel gelernt und freuen uns darauf, innovative Lösungen zu entwickeln, die unseren Kunden helfen, ihre digitale Präsenz besser zu schützen. Wenn Sie mehr erfahren möchten, kontaktieren Sie unser Team!