Mistral-Suche steigert Genauigkeit von 27% auf 86%

Der Benchmark, den Mistral veröffentlicht hat

Mistral hat Agentic Search an einem konkreten Test gemessen: FinanceBench, einem Benchmark aus 368 echten SEC-Unterlagen und 150 Fragen, die jeweils das Auffinden und Gegenprüfen einer bestimmten Tatsache in dichten Finanzdokumenten verlangen.

Unter Mistrals eigener einstufiger Retrieval-Augmented-Generation-Basislinie, bei der ein Modell nur liest, was ein einziger Suchdurchlauf liefert, und allein daraus antwortet, lag die FinanceBench-Genauigkeit bei 26,7 Prozent. Agentic Search, das dem Modell mehrere Runden aus Suchen, Öffnen einzelner Unterlagen und Überprüfen der eigenen Ergebnisse erlaubt, bevor es antwortet, hob diesen Wert laut Mistrals eigenen veröffentlichten Ergebnissen auf 86 Prozent. Ein Sprung von ungefähr einer richtigen Antwort von vier auf besser als acht von zehn ist ein bedeutendes Ergebnis für eine einzelne Produktänderung, die allein die Suchebene betrifft.

Das Versagensmuster, das Agentic Search angeht

Einstufiges RAG scheitert bei Unternehmensanwendern auf eine bestimmte, wiederkehrende Weise: Es holt in einem einzigen Durchgang eine Handvoll Dokumentausschnitte und zwingt das Modell, allein daraus zu antworten, selbst wenn die richtige Antwort in einer Tabelle, einer Fußnote oder einer ganz anderen Unterlage steht.

Mistral hat Agentic Search um fünf Operationen herum gebaut, die gewöhnlichen Dateisystembefehlen ähneln: search, open, navigate, read und grep. Statt aus einer festen Menge abgerufener Ausschnitte zu raten, kann das Modell ein bestimmtes Dokument öffnen, zu einer Tabelle navigieren, den umgebenden Kontext lesen und erneut suchen, wenn die erste Antwort unvollständig wirkt. Bei einer Frage wie dem Auffinden einer einzelnen Freistellungsklausel über Hunderte von SEC-Unterlagen hinweg kommt dieser iterative Prozess der Arbeitsweise eines geschulten Analysten deutlich näher als ein einziger Datenbankabruf es je konnte. Mistral stellt dies als Beleg dar, dass die Suchebene der eigentliche Engpass in der Unternehmens-KI-Suche gewesen ist.

Ein zweiter Benchmark schließt einen Zufallstreffer aus

Mistral hat es vor der Veröffentlichung dieser Genauigkeitswerte nicht bei einem einzigen Benchmark belassen.

OfficeQA Pro ist ein eigenständiger Test aus 696 Treasury-Bulletins und 133 Fragen, der einen anderen Dokumenttyp und eine andere Art von Frage als FinanceBench abdeckt. Die Genauigkeit bei OfficeQA Pro stieg laut Mistral von 6,3 Prozent unter einstufigem Retrieval auf 51,9 Prozent mit der vollständigen agentischen Schleife. Die absoluten Werte liegen niedriger als bei FinanceBench, weil die OfficeQA-Pro-Fragen bewusst schwieriger gestaltet sind, und die Form des Ergebnisses bleibt dieselbe: eine einstufige Retrieval-Basislinie, die kaum eine von zwanzig Fragen richtig beantwortet, und eine mehrstufige Such- und Verifizierungsschleife, die den größten Teil dieser Lücke schließt.

Was die Tabelle über die Kosten zeigt, nicht nur über die Genauigkeit

Mehrstufige Suche klingt danach, als müsste sie mehr kosten, und in Mistrals eigenen Tests erwies sich genau das Gegenteil als wahr.

Zwei Benchmarks, eine Latenzmessung und eine Token-Messung bewegten sich alle in dieselbe Richtung - genau das Detail, das Mistral gegenüber Unternehmenskunden betont, die abwägen, ob ein gründlicherer Suchprozess den zusätzlichen technischen Aufwand wert ist.

Was 'vor Ort' für europäische Käufer tatsächlich bedeutet

Agentic Search läuft in Mistrals Cloud oder vollständig auf der eigenen Infrastruktur eines Kunden, und diese Vor-Ort-Option ist das Detail, das für europäische Unternehmen bei der Prüfung von KI-Suchanbietern unter Datenresidenz-Anforderungen am wichtigsten ist.

Die meisten KI-Produkte, die große Sprachmodelle mit Dokumentenabruf verbinden, werden ausschließlich auf US-Hyperscaler-Infrastruktur gebaut und betrieben, was europäische Käufer bei der Anbieterprüfung dazu zwingt, zu akzeptieren, dass sensible Dokumente die eigene Unternehmensumgebung verlassen. Mistral, ein französisches KI-Labor, bietet einen alternativen Bereitstellungsweg an, bei dem die Such- und Retrieval-Infrastruktur im eigenen Rechenzentrum oder in der eigenen Private Cloud eines Kunden laufen kann. Das ist ein echter und nützlicher Unterschied, und er ist enger gefasst als vollständige Datensouveränität: Eine Vor-Ort-Bereitstellungsoption beschreibt, wo die Software läuft, nicht ein unabhängiges Audit, ein bestimmtes Compliance-Zertifikat oder eine Garantie darüber, wie das zugrunde liegende Modell trainiert wurde. Unternehmen sollten dies als einen Baustein einer Anbieterprüfung behandeln, neben der eigenen Compliance-Prüfung.

Weiterlesen: 4.000 Apps in 30 Tagen: Cloudflares KI-Wette  |  Mistral teilt souveräne KI in zwei Wetten