Nivero LLM-Benchmark

Wir haben den Benchmark nicht mit echten Kundendaten durchgeführt, sondern vielmehr unsere Erfahrung der Kundendaten genutzt, um synthetische Belege und Daten zu erzeugen. Diese Daten beinhalten dieselben Fallstricke wie korrekte deutsche und europäische Geschäftsdokumente und -Belege, aber ohne dass hier Kundendaten genutzt werden.

Nein, wir veröffentlichen nur die Methodik (siehe oben) aber nicht die genauen Dokumente, Texte und Prompts. Dies hat den Hintergrund, dass wir vermeiden wollen dass die Modell-Anbieter sogenanntes "Benchmaxxing" betreiben, wie es bei anderen synthetischen Benchmarks passiert.

Nein. Er zeigt, was Modelle im generellen aktuell können. Deshalb haben wir diesen Benchmark auch in die vielen Kategorien aufgeteilt. Welche Modelle wir in welchem Prozessschritt kombinieren, entscheidet sich je Aufgabe, auch natürlich anhand unserer Erkenntnisse sowohl aus diesem Benchmark als auch der RL-Performance und weiteren umfangreichen Tests.

Die Region bezeichnet die Herkunft des LLM-Herstellers, nicht den Standort des Rechenzentrums. Ein chinesisches Open-Weight-Modell kann auf einem Frankfurter Server betrieben werden und unterliegt dann anderen Rahmenbedingungen als eine API beim Hersteller. Für die Einordnung lohnt deshalb der Blick auf beide Filter zusammen: Open-Weight-Modelle lassen sich unabhängig von ihrer Herkunft selbst hosten, proprietäre Modelle laufen immer beim Anbieter.

Aus zwei gemessenen Größen: dem tatsächlichen Token-Verbrauch des Modells über den kompletten Benchmark-Durchlauf (alle Aufgaben, drei Versuche, einschließlich Werkzeug-Dialogen und Denk-Schritten) und seinem Listenpreis je Million Tokens. Beides zusammen ergibt die Kosten eines Durchlaufs, also den Preis für dieselbe Arbeitsmenge bei jedem Modell. Geteilt durch den Gesamtscore entstehen die Kosten je Punkt.

Die Effizienz setzt den Gesamtscore ins Verhältnis zu den Tokens, die ein Modell für dieselbe Arbeitsmenge ausgibt, also Punkte je Million Ausgabe-Tokens. Höher ist besser. Wir zählen bewusst nur die Ausgabe, das also, was das Modell selbst erzeugt, inklusive Antwort und Denkschritten. Genau diese treibt in der Praxis die Antwortzeit und die laufenden Kosten je Anfrage. Anders als bei Preis/Leistung fließt hier kein Anbieterpreis ein. Ein Modell kann günstig abgerechnet werden und trotzdem viele Tokens verbrauchen, oder umgekehrt. Deshalb lohnt der Blick auf beide Spalten.

Die Effizienz fließt nicht in den Gesamtscore ein, sie ist eine eigene Sicht. Über die Spaltenüberschrift lässt sich die Tabelle danach sortieren, um Modelle zu finden, die nahezu die volle Leistung mit deutlich weniger Aufwand liefern. Ein knapp antwortendes, aber schwaches Modell kann hier weit oben stehen.

Einige Modelle stehen mehrfach in der Tabelle, mit der Denkstufe in Klammern oder als Thinking-Variante. Der Vergleich zeigt beide Richtungen. Schwächere und mittlere Modelle gewinnen mit Denkbudget oft deutlich, in unseren Messungen bis zu zwanzig Punkte, vor allem in rechenlastigen Kategorien. Sehr starke Modelle lösen dieselben Aufgaben aber schon ohne langes Nachdenken. Zusätzliche Denkschritte fügen dann keine Fähigkeit mehr hinzu, sie schaffen vor allem Gelegenheiten, eine richtige erste Antwort noch einmal zu verwerfen.

Dazu kommt unsere Wertung: Eine Aufgabe zählt nur, wenn das Modell sie dreimal hintereinander richtig löst. Lange Denkketten erhöhen die Streuung zwischen den Versuchen, und genau diese Ausreißer kosten Aufgaben. Für den Geschäftsalltag ist das die passende Messlatte, dort zählt die verlässlich richtige Antwort, nicht die gelegentlich brillante. Die Unterschiede zwischen den Denkstufen entstehen dabei überwiegend in den deterministisch geprüften Kategorien, also durch falsche Beträge, Felder oder Zuordnungen, nicht durch Geschmacksurteile der Bewertung.

Weltwissen, Kreativität oder Programmierfähigkeit. Dafür gibt es andere Benchmarks. Hier geht es um eine einzige Frage: Kann ein Modell deutsche Geschäftsprozesse so zuverlässig bearbeiten, dass man ihm Verantwortung übergeben kann?