GPT-4o Mini: Neues Modell mit Leistungsupgrade und günstigen Preisen

KI-Benchmarks dienen dem Zweck, die Leistung und Fähigkeiten von KI-Modellen zu bewerten. OpenAI hat im Rahmen der Bekanntmachung zum neuen Sprachmodell GPT-4o Mini auf seiner Website eine Grafik mit Bezug zu KI-Benchmarks hochgeladen.

Diese Grafik zeigt pro Benchmark eine Bewertung in Prozent. Die Bewertung gibt Auskunft darüber, wie akkurat Sprachmodelle Aufgaben aus bestimmten Leistungsbereichen durchführen.

Teil des Vergleichs von OpenAI sind unter anderem GPT-3.5 Turbo, GPT-4o Mini, Google Gemini 1.5 Flash und Claude 3 Haiku. Ehe wir die Grafik aufführen und auswerten, erläutern wir zunächst für ein umfassendes Verständnis die Bedeutung der KI-Benchmarks:

• MMLU (Massive Multitask Language Understanding): Dies ist eine der wichtigsten Benchmarks, denn sie bewertet das Allgemeinwissen und die Fähigkeiten zur Problemlösung. MMLU umfasst diverse Fachgebiete – von Naturwissenschaften über Kultur bis hin zur Unterhaltung.
• GPQA: Dies ist ein von Google geschaffener Satz mit Hunderten von Multiple-Choice-Fragen. Die Fragen sind auf Graduierten-Niveau und fordern die KI immens. Je besser sie abschneidet, umso mehr ist die KI in der Lage, besonders schwierige und spezifische Fragen korrekt zu beantworten.
• DROP: Diese KI-Benchmark ist in Bewertungsverfahren weniger wichtig. Sie dient dazu, zu prüfen, ob ein Sprachmodell in der Lage ist, Inhalte über eine Länge von mehreren Absätzen zu verstehen und korrekte Schlussfolgerungen abzuleiten.
• MGSM (Mehrsprachige Mathematik für die Grundschule): Das mathematische Niveau beim Test dieser KI-Benchmark ist gering, trotzdem ist der Test nützlich. Aufgaben werden in mehreren Sprachen gestellt, sodass die Fähigkeit der KI zum Verständnis und zur Verarbeitung numerischer Aufgaben in mehreren Sprachen getestet werden kann.
• Math: Dieser Test dient der vollumfassenden Prüfung der mathematischen und logischen Fähigkeiten eines Sprachmodells. Es handelt sich quasi um einen allgemeinen Mathe-Test.
• Human Eval: Mit dieser KI-Benchmark werden die Fähigkeiten von Sprachmodellen zur Generierung von Programmiercodes untersucht. Das KI-Modell muss im Rahmen des Tests weit über 100 Programmieraufgaben lösen. Die Funktionsfähigkeit des Codes wird von einer Software geprüft.
• MMMU (Massive Multi-Discipline Multimodal Understanding and Reasoning): Diese KI-Benchmark ist speziell für multimodale Sprachmodelle vorgesehen und somit für das Modell GPT-4o Mini relevant. KI-Modelle werden auf College-Niveau einem genauen Check ihrer multidisziplinären Fähigkeiten unterzogen.
• MathVista: Mithilfe dieser Metrik lassen sich die mathematischen Fähigkeiten von KI-Modellen in visuellen Kontexten untersuchen und bewerten. Ein Beispiel hierfür ist die Fähigkeit einer KI, mathematische Grafiken auszuwerten und die richtigen Schlussfolgerungen daraus zu ziehen.

Die folgende Grafik zeigt nun, dass das Modell GPT-3.5 Turbo in den KI-Benchmarks MMLU, GPQA, DROP, MGSM und Human Eval den Konkurrenten Google Gemini 1.5 Flash und Claude 3 Haiku unterlegen war, und Entwickler dennoch wesentlich mehr kostete. In den KI-Benchmarks MMMU und MathVista ließ GTP-3.5 Turbo sich nicht auswerten, da das KI-Sprachmodell keine entsprechenden Fähigkeiten hatte. Somit war GPT-3.5 Turbo seiner Konkurrenz in puncto KI-Benchmarks klar unterlegen.