Das Versprechen
Die ARC Prize Foundation hat gestern ARC-AGI-3 veröffentlicht. Der Benchmark für allgemeine künstliche Intelligenz verlagert sich damit vom statischen Mustervergleich zur interaktiven Entdeckung von Regeln. Die Modelle müssen sich in über 1.000 neuen Spielumgebungen zurechtfinden, deren zugrunde liegende Mechanik vorab nicht erklärt wird (Quelle: arcprize.org).
Unter der Haube
Kern dieses Updates ist der Wechsel von den statischen Rastern der früheren Versionen ARC-1/2 zu einem prozeduralen Ausführungsmodell. Agenten werden in über 150 handgefertigte Umgebungen gesetzt und müssen Aktionen ausführen, um die Logik der Welt abzuleiten. Gemessen wird die Leistung mit der Relative Human Action Efficiency (RHAE). Diese Kennzahl vergleicht die Anzahl der Schritte, die eine KI zum Lösen eines Rätsels braucht, mit einer menschlichen Referenz (arXiv:submit/7403127).
Aktuelle Frontier-Modelle tun sich mit diesem Wechsel sehr schwer. Trotz ihrer hohen Leistung bei früheren Benchmarks erreichen GPT-5 und Claude 4.5 Opus in den ersten Auswertungen vom März 2026 derzeit weniger als 1 % (Quelle: Reddit r/accelerate). Das zeigt, dass sie Logik nicht in Echtzeit verallgemeinern können, obwohl sie statische Denkaufgaben relativ leicht bewältigen.
In der technischen Community zeichnen sich derzeit drei große Streitpunkte ab:
- Kritiker auf Hacker News argumentieren, dass die menschliche Referenz für RHAE von Spitzen-Rätsellösern stammt. Das setzt die Messlatte für „durchschnittliche“ Intelligenz künstlich hoch.
- Es gibt erhebliche Bedenken wegen künftiger Datenkontamination, sobald diese interaktiven Mechaniken in Trainingsdaten einfließen (HN thread).
- Skeptiker wie scaling01 auf X behaupten, die Referenz sei aus der zweitbesten menschlichen Leistung im ersten Durchlauf „herausgepickt“, um die Werte der KI zu drücken.
Zu bestimmten Hardware- oder Modellvarianten wissen wir noch nicht, wie das Mittelklassemodell Claude 4 Sonnet abschneidet, denn die aktuellen Daten decken nur die Spitzenmodelle Opus 4.5 und GPT-5 ab. Zudem bleibt der vollständige private Evaluierungsdatensatz für das Preisgeld von 850.000 US-Dollar der ARC Prize Foundation vorbehalten, um Manipulationen der Rangliste zu verhindern (Kaggle).
Unsere Einschätzung
ARC-AGI-3 ist ein notwendiger Realitätscheck für die Branche. Das Marketing von OpenAI und Anthropic mag nahelegen, dass wir kurz vor AGI stehen. Ein Wert von <1 % bei einem neuen interaktiven Rätsel beweist jedoch, dass unsere aktuellen Modelle weitgehend ausgefeilte statistische Spiegel sind und keine flexiblen Denker.
Es ist ein spezialisiertes Forschungswerkzeug für Benchmarks, kein Hilfsmittel für Ihren Produktions-Stack. Wenn Ihr Lead Dev behauptet, GPT-5 könne neue Grenzfälle der Architektur „durchdenken“, lassen Sie es eine ARC-AGI-3-Umgebung durchlaufen und sehen Sie zu, wie es scheitert. Verschieben Sie jede Integration, bis Modelle mindestens die Effizienzschwelle von 10 % überschreiten, ohne nativ auf die Mechanik der Rätsel trainiert worden zu sein.