Zum Hauptinhalt springen
usedby

Percepta: Ausführung von C-Code in den Gewichten eines Transformers

Percepta hat einen spezialisierten Decoding-Pfad vorgeführt, mit dem LLMs beliebigen C-Code intern ausführen, mit mehr als 33.000 Tokens pro Sekunde auf handelsüblicher CPU-Hardware (percepta.ai).

Das Versprechen

Percepta hat einen spezialisierten Decoding-Pfad vorgeführt, mit dem LLMs beliebigen C-Code intern ausführen, mit mehr als 33.000 Tokens pro Sekunde auf handelsüblicher CPU-Hardware (percepta.ai). Das Projekt will externe Schleifen für Tool-Aufrufe durch verinnerlichte symbolische Berechnung ersetzen. So wird der Transformer selbst zu einer deterministischen Ausführungsumgebung. Dieser Architekturwechsel zielt auf die Latenzengpässe in heutigen agentischen Workflows, indem er die Ausführungslogik direkt in den Attention-Mechanismus einbettet (percepta.ai).

Unter der Haube

Das System nutzt einen Mechanismus namens „Exponentially Fast Attention“, der lineare Durchläufe durch den Kontext durch logarithmische Abfragen ersetzt (percepta.ai). Dadurch kann das Modell Ausführungsspuren mit deutlich geringerem Aufwand verarbeiten als bei klassischer autoregressiver Generierung.

  • Das Team hat die Ausführung des Ungarischen Algorithmus für ein Zuordnungsproblem der Größe 10x10 verifiziert und dabei auf einer CPU 33.583 tok/s erreicht (percepta.ai).
  • Percepta Labs ist ein Unternehmen aus Philadelphia in der Seed-Phase, mit etwa 1–10 Beschäftigten und einer Finanzierung von 1 Mio. US-Dollar (Tracxn).
  • Nutzer auf Hacker News fragen, ob die internen Simulationen dieselben stochastischen Fehler aufweisen wie gewöhnliche LLM-Ausgaben (HN Comment).
  • Das Risiko, dass es sich um „Vaporware“ handelt, ist hoch, da die proprietäre Attention-Variante keinem Belastungstest durch Dritte unterzogen wurde (HN Comment).

Wir wissen noch nicht, ob die Gewichte für „Exponentially Fast Attention“ oder der nötige Compiler von C zu Tokens für eine öffentliche Prüfung freigegeben werden (missing_info). Außerdem gibt es keine Daten, die den Speicherbedarf dieser internen Register mit dem KV-Cache-Bedarf von GPT-5 oder Claude 4.5 Opus vergleichen (missing_info).

Unsere Einschätzung

Verzichten Sie im Produktivbetrieb darauf, behalten Sie aber die Whitepaper im Blick. Eine Turingmaschine in den Gewichten eines Transformers zu verinnerlichen, ist eine beeindruckende technische Leistung. Der praktische Nutzen gegenüber üblichen Tool-Aufrufen ist für den Einsatz in Unternehmen aber unbewiesen. Ein Team von weniger als zehn Personen mit 1 Mio. US-Dollar Finanzierung wird kaum den langfristigen Support leisten, den ein Umbau der Kerninfrastruktur braucht (Tracxn). Es ist eine elegante Art, ein Forschungsbudget auszugeben, aber die meisten von uns hätten lieber ein stabiles Binary und ein Bier.