O pitch
A ARC Prize Foundation lançou ontem o ARC-AGI-3, levando o benchmark de inteligência artificial geral do reconhecimento estático de padrões para a descoberta interativa de regras. Ele obriga os modelos a navegar por mais de 1.000 ambientes de jogo inéditos, cujas mecânicas não são explicadas de antemão (fonte: arcprize.org).
Por dentro
O cerne desta atualização é a passagem das grades estáticas dos antigos ARC-1/2 para um modelo de execução procedural. Os agentes são colocados em mais de 150 ambientes criados à mão e precisam agir para deduzir a lógica do mundo. O desempenho é medido pela Relative Human Action Efficiency (RHAE), uma métrica que compara o número de passos que uma IA leva para resolver um quebra-cabeça com uma referência humana (arXiv:submit/7403127).
Os modelos de fronteira atuais estão com muita dificuldade nesta transição. Apesar do alto desempenho em benchmarks anteriores, o GPT-5 e o Claude 4.5 Opus pontuam hoje abaixo de 1% nas avaliações iniciais de março de 2026 (fonte: Reddit r/accelerate). Isso indica uma incapacidade de generalizar a lógica em tempo real, embora esses modelos lidem com tarefas de raciocínio estático com relativa facilidade.
Vemos hoje três grandes pontos de atrito na comunidade técnica:
- Críticos no Hacker News argumentam que a referência humana usada na RHAE vem de solucionadores de quebra-cabeças de elite, o que cria uma régua artificialmente alta para a inteligência “média”.
- Há preocupações significativas com a futura contaminação de dados quando essas mecânicas interativas forem incorporadas aos conjuntos de treinamento (thread no HN).
- Céticos como scaling01, no X, afirmam que a referência foi “escolhida a dedo” a partir do segundo melhor desempenho humano na primeira tentativa, para rebaixar as pontuações das IAs.
Quanto a variações específicas de hardware ou de modelo, ainda não sabemos como se sai o Claude 4 Sonnet, de nível intermediário, já que os dados atuais cobrem apenas os modelos topo de linha Opus 4.5 e GPT-5. Além disso, o conjunto completo de avaliação privada usado para o prêmio de US$ 850.000 continua restrito à ARC Prize Foundation, para evitar manipulação do ranking (Kaggle).
Nossa opinião
O ARC-AGI-3 é um choque de realidade necessário para o setor. Embora o marketing da OpenAI e da Anthropic sugira que estamos perto da AGI, uma pontuação <1% em um quebra-cabeça interativo inédito prova que nossos modelos atuais ainda são, em grande parte, espelhos estatísticos sofisticados, e não raciocinadores fluidos.
É uma ferramenta de pesquisa especializada para benchmarks, não um utilitário para sua stack de produção. Se seu Lead Dev afirma que o GPT-5 consegue “raciocinar” sobre casos-limite de arquitetura inéditos, coloque-o em um ambiente do ARC-AGI-3 e veja-o desmoronar. Adie qualquer plano de integração até que os modelos consigam pelo menos passar do limiar de 10% de eficiência sem terem sido treinados nativamente nas mecânicas dos quebra-cabeças.