Pular para o conteúdo principal
usedby

Regressão numérica no Apple MLX no chip A18 Pro

O framework MLX da Apple foi projetado para otimizar a inferência local, permitindo que LLMs rodem diretamente no Neural Engine e na GPU com acesso à memória unificada. Embora o iPhone 16 Pro Max seja vendido como

O pitch

O framework MLX da Apple foi projetado para otimizar a inferência local, permitindo que LLMs rodem diretamente no Neural Engine e na GPU com acesso à memória unificada. Embora o iPhone 16 Pro Max seja vendido como o hardware definitivo para o Apple Intelligence, os desenvolvedores enfrentam hoje uma forte degradação das respostas no chip A18 Pro. (Fonte: GitHub ml-explore)

Por dentro

O chip A18 Pro produz respostas “sem sentido” ao executar cargas de trabalho de LLMs locais via MLX, uma falha que não aparece no iPhone 15 Pro, mais antigo, nem no atual iPhone 17. (Fonte: GitHub ml-explore).
Uma depuração detalhada mostra que essas inconsistências numéricas estão ligadas à instabilidade de ponto flutuante (FP16) na forma como o silício trata as operações com tensores. (Fonte: Aditya Karnam/GitConnected).
Os modelos quantizados em 4 bits (Q4_K_M) oferecem um pouco mais de determinismo, mas não conseguem contornar totalmente os problemas de hardware subjacentes. (Fonte: Aditya Karnam/GitConnected).

Regressões relacionadas surgiram nos layouts de tensores do CoreML e na aritmética de ponteiros desde o iOS 26.1 Beta. (Fonte: Apple Developer Forums #8007).
Isso sugere um desalinhamento significativo entre o compilador Metal e a arquitetura NPU/GPU específica do A18 Pro.
O problema é relatado como persistente em várias arquiteturas de LLM, incluindo as camadas UNet do Stable Diffusion. (Fonte: Rafael Costa Blog).

Ainda não sabemos se se trata de um bug de kernel corrigível no iOS 26.x ou de um defeito físico de hardware que exigiria um recall.
A Apple não divulgou nenhuma declaração oficial sobre a porcentagem de unidades A18 Pro afetadas.
Embora alguns usuários no Hacker News afirmem que o problema afeta apenas uma minoria dos aparelhos, a falta de uma correção determinística está travando a implantação de IA local.

Nossa opinião

O A18 Pro é um risco para qualquer engenheiro de backend que queira levar a inferência de LLMs para a borda. Se a sua aplicação trata dados médicos ou financeiros, em que erros de “ordem de grandeza” equivalem a uma falha catastrófica, evite totalmente este aparelho.
O fato de os chips do iPhone 17 e do M4 Max continuarem sem o problema sugere que o 16 Pro Max é uma exceção de silício com um pipeline numérico quebrado.
Mude seus alvos de produção para o iPhone 17 ou para iPads da série M até que a Apple diga se isso exige uma limitação via firmware ou um programa de substituição.