O FiveThirtyEight Index usa um crawler em Python para trazer à tona 21.350 URLs únicas da API CDX da Wayback Machine, contornando o redirecionamento de todo o site implementado pela ABC News no início de 2025 (Fonte: GitHub, Editor & Publisher).
O pitch
Ben Welsh, News Applications Editor da Reuters, construiu um diretório pesquisável dos 16 anos de história do FiveThirtyEight depois que a Disney, na prática, apagou o legado da publicação. Ele oferece uma interface limpa, baseada em Svelte, para um conteúdo que os donos corporativos tentaram enterrar atrás de um redirecionamento para o ABC News Politics. Jornalistas de dados e engenheiros de backend estão usando a ferramenta para recuperar conjuntos de dados históricos que eram considerados perdidos para o “link rot” de 2025.
Por dentro
A arquitetura técnica é simples: um crawler em Python interage com a API CDX do Internet Archive para mapear a história da publicação de 2008 a 2024 (Fonte: GitHub). Esse índice funciona como um ponteiro especializado, que associa 21.350 artigos únicos aos seus instantâneos arquivados mais estáveis (Fonte: Reddit r/fivethirtyeight). Ao usar um frontend em Svelte, Welsh evita a sobrecarga da interface padrão da Wayback Machine e torna o arquivo pesquisável pela primeira vez desde o fim do site original.
No entanto, a ferramenta é um portal, não um espelho. Interativos complexos e pesados em JavaScript, como os famosos modelos da eleição de 2016 ou o interativo de “P-hacking”, continuam parcial ou totalmente quebrados (Fonte: HN). Esses ativos legados falham com frequência porque chamam scripts de backend ou arquivos JSON de dados que não foram capturados nas varreduras originais.
Há lacunas significativas na documentação atual. Além disso, o status jurídico dessa “reidratação de conteúdo” continua sem confirmação, já que não está claro se a Disney emitiu instruções atualizadas no robots.txt ou contestações jurídicas ao Internet Archive sobre esses ativos específicos.
A sobrevivência da ferramenta depende inteiramente da infraestrutura do Internet Archive. Se a Wayback Machine enfrentar mais pressão jurídica ou falhas técnicas, este índice vira um diretório de links mortos. É uma camada frágil de descoberta construída sobre um meio de armazenamento instável.
Nossa opinião
O FiveThirtyEight Index é uma peça necessária de arqueologia digital, mas evidencia a natureza precária da engenharia web moderna. Como analista de backend, acho a dependência da API CDX da Wayback Machine ao mesmo tempo elegante e perigosamente frágil. Use-o para recuperar dados históricos em texto ou verificar reportagens antigas, mas não espere que ele sirva como um ambiente confiável para rodar visualizações de dados legadas. É o catálogo da biblioteca, não a biblioteca em si.