A Corrida Inesperada pelos Tokens de IA

Membros do Comando de Desenvolvimento de Capacidades de Combate (DEVCOM) do Exército receberam um e-mail alarmante: o uso massivo estava esgotando os tokens, exigindo limitação. Embora o Exército tivesse anunciado “tokens ilimitados”, essa oferta se desfez em meados de junho, com o pool de recursos do CIO completamente exaurido e limites restabelecidos. A mensagem interna levantou incerteza sobre a renovação após 1º de outubro.

“Aparentemente, todo o Exército consumiu um ano inteiro de tokens para apenas um serviço.”

Essa frase de um funcionário anônimo à WIRED ilustra a velocidade do consumo. Tokens são unidades de “produção” de uma IA (texto ou imagem). Para a ferramenta em questão, o Ask Sage, um token equivale a cerca de 3,7 caracteres. O Exército contava com 100 milhões de tokens anuais via uma assinatura “enterprise pack” para o Ask Sage, um volume que se mostrou insuficiente na prática.

Ask Sage: O Coração da IA Militar e Seus Desafios

O Ask Sage é uma plataforma de IA generativa multimodal vital, operando LLMs como Gemini, Llama e ChatGPT. Essencial para as operações do Exército, é acreditado para informações não classificadas controladas (CUI) e usado pelo CDAO do DOD em aquisições. Ele auxilia em tarefas como a reclassificação de descrições de pessoal.

Curiosamente, o Exército vinha incentivando ativamente o uso da IA. Funcionários recebiam uma alocação mensal de, no mínimo, 200.000 tokens e eram automaticamente abastecidos se esgotassem a cota. Até mesmo usuários infrequentes eram encorajados a usar mais, um paradoxo diante da escassez.

A demanda pode ser colossal. Durante a Operação Epic Fury no Irã, o DOD consumiu cerca de 20 bilhões de tokens por dia, por 38 dias. Esse contraste entre o limite anual do Exército e o consumo diário do DOD em operações complexas destaca o desafio de gerir recursos em larga escala.

O Futuro da IA na Defesa: Prioridades e Gestão

Nem o Exército, nem o DOD ou o Ask Sage responderam aos pedidos de comentário. Permanece a dúvida se os tokens de uso geral vêm do mesmo pool dos usados em informações classificadas.

Mesmo com esses desafios, o foco do DOD na IA não diminui. O Pentágono investe massivamente, inclusive reduzindo a equipe do Centro de Excelência para Proteção Civil. Tarefas humanas na prevenção de vítimas civis estão sendo gradualmente substituídas por IA que visa acelerar essas avaliações, priorizando a eficiência sobre o recurso humano em certas áreas.

O episódio dos tokens no Exército ressalta um desafio crucial na adoção de IA em larga escala: a gestão eficaz de recursos. Prever e administrar o consumo de forma sustentável torna-se tão vital quanto a inovação tecnológica, moldando o futuro da IA em organizações complexas como as forças armadas.