Meta planeja expansão massiva de IA com 1,3 milhão de GPUs e data center recorde

A corrida pela supremacia da IA está se intensificando, e a Meta está fazendo movimentos ousados para permanecer à frente. O CEO Mark Zuckerberg anunciou que a empresa planeja terminar 2024 com mais de 1,3 milhão de GPUs — mais que o dobro do estoque atual de GPUs empresariais. Essa expansão visa acelerar o desenvolvimento dos recursos de IA da Meta, incluindo o próximo modelo Llama 4, que rivalizará com o ChatGPT da OpenAI e o Gemini do Google.

Crédito da imagem: David Paul Morris | Bloomberg via Getty Images

As metas ambiciosas da Meta incluem alimentar assistentes de IA para mais de um bilhão de usuários e criar um "engenheiro de IA" capaz de contribuir diretamente para os esforços de pesquisa e desenvolvimento. Para dar suporte a essas iniciativas, Zuckerberg revelou planos para construir um enorme data center capaz de abrigar 1 gigawatt de poder de computação até o final do ano, com uma capacidade final superior a 2 gigawatts — uma escala sem precedentes na computação de IA. Espera-se que a instalação abranja uma área comparável a uma parte significativa de Manhattan e fará parte de um investimento de capital de US$ 65 bilhões em 2025.

Este movimento ocorre em meio a uma competição acirrada. O supercomputador de IA de Elon Musk, baseado em Memphis, está mirando 1 milhão de GPUs, enquanto o Projeto Stargate de US$ 500 bilhões de Sam Altman visa construir data centers dedicados à IA nos EUA. A Microsoft também comprometeu US$ 80 bilhões para infraestrutura habilitada para IA, incluindo a reinicialização de uma instalação nuclear para atender às demandas de energia.

À medida que os requisitos de energia para data centers de IA disparam, com algumas projeções chegando a 5 gigawatts, a corrida da computação de IA não mostra sinais de desaceleração. Os investimentos da Meta destacam seu comprometimento em liderar a próxima geração de inovação tecnológica.

Llama, ou Large Language Model Meta AI, é uma série de modelos de linguagem autorregressivos desenvolvidos pela Meta AI, lançados pela primeira vez em fevereiro de 2023. O modelo Llama inicial estava disponível apenas como um modelo de base, com pesos restritos a organizações acadêmicas e de pesquisa sob uma licença não comercial. Apesar do acesso restrito, os pesos do modelo vazaram online logo após seu lançamento, gerando debates sobre acessibilidade e uso indevido no desenvolvimento de IA.

O Llama 2, lançado em julho de 2023, marcou uma virada ao incluir modelos ajustados para bate-papo e expandir seu licenciamento para permitir certos usos comerciais. Ele também melhorou o desempenho ao treinar em 40% mais dados do que seu antecessor. Em agosto de 2023, a Meta lançou o Code Llama, uma variante projetada especificamente para tarefas de codificação, demonstrando a versatilidade da plataforma.

O Llama 3, revelado em abril de 2024, expandiu os limites ainda mais com recursos multilíngues e multimodais, raciocínio aprimorado e janelas de contexto estendidas. Seu maior modelo, com 70 bilhões de parâmetros, foi pré-treinado em 15 trilhões de tokens, superando concorrentes como o Gemini Pro 1.5 em benchmarks importantes. Em julho de 2024, o Llama 3.1 introduziu uma versão inovadora de 405 bilhões de parâmetros, estabelecendo ainda mais a posição da Meta no cenário de IA.

Ao longo de suas iterações, a Llama impulsionou avanços nos assistentes virtuais e ferramentas de codificação da Meta, ao mesmo tempo em que impulsionou a inovação em sistemas de IA multilíngues e multimodais.