Pesquisador da Microsoft apresenta argumento, baseado em cabras, contra tratar mestres em direito como pessoas.

O pesquisador de IA da Microsoft, Adrian de Wynter, construiu uma rede neural funcional dentro do Age of Empires 2 e a usou para argumentar que as pessoas atribuem características humanas a grandes modelos de linguagem com muita facilidade. Ele apresentou o resultado em um artigo intitulado "Se os Modelos de Linguagem Complexos Têm Atributos Semelhantes aos Humanos, Então o Age of Empires II Também Tem", um título escolhido propositalmente para soar ridículo. A construção e o raciocínio por trás dela foram relatados pela 404 Media.

De Wynter montou o sistema no editor de cenários do jogo, usando objetos do jogo para representar os binários do computador. A grama representa 0, as pontes representam 1 e as cabras atuam como os bits que se movem pelo circuito. A partir dessas peças, ele construiu uma porta lógica NÃO AND funcional e um perceptron de 1 bit, a forma mais simples de rede neural. Vídeos da máquina movida a cabras em funcionamento estão em sua página do GitHub e, para quem assiste, o processo parece desconcertante. Essa confusão é justamente a intenção.

As operações que impulsionam a configuração do AoE 2 são, em sua essência, da mesma classe de operações que ferramentas como ChatGPT e Claude. A diferença está na base. Como as entradas são cabras e grama em vez de frases, ninguém que observa se sente tentado a chamar a saída de humana. Remova a linguagem natural e a ilusão de uma mente desaparece junto.

De Wynter disse à 404 Media que tende a levar uma ideia ao limite quando quer que ela seja bem-sucedida, e que o absurdismo tem uma longa história na filosofia e na ciência da computação teórica. A escolha de Age of Empires 2 foi deliberada. Jogadores já construíram lógica e redes neurais em circuitos de redstone no Minecraft, então ele queria um cenário que ninguém associasse à computação para tornar a demonstração mais estranha e mais difícil de ser ignorada.

Sua preocupação declarada é metodológica. No documento, de Wynter escreve que revisou por pares mais de 300 artigos de ciência da computação nos últimos dois anos e que mais da metade deles partia do pressuposto de que os LLMs (Libras de Aprendizagem por Materiais) possuem características semelhantes às humanas. Ele enquadra isso como um problema para a própria pesquisa, já que partir de uma premissa não comprovada distorce tudo o que se segue.

"Proponho que paremos de presumir que os LLMs se comportam como humanos apenas porque foram treinados com linguagem natural. Em vez disso, devemos realizar experimentos que nos permitam ver os LLMs como eles são, e não como acreditamos que deveriam ser."

— Adrian de Wynter

Acredito que a metáfora da cabra funciona melhor do que uma refutação direta, porque força o leitor a observar a mesma matemática sem o conforto das palavras que a envolvem. A defesa de tratar os Modelos de Aprendizagem Linear (LLMs) como conscientes se baseia fortemente no tom, e o tom é exatamente o que a linguagem natural fornece e a grama não. A distinção feita por De Wynter entre o que define um modelo — a relação entre os pesos sob alguma operação — e o que ele é percebido como tal é a distinção que ele deseja que a área mantenha.

Nem todos que trabalham nessa área chegam à mesma conclusão. Em janeiro, a filósofa da Anthropic, Amanda Askell, afirmou no podcast Hard Fork que a questão da consciência da IA ainda não está resolvida, conforme relatado pelo Business Insider. Askell, que trabalha na definição do comportamento de Claude, disse que se inclina mais a acreditar que os modelos podem sentir coisas, justamente porque são treinados com uma enorme quantidade de textos escritos por humanos, repletos de descrições de emoções e experiências internas.

Seu raciocínio utiliza os mesmos dados de treinamento que de Wynter menciona, mas chega à conclusão oposta. Quando um humano erra um problema de programação, frequentemente expressa frustração, e Askell argumentou que faz sentido que um modelo treinado com essas conversas espelhe essa reação. Ela reconheceu que os cientistas ainda não sabem o que produz a senciência, se ela requer biologia, evolução ou algo mais, e que redes neurais suficientemente grandes poderiam começar a emulá-la.

Vejo as duas posições como menos contraditórias do que parecem à primeira vista, já que ambas se baseiam na admissão de que ninguém pode provar atualmente o que acontece dentro desses sistemas. O argumento de De Wynter é mais restrito do que a afirmação de que as máquinas nunca podem sentir. Ele se opõe à importação dessa suposição antes da realização dos experimentos, e suas cabras são uma forma de reduzir a questão às próprias operações. Askell, por sua vez, considera o problema da consciência genuinamente difícil, embora não esteja resolvido em nenhum dos sentidos.

O que de Wynter construiu não é um chatbot de verdade, e ele não finge que seja. É uma máquina de 1 bit feita de animais e terreno, montada para mostrar que a matemática que as pessoas consideram convincente no ChatGPT é a mesma matemática que consideram absurda quando cabras a executam. O comportamento não mudou. Apenas a fantasia.

Leia também: A Microsoft estaria se preparando para fechar pelo menos dois estúdios do Xbox este ano, com a Kotaku noticiando que a Compulsion Games, desenvolvedora de South of Midnight e vencedora de sete Canadian Game Awards, incluindo Jogo do Ano, estaria fechando quase ao mesmo tempo em que Craig Duncan, chefe do Xbox Game Studios, deixou a empresa após menos de dois anos.