Mestrados em Direito têm viés em relação à cultura japonesa - aqui está um resumo do estudo.

Os modelos de IA de ponta possuem um tipo cultural, e, de acordo com uma nova pesquisa, esse tipo é o japonês. Quando se faz uma pergunta aberta sobre cultura a um modelo de linguagem de grande porte, sem mencionar um país específico, ele tende a recorrer a exemplos japoneses com mais frequência do que a qualquer outro, uma tendência que se repete em oito modelos principais e 24 idiomas.

A descoberta vem de um relatório publicado em abril por pesquisadores da Universidade do País Basco e da Universidade de Cardiff. Eles criaram um conjunto de testes multilíngue com 31.680 perguntas abertas, mas culturalmente fundamentadas, abrangendo 66 subtópicos culturais em 11 domínios mais amplos. As perguntas abordavam temas como quais lendas explicam a região, qual o papel dos vizinhos, quais disciplinas escolares têm maior peso e o que as pessoas comem nas refeições do dia a dia. Nenhuma delas mencionava um país. Após cada pergunta, o modelo tinha que escolher uma região e responder com exemplos específicos.

Os modelos não apenas penderam ligeiramente para o Japão. O artigo descreve uma "proeminência desproporcional do Japão" nas respostas, consistente o suficiente para se manter em toda a extensão das 24 línguas, em vez de se concentrar nos resultados de uma única região.

O objetivo do projeto era expor o que os modelos acreditam por padrão.

"Isso garante que quaisquer pressupostos regionais ou culturais surjam das premissas internas do modelo, em vez de serem influenciados pelo seu projeto."

— Os pesquisadores

O idioma também influenciou a precisão dos modelos. O artigo relata que, em inglês e outros idiomas com muitos recursos, os modelos forneceram respostas mais variadas e dependeram menos do país associado ao idioma de entrada. Idiomas com menos recursos deixaram os modelos com menos argumentos, fazendo com que recorressem mais a soluções padrão.

O primeiro padrão é o mais óbvio. Pergunte em francês, obtenha a França; pergunte em japonês, obtenha o Japão. Os modelos tendem a escolher o país que corresponde ao idioma da pergunta. O interessante é o que acontece quando um modelo olha além do seu país de origem. Quando buscou uma referência externa, escolheu o Japão. Seis dos oito modelos preferiram o Japão nessas respostas exógenas. Os Estados Unidos ficaram em segundo lugar, seguidos pela Índia, China e França. Em todos os 24 idiomas, o Japão venceu em sete dos 11 tópicos culturais, uma vez que o país de origem de cada idioma foi deixado de lado.

Os modelos testados foram ChatGPT, Gemini, Claude, Meta Llama, Command-r, Magistral, Qwen e DeepSeek, portanto, não se trata de uma peculiaridade de um único laboratório. Os pesquisadores descrevem o problema como uma questão de concentração, com os resultados se agrupando em um pequeno conjunto de regiões dominantes. Essa discrepância é o que torna o resultado mais do que uma mera nota de rodapé: mesmo modelos de laboratórios chineses e europeus, respondendo em seus próprios idiomas, convergiram para a mesma lista restrita.

A atração pelo Japão não é difícil de explicar. Animes, mangás, franquias de jogos e culinária estão entre os elementos culturais mais exportados e discutidos online há anos, e os modelos aprenderam com essa mesma fonte. O longo hábito da internet de romantizar a mídia japonesa não desapareceu quando os dados de treinamento foram coletados; ele foi codificado. O que os dados acrescentam é um número: não se trata de uma impressão passageira, mas de uma inclinação mensurável que persiste mesmo após a tradução para mais de vinte idiomas.

Eu administro uma conta sobre IA, e "os modelos são otakus" é o resumo de pesquisa mais engraçado que li o ano todo. A piada se faz sozinha: a internet passou décadas obcecada por anime e comida japonesa, as máquinas aprenderam com essa internet e agora também têm um país favorito. A descoberta por trás da piada é mais sutil e útil.

O estudo não se limitou a nomear o viés. Ele questionou quando o viés aparece. A equipe comparou as saídas do modelo antes e depois do ajuste de instruções, a etapa de treinamento que ensina um modelo bruto a responder de forma útil em vez de apenas produzir texto gramaticalmente correto. Para essa comparação, eles usaram as respostas em inglês de Meta Llama, Qwen, Gemma e Mistral, verificando cada uma antes e depois da etapa de ajuste. Antes do ajuste, os modelos base tinham um paladar mais amplo. Os Estados Unidos ainda apareciam com frequência, mas também o Japão, a Índia, a China e vários países europeus, distribuídos por um mapa mais amplo.

Após o ajuste, o mapa diminuiu de tamanho.

"Em todas as famílias de modelos examinadas, o ajuste das instruções aumenta significativamente o alinhamento com os Estados Unidos e o Japão, ao mesmo tempo que reduz as referências à maioria dos outros países."

— Os pesquisadores

O efeito foi mais forte nos modelos que passaram por ajuste fino supervisionado, onde um modelo aprende com exemplos selecionados de respostas corretas, frequentemente escritas ou escolhidas por pessoas. Essa etapa, descobriram os pesquisadores, direciona os resultados para algumas regiões dominantes, e o alinhamento posterior apenas os ajusta ligeiramente. A homogeneização não está presente nos dados brutos da internet; ela é adicionada posteriormente, quando os humanos decidem o que constitui uma boa resposta.

O viés em relação ao Japão é um sintoma, e a parte à qual sempre retorno é mais sutil: uma ferramenta global está homogeneizando as culturas do mundo em dois ou três padrões predefinidos. O artigo observa que isso se aplica até mesmo a modelos construídos fora do Ocidente, portanto, não se trata simplesmente de empresas americanas exportando o gosto americano. Algo no próprio processo de ajuste recompensa a resposta segura e dominante.

O estudo apresenta isso como um alerta prático, e não como uma curiosidade. Para ferramentas utilizadas em diversas culturas, argumentam os pesquisadores, preservar uma gama de perspectivas culturais "pode ser crucial". Isso é especialmente importante nos contextos em que esses sistemas são utilizados por padrão: buscas, tutoria, tradução e as respostas cotidianas que as pessoas aceitam sem questionamento.

Não acho que seja um escândalo, e isso não torna os modelos inúteis. É um lembrete de que o padrão "neutro" de um modelo é uma escolha que alguém fez, e essa escolha tende ao familiar.

Leia também: O YouTuber sammyuri construiu uma versão funcional do ChatGPT dentro do Minecraft usando apenas redstone vanilla, uma máquina de 439 milhões de blocos executando um pequeno modelo de 5 milhões de parâmetros com memória de 64 tokens; pode levar horas para produzir uma única resposta e frequentemente retorna mensagens sem sentido, mas como prova de conceito, é impressionante.

E a cena de mods de Cyberpunk 2077 continua expandindo o jogo, com um novo mod adicionando um machado de batalha brutal que utiliza os sistemas de sangue e desmembramento já existentes, e outro integrando a API da OpenAI à Night City para que os modders possam gerar diálogos de NPCs, missões secundárias e comportamento adaptativo de inimigos em tempo real.