Por que os detetores de IA modernos se enganam
Os detetores enganam-se porque medem o estilo, e o estilo não diz quem escreveu. Qualquer detetor de IA devolve um número, e apetece lê-lo como uma sentença. É só uma pista.
O detetor não sabe quem escreveu
O programa não vê como o texto foi feito. Mede, de forma mecânica, regularidades: se as frases são parecidas, quantas expressões típicas aparecem, se o texto é previsível. São indícios indiretos, e as pessoas também os produzem.
A prosa humana bem polida parece a de uma máquina
Notícias, cartas comerciais e artigos científicos seguem regras e soam uniformes. Nas nossas medições, as notícias humanas bem escritas recebiam notas altas muito mais vezes do que os comentários e as discussões espontâneas. Uma nota que não diga de que género é o texto não merece confiança.
Quem escreve numa língua que não é a materna
Quem escreve numa língua que não é a sua usa mais vezes construções simples e «corretas», ou até a tradução automática, e os detetores tomam muitas vezes esses textos por textos de máquina. Por causa destes falsos alarmes, várias grandes universidades, entre elas Yale e a Universidade de Waterloo, deixaram de usar detetores de IA integrados.
Textos curtos
Em poucas frases, muitas vezes faltam simplesmente dados. Com cem palavras ou menos, qualquer conclusão estatística é frágil, e um detetor honesto tem de o dizer.
Edição e paráfrase
Se uma pessoa corrige um rascunho feito por uma máquina, ou o passa por uma reformulação, os indícios esbatem-se. Os estudos mostram que a paráfrase faz baixar bastante a deteção em muitos detetores.
Falsos positivos em quem escreve com cuidado
Há ainda um efeito curioso. Quanto mais cuidado se tem, mais regular o texto fica, e mais depressa a nota sobe. Quem escreve à pressa passa sem problemas; quem revê, arrisca-se. No nosso corpus, as traduções feitas por voluntários deram um pouco mais de falsos positivos do que o conjunto geral, embora a diferença seja pequena. Não é motivo para alarme. Mas chega para nunca decidir com base num só número.
Género e contexto
O mesmo texto pode ter notas diferentes conforme o género. Uma ata, uma carta formal, uma descrição de produto ou um artigo científico são uniformes por natureza. Os textos promocionais e as redes sociais também fogem ao padrão habitual. Nestes casos, o serviço junta um aviso de que o sinal é pouco fiável. Um detetor que ignora o género e dá sempre um número seco convida ao erro.
O que mostram as nossas medições
Sem rodeios: numa medição com mais de cinco mil textos humanos e mais de mil de IA, a análise do serviço separou os dois grupos só de forma modesta. Com 1% de falsos positivos apanhou uma parte pequena dos textos de IA, e saiu-se pior em inglês e em português do que em russo e em ucraniano. O comprimento conta muito: entre 80 e 299 palavras o resultado é quase aleatório; a partir de 300 melhora, mas está longe de ser seguro. Os modelos recentes escapam melhor do que os primeiros assistentes. É por isso que o serviço nunca apresenta a nota como prova.
O que fazer a seguir
Veja a nota como uma pista sobre onde reler o texto com mais atenção, não como prova. Olhe para as passagens destacadas e tenha em conta o género e a extensão. Para os casos duvidosos há meios mais fiáveis: rascunhos, histórico de edições, uma conversa com o autor.
Se o resultado lhe diz respeito, o passo seguinte é a verificação, onde vê as linhas concretas e decide o que reescrever. Se está do lado de quem avalia, leia a lista justa para professores e editores. E se quer a história de um caso real, veja Quando o detetor confunde humano e IA.