Burstiness e perplexidade sem matemática

Perplexidade é uma medida de quão previsível um texto é. Burstiness mede quanto essa previsibilidade, e o tamanho das frases, oscila de uma ponta à outra. Os dois termos andam em todas as conversas sobre detetores de IA e ambos dizem alguma coisa, só que bem menos do que se costuma pensar.

Perplexidade: quão previsível é a próxima palavra

Experimente ler «O café da manhã estava quente e o pão acabado de...». Quase toda a gente acrescenta «fazer» ou «sair». A frase tem perplexidade baixa, porque a palavra seguinte quase se adivinhava. Se acabar em «...de ressuscitar», já ninguém estava à espera, e a perplexidade dispara.

É este o jogo que um modelo de linguagem joga, palavra a palavra. Os modelos de IA tendem a escolher a palavra mais provável, e por isso o que escrevem costuma ser, em média, mais previsível. Daí vem a ideia de que perplexidade baixa cheira a máquina.

Só que a ideia tem um furo evidente. Um manual de instruções, uma receita ou uma carta formal também são previsíveis, e muito, porque o género pede isso. E quem escreve de forma simples e clara usa palavras comuns. Ser previsível não faz de ninguém um robô.

Burstiness: o texto em rajadas

A palavra inglesa quer dizer, mais ou menos, «feito de rajadas». Quando conversamos, alternamos: uma frase curta e seca, depois uma comprida e cheia de desvios, depois outra curta. Há momentos de surpresa e momentos de calma. Esse sobe e desce é a burstiness.

O texto de IA, sobretudo o das primeiras gerações, era mais plano. Frases do mesmo tamanho, parágrafos do mesmo tamanho, a mesma temperatura do princípio ao fim. É a isto que se refere quem fala de burstiness baixa.

O que o AuthorText mede, com outros nomes

O serviço não calcula a perplexidade de um modelo de linguagem. Mede coisas mais simples, que apanham uma parte da ideia:

• Variação do tamanho das frases e dos parágrafos. É o parente mais chegado da burstiness. Se quase todas as frases têm o mesmo comprimento, a pontuação sobe. E este é, já agora, um dos sinais que mais pesam.
• Repetição e entropia. Quando as mesmas palavras e construções regressam vezes sem conta, o texto fica mais previsível, e isso faz lembrar a perplexidade baixa.
• Expressões feitas e conectores. Cada «importa salientar» é uma escolha previsível. A leitura dos números explica cada barra.

Fica de fora a parte que precisa de um modelo, a de saber quão provável era cada palavra em concreto. Há investigadores que medem a oscilação dessa surpresa ao longo do texto, como o grupo do DivEye, descrito em O que há de novo na deteção de textos de IA. Os resultados que apresentam são afirmações dos autores, que nós não reproduzimos.

Um exemplo pequeno (inventado)

É só um exemplo para ilustrar, não um texto medido.

Texto A: «O produto é eficaz. O produto é simples. O produto é económico. O produto é útil para todos.» Quatro frases quase iguais, a mesma estrutura, o mesmo comprimento. Burstiness baixa, repetição alta.

Texto B: «Comprei-o a pensar que ia falhar. Não falhou. Passados três meses, continua na gaveta da cozinha, ao lado da colher de pau que a minha mãe jurou nunca emprestar.» Uma frase curta, outra curtíssima, e uma comprida, cheia de pormenor.

Qualquer análise de estilo escolheria o B como «mais humano». Mas uma IA a quem se peça «escreve com ritmo irregular» consegue fazer o B, e uma pessoa que está a redigir um manual consegue fazer o A.

Porque é que são provas fracas, mesmo juntas

• O género manda. Notícias, atas e textos científicos são regulares por natureza. Nas nossas medições, as notícias humanas bem escritas recebiam muitas vezes notas altas.
• Textos curtos não chegam. Com poucas frases não há como medir a variação com segurança. Entre 80 e 299 palavras, o nosso resultado é quase aleatório.
• A edição apaga rastos. Um texto humano editado por um modelo quase nunca é assinalado, e a paráfrase esbate os sinais.
• Os modelos mudam. Os mais recentes são menos planos do que os primeiros.

Por isso a nossa pontuação é uma pista e nunca uma prova. As razões estão em Por que os detetores de IA se enganam.

O que fazer a seguir

Quer ver onde o seu texto é plano? Cole-o na verificação e abra a lista de provas: cada linha assinalada diz porquê. Releia essas passagens em voz alta e decida você, com a sua cabeça, se precisam de ritmo ou se estão bem assim. E se o texto for de outra pessoa, não decida com base num número só. Veja antes a lista justa para professores e editores.