Como ler os números da análise do AuthorText

A página de resultado mostra uma pontuação, uma faixa e várias barras. Vou explicar em palavras simples o que cada uma quer dizer e até onde vale a pena confiar nelas.

A pontuação é uma pista

A pontuação vai de 0 a 100 e diz quantas marcas de texto de máquina a análise encontrou. É uma heurística, não uma medição de autoria. Repetimo-lo em todo o lado de propósito, porque é o facto mais importante da página.

Variação do tamanho das frases

Quem escreve não é regular. Sai uma frase comprida com uma ou duas ressalvas, a seguir uma curta, depois uma média. O texto de máquina, sobretudo o dos primeiros modelos, tende a manter as frases do mesmo tamanho.

A análise mede isto com o coeficiente de variação, ou seja, quanto os tamanhos das frases se afastam da média. Pouca dispersão soma pontos, muita não soma nenhum. Também se lhe chama burstiness, e é o sinal que mais pesa na pontuação. Os parágrafos medem-se do mesmo modo, e quando os dois são uniformes há um bónus conjunto.

Repetição

Palavras repetidas, inícios de frase iguais, o mesmo molde de cabeçalho em todas as secções. A análise conta quantas vezes os padrões regressam. Num texto técnico alguma repetição é normal, por isso este sinal é só uma parte do quadro.

Expressões típicas

A análise tem uma lista de expressões feitas em português, inglês, russo e ucraniano, repartida em níveis conforme o quanto são típicas. Entram aqui as fórmulas de abertura que anunciam o assunto antes de o tratar e as afirmações vagas sobre o "papel importante" de tudo. Cada ocorrência aponta para um número de linha na lista de indícios.

Densidade de conectores

São as palavras que prendem uma frase à vizinha e mostram o passo seguinte do raciocínio. O texto de máquina gosta de as pôr em abundância e bem distribuídas. Uma pessoa, muitas vezes, limita-se a começar a frase seguinte.

Um pequeno exemplo

É uma ilustração inventada, não são dados reais.

O projeto é importante. A equipa é grande. O plano é claro. O objetivo é simples. O resultado é bom.

Cinco frases de três a quatro palavras. O ritmo é quase plano, a variação é baixa e este sinal pontuaria. Agora uma reescrita:

O projeto importa. Porquê? Porque a equipa, que num ano passou de três pessoas para doze, tem finalmente um plano que qualquer um explica de uma assentada. O objetivo é simples.

Aqui os tamanhos vão de uma palavra a mais de vinte. A variação é alta e o sinal fica calado. No fundo, o texto não ficou "mais humano", mudou só o ritmo. E é por isso que o ritmo sozinho não prova nada.

O que quer dizer "provável IA"

A pontuação cai em faixas. De 50 a 55 para cima é "provável IA", e a partir de 70 é "IA forte". Estes limiares vieram de uma primeira calibração com uma amostra pequena, 34 textos de IA contra 20 humanos, e aí o resultado foi bom.

Num corpus maior, o quadro é muito mais modesto. Na nossa última medição, a análise apanhou cerca de 14% dos textos de IA com 1% de falsos positivos, e cerca de 29% com 5%. Os modelos modernos escapam melhor aos sinais atuais do que os primeiros chats. A faixa fala, portanto, do estilo e não do autor, e "provável" lê-se como "vale a pena olhar com mais atenção".

Os casos mistos também se separam mal: um texto humano corrigido por um modelo, ou uma tradução automática. Por isso falamos de sinais de geração num texto, e não de uma "percentagem de IA" do autor.

Porque é que textos curtos dão sinais fracos

A variação precisa de matéria-prima. Com três frases não se distingue um ritmo de uma coincidência. Na nossa medição no corpus, os textos de 80 a 299 palavras ficaram perto do acaso, e a partir das 300 palavras correu melhor, embora longe de ser fiável. A análise marca como pouco fiáveis os textos com menos de cerca de 150 palavras ou menos de cinco frases, e tira pontos.

Além disso, uma pontuação baixa num texto curto não prova que foi uma pessoa a escrevê-lo. A nota na página diz precisamente isso: o veredicto é pouco fiável, não é prova.

As notícias, os textos promocionais e os géneros das redes sociais são outro ponto fraco, e nesses casos a análise pode abster-se.

O que fazer

1. Leia a lista de indícios antes do número: mostra sítios, não só um total.
2. Veja o tamanho do texto e a nota de fiabilidade.
3. Use a faixa como motivo para reler. Se a nota ou a reputação de alguém dependem do resultado, peça rascunhos, como na nossa lista justa.
4. Se o texto é seu e quer um ritmo mais natural, veja como deixar o texto mais vivo.

Quer espreitar o seu texto? Abra a verificação.