Como funciona a análise e até que ponto confiar nela
A pontuação é uma soma ponderada de estatísticas do texto. Não há nenhum modelo escondido a decidir, e nenhum sinal decide sozinho. Aqui fica o que se conta, como se soma e o que aconteceu quando testámos o método em textos de autoria conhecida. Os resultados são desiguais, e dizemo-lo sem rodeios.
01/O que é este número
Entra um texto, saem umas vinte medições: quanto varia o comprimento das frases, quantas expressões feitas há, quão densas são as palavras de ligação, quão rico é o vocabulário, e por aí fora. Cada medição que se pareça com escrita de máquina vale alguns pontos. Os pontos somam-se.
É só isso. Não é a probabilidade de uma máquina ter escrito o texto. O número só diz quantos dos rastos habituais de texto gerado aparecem.
02/As famílias de sinais
As duas primeiras famílias pesam mais. As outras acrescentam pouco.
Ritmo das frases e dos parágrafos
As pessoas misturam frases curtas e longas sem grande ordem. O texto gerado costuma manter um comprimento mais certinho. Medimos a variação do comprimento das frases e dos parágrafos. Frases uniformes dão até 32 pontos, parágrafos uniformes até 28, e quando ambos são uniformes somam-se mais 14.
Expressões feitas
Umas 150 expressões em quatro línguas, repartidas por três níveis conforme a frequência com que as pessoas reais as usam. As que nunca apareceram nos nossos textos humanos pesam mais: duas delas dão 24 pontos. As comuns quase não dão nada.
Palavras de ligação
Quantos conectores há por frase, como "além disso" ou "desta forma". Uma série densa vale até 13 pontos.
Modelos repetidos
A mesma linha curta de título vezes sem conta, ou a mesma forma de frase repetida. Até 14 pontos por títulos repetidos e mais alguns por padrões repetidos.
Vocabulário e sinais menores
Variedade de palavras, entropia, comprimento das palavras, pontuação, voz passiva, legibilidade. Dois deles (variedade e entropia) podem dar 15 pontos, os restantes entre 3 e 5. Símbolos invulgares e caracteres escondidos aparecem no relatório e acrescentam uns pontos.
03/Como os pontos se somam
Os pontos somam-se. Nenhuma medição dá mais de 32, e a soma antes do corte pode chegar a cerca de 165, por isso uma esquisitice isolada nunca decide. Um fator entre 0,9 e 1 ajusta ao tamanho do texto, para que os longos não saiam beneficiados nem os curtos castigados duas vezes. O resultado fica limitado a 100.
Nos textos curtos os pontos só contam em parte. Com menos de 150 palavras ou cinco frases, a página avisa que o resultado não é fiável. O mesmo vale para o estilo publicitário e de redes sociais, em que o método nunca foi testado.
04/Como ler os níveis
Abaixo de 20: sem sinais. De 20 a 34: sinais fracos. De 35 a 54: perfil misto. De 55 a 69: provável IA. A partir de 70: estilo fortemente parecido com IA.
Na primeira calibração, um limiar de 50 a 55 serviu para "provável" e 70 para "forte". Os níveis servem para escolher textos a ler com mais atenção, nunca para ditar sentenças.
05/O que mostraram os testes
Primeiro houve uma calibração pequena, na versão 0.4.0. Usámos 34 respostas confirmadas de serviços de IA (8 serviços, 4 línguas) e 20 textos humanos. Com o limiar em 50, o método apanhou 93,9% dos textos de IA sem nenhum falso positivo; com 70, apanhou 60,6%, também sem falsos positivos. Parecia excelente. Mas o conjunto era pequeno e cobria poucos géneros.
Depois testámos num corpus muito maior: 5808 textos humanos, 1286 textos de IA e 299 mistos. O quadro ficou bem mais fraco. A AUC, isto é, a hipótese de um texto de IA ao acaso ter nota mais alta do que um humano ao acaso, foi de 72,9%. Com o limiar escolhido para marcar só 1% dos textos humanos, o método apanhou 14,4% dos textos de IA. Com 5% de humanos marcados, apanhou 29,2%.
O primeiro resultado era demasiado otimista, e é o segundo que convém fixar. Deixamos os dois aqui de propósito.
Por tamanho
Textos de 80 a 299 palavras ficam perto de uma moeda ao ar: AUC 55,6%, recall 4,4%. A partir de 300 palavras melhora: AUC 76,7%, recall 16%.
Por língua
Recall com 1% de falsos positivos: russo 22,7%, ucraniano 19,1%, português 8,5%, inglês 6,0%. Os recursos de português e ucraniano ainda não foram revistos por falantes nativos.
Por modelo
Os modelos mais recentes escapam melhor. Com 1% de falsos positivos, o método apanhou 19,7% dos textos do gpt-oss-120b e 6,7% dos do GLM-5.3. Os primeiros chats da web eram mais fáceis de apanhar do que os modelos de hoje.
Textos mistos
Um texto humano editado por um modelo foi marcado em 0,0% dos casos no limiar rigoroso e em 9,7% no limiar largo. Tradução automática: 2,0% e 4,0%. O método não separa de facto estes casos, e por isso a página fala de sinais e não de "percentagem de IA".
06/Onde falha
Os falsos positivos vêm sobretudo de prosa cuidada e regular. As notícias são o pior caso: AUC de 55% e 14,6% de textos humanos marcados no limiar largo, ou seja, nas notícias o sinal não funciona e a página deve abster-se. Os artigos científicos deram 10,0% de falsos positivos com a mesma configuração. O estilo de enciclopédia correu bem: 0,5% e 4,3%.
As traduções de voluntários foram marcadas um pouco mais do que os outros textos humanos: 2,3% contra 1,1%. O ucraniano de quem não é nativo não se distinguia do de nativos no volume que conseguimos testar: 1,5%.
O erro também acontece no outro sentido: um bom texto de máquina atual passa muitas vezes. E a ferramenta não sabe o que pediu ao modelo antes de colar a resposta.
07/Como usar um resultado
Leia os pontos citados, não só o número. Se três frases citadas soarem mesmo a palha, isso diz mais do que um 62. Compare com trabalhos anteriores do autor, peça rascunhos, fale com a pessoa.
Ao lado da nota principal aparece um classificador treinado, como segunda opinião provisória. Teve bastante menos testes, por isso dê-lhe ainda menos peso.
Para ler a seguir
Abrir a verificaçãoPerguntas frequentesSobre
Contacto: [email protected]