# Como funciona a análise e até que ponto confiar nela

> Os sinais por trás da pontuação do AuthorText, como se somam, o que mostraram os testes em textos reais e onde a nota falha. Com números.

- URL: https://authortext.com/pt/method
- Language: pt
- Site: AuthorText (https://authortext.com/)

A pontuação é uma soma ponderada de estatísticas do texto. Não há nenhum modelo escondido a decidir, e nenhum sinal decide sozinho. Aqui fica o que se conta, como se soma e o que aconteceu quando testámos o método em textos de autoria conhecida. Os resultados são desiguais, e dizemo-lo sem rodeios.

## O que é este número

Entra um texto, saem umas vinte medições: quanto varia o comprimento das frases, quantas expressões feitas há, quão densas são as palavras de ligação, quão rico é o vocabulário, e por aí fora. Cada medição que se pareça com escrita de máquina vale alguns pontos. Os pontos somam-se.

É só isso. Não é a probabilidade de uma máquina ter escrito o texto. O número só diz quantos dos rastos habituais de texto gerado aparecem.

## As famílias de sinais

As duas primeiras famílias pesam mais. As outras acrescentam pouco.

### Ritmo das frases e dos parágrafos

As pessoas misturam frases curtas e longas sem grande ordem. O texto gerado costuma manter um comprimento mais certinho. Medimos a variação do comprimento das frases e dos parágrafos. Frases uniformes dão até 32 pontos, parágrafos uniformes até 28, e quando ambos são uniformes somam-se mais 14.

### Expressões feitas

Umas 150 expressões em quatro línguas, repartidas por três níveis conforme a frequência com que as pessoas reais as usam. As que nunca apareceram nos nossos textos humanos pesam mais: duas delas dão 24 pontos. As comuns quase não dão nada.

### Palavras de ligação

Quantos conectores há por frase, como "além disso" ou "desta forma". Uma série densa vale até 13 pontos.

### Modelos repetidos

A mesma linha curta de título vezes sem conta, ou a mesma forma de frase repetida. Até 14 pontos por títulos repetidos e mais alguns por padrões repetidos.

### Vocabulário e sinais menores

Variedade de palavras, entropia, comprimento das palavras, pontuação, voz passiva, legibilidade. Dois deles (variedade e entropia) podem dar 15 pontos, os restantes entre 3 e 5. Símbolos invulgares e caracteres escondidos aparecem no relatório e acrescentam uns pontos.

## Como os pontos se somam

Os pontos somam-se. Nenhuma medição dá mais de 32, e a soma antes do corte pode chegar a cerca de 165, por isso uma esquisitice isolada nunca decide. Um fator entre 0,9 e 1 ajusta ao tamanho do texto, para que os longos não saiam beneficiados nem os curtos castigados duas vezes. O resultado fica limitado a 100.

Nos textos curtos os pontos só contam em parte. Com menos de 150 palavras ou cinco frases, a página avisa que o resultado não é fiável. O mesmo vale para o estilo publicitário e de redes sociais, em que o método nunca foi testado.

## Como ler os níveis

Abaixo de 20: sem sinais. De 20 a 34: sinais fracos. De 35 a 54: perfil misto. De 55 a 69: provável IA. A partir de 70: estilo fortemente parecido com IA.

Na primeira calibração, um limiar de 50 a 55 serviu para "provável" e 70 para "forte". Os níveis servem para escolher textos a ler com mais atenção, nunca para ditar sentenças.

## O que mostraram os testes

Primeiro houve uma calibração pequena, na versão 0.4.0. Usámos 34 respostas confirmadas de serviços de IA (8 serviços, 4 línguas) e 20 textos humanos. Com o limiar em 50, o método apanhou 93,9% dos textos de IA sem nenhum falso positivo; com 70, apanhou 60,6%, também sem falsos positivos. Parecia excelente. Mas o conjunto era pequeno e cobria poucos géneros.

Depois testámos num corpus muito maior: 5808 textos humanos, 1286 textos de IA e 299 mistos. O quadro ficou bem mais fraco. A AUC, isto é, a hipótese de um texto de IA ao acaso ter nota mais alta do que um humano ao acaso, foi de 72,9%. Com o limiar escolhido para marcar só 1% dos textos humanos, o método apanhou 14,4% dos textos de IA. Com 5% de humanos marcados, apanhou 29,2%.

O primeiro resultado era demasiado otimista, e é o segundo que convém fixar. Deixamos os dois aqui de propósito.

### Por tamanho

Textos de 80 a 299 palavras ficam perto de uma moeda ao ar: AUC 55,6%, recall 4,4%. A partir de 300 palavras melhora: AUC 76,7%, recall 16%.

### Por língua

Recall com 1% de falsos positivos: russo 22,7%, ucraniano 19,1%, português 8,5%, inglês 6,0%. Os recursos de português e ucraniano ainda não foram revistos por falantes nativos.

### Por modelo

Os modelos mais recentes escapam melhor. Com 1% de falsos positivos, o método apanhou 19,7% dos textos do gpt-oss-120b e 6,7% dos do GLM-5.3. Os primeiros chats da web eram mais fáceis de apanhar do que os modelos de hoje.

### Textos mistos

Um texto humano editado por um modelo foi marcado em 0,0% dos casos no limiar rigoroso e em 9,7% no limiar largo. Tradução automática: 2,0% e 4,0%. O método não separa de facto estes casos, e por isso a página fala de sinais e não de "percentagem de IA".

## Onde falha

Os falsos positivos vêm sobretudo de prosa cuidada e regular. As notícias são o pior caso: AUC de 55% e 14,6% de textos humanos marcados no limiar largo, ou seja, nas notícias o sinal não funciona e a página deve abster-se. Os artigos científicos deram 10,0% de falsos positivos com a mesma configuração. O estilo de enciclopédia correu bem: 0,5% e 4,3%.

As traduções de voluntários foram marcadas um pouco mais do que os outros textos humanos: 2,3% contra 1,1%. O ucraniano de quem não é nativo não se distinguia do de nativos no volume que conseguimos testar: 1,5%.

O erro também acontece no outro sentido: um bom texto de máquina atual passa muitas vezes. E a ferramenta não sabe o que pediu ao modelo antes de colar a resposta.

## Como usar um resultado

Leia os pontos citados, não só o número. Se três frases citadas soarem mesmo a palha, isso diz mais do que um 62. Compare com trabalhos anteriores do autor, peça rascunhos, fale com a pessoa.

Ao lado da nota principal aparece um classificador treinado, como segunda opinião provisória. Teve bastante menos testes, por isso dê-lhe ainda menos peso.

## Para ler a seguir

- [Como ler os números da análise do AuthorText](https://authortext.com/pt/articles/reading-the-numbers.md)
- [Quando o detetor confunde humano e IA](https://authortext.com/pt/articles/when-detectors-disagree.md)
- [Abrir a verificação](https://authortext.com/pt/index.md)

- Contacto: support@authortext.com

## Links

- [Home](https://authortext.com/pt/index.md)
- [plans](https://authortext.com/pt/plans.md)
- [help](https://authortext.com/pt/help.md)
- [developers](https://authortext.com/pt/developers.md)
- [about](https://authortext.com/pt/about.md)
- [method](https://authortext.com/pt/method.md)
- [faq](https://authortext.com/pt/faq.md)
- [privacy](https://authortext.com/pt/privacy.md)
- [terms](https://authortext.com/pt/terms.md)
- [articles](https://authortext.com/pt/articles/index.md)