# Как устроен анализ и насколько ему можно верить

> Признаки, из которых складывается оценка AuthorText, как они суммируются, что показали проверки на реальных текстах и где оценка ошибается. С цифрами.

- URL: https://authortext.com/ru/method
- Language: ru
- Site: AuthorText (https://authortext.com/)

Оценка - это взвешенная сумма статистик текста. Скрытой модели, которая выносит приговор, здесь нет, и ни один признак не решает дело в одиночку. Дальше по порядку: что мы считаем, как всё это складывается и что получилось, когда мы проверили метод на текстах с известным автором. Результат неоднозначный, и мы пишем об этом прямо.

## Что такое это число

Берём текст и считаем по нему около двадцати показателей: насколько различается длина предложений, сколько в тексте штампов, как часто попадаются связки, насколько богат словарь и так далее. Если показатель похож на машинное письмо, он приносит несколько баллов. Баллы суммируются.

Вот и вся магия. Это не вероятность того, что текст написала машина. Число лишь показывает, сколько типичных следов генерации мы в тексте нашли.

## Семейства признаков

Основной вес у первых двух семейств. Остальные добавляют понемногу.

### Ритм предложений и абзацев

Люди пишут как придётся: короткие предложения вперемешку с длинными. У сгенерированного текста длина обычно ровнее. Мы измеряем, насколько разбросаны длины предложений и абзацев. Ровные предложения дают до 32 баллов, ровные абзацы до 28, а когда ровно и то и другое, прибавляется ещё до 14.

### Фразы-штампы

Около 150 фраз на четырёх языках, разложенных по трём ступеням: чем чаще такую фразу употребляют живые люди, тем ниже ступень. Фразы, которых в человеческих текстах мы ни разу не встретили, весят больше всего: две такие дают 24 балла. Ходовые обороты почти ничего не дают.

### Связки

Сколько связок приходится на предложение: «более того», «кроме того» и им подобные. Если ими пересыпан весь текст, это до 13 баллов.

### Повторяющиеся шаблоны

Один и тот же короткий заголовок снова и снова или одна и та же конструкция предложения. До 14 баллов за повторяющиеся заголовки и ещё немного за повторы конструкций.

### Словарь и мелкие признаки

Разнообразие слов, энтропия, длина слов, пунктуация, пассив, читаемость. Два признака (разнообразие и энтропия) могут дать по 15 баллов, остальные от 3 до 5. Необычные символы и скрытые знаки показываются в отчёте и добавляют несколько баллов.

## Как баллы складываются

Баллы просто складываются. Ни один показатель не даёт больше 32, а вся сумма до обрезки может дойти примерно до 165, так что одна странность дела не решает. Коэффициент от 0,9 до 1 учитывает длину текста: длинным текстам он не даёт выигрывать на объёме, а короткие не наказывает дважды. Итог обрезается на 100.

На коротких текстах баллы начисляются частично. Если слов меньше 150 или предложений меньше пяти, страница предупредит, что результату доверять не стоит. То же с рекламным и соцсетевым стилем: на нём мы метод не проверяли.

## Как читать уровни

Ниже 20 - сигналов нет. От 20 до 34 - слабые сигналы. От 35 до 54 - смешанный профиль. От 55 до 69 - вероятно ИИ. От 70 - сильно ИИ-подобный стиль.

В первой калибровке порог 50-55 подошёл для «вероятно», а 70 для «сильно». Уровни нужны, чтобы выбрать тексты, которые стоит прочитать внимательнее, а не чтобы выносить вердикт.

## Что показали проверки

Сначала мы провели небольшую калибровку в версии 0.4.0: взяли 34 подтверждённых ответа ИИ-сервисов (8 сервисов, 4 языка) и 20 человеческих текстов. На пороге 50 метод находил 93,9% ИИ-текстов при 0% ложных срабатываний, на пороге 70 находил 60,6%, и тоже без ложных срабатываний. Выглядело отлично, но набор был маленький и жанров в нём было мало.

Потом мы проверили метод на гораздо большем корпусе: 5808 человеческих текстов, 1286 ИИ-текстов и 299 смешанных. Картина получилась заметно хуже. AUC, то есть шанс, что случайный ИИ-текст получит оценку выше случайного человеческого, равен 72,9%. Если порог выбран так, чтобы помечался только 1% человеческих текстов, метод находит 14,4% ИИ-текстов. При 5% помеченных людей находит 29,2%.

Первый результат оказался слишком радужным, так что запомнить стоит второй. Оба числа мы оставили здесь нарочно.

### По длине

Тексты от 80 до 299 слов - это почти гадание на монетке: AUC 55,6%, полнота 4,4%. От 300 слов лучше: AUC 76,7%, полнота 16%.

### По языку

Полнота при 1% ложных срабатываний: русский 22,7%, украинский 19,1%, португальский 8,5%, английский 6,0%. Языковые ресурсы для украинского и португальского ещё не проверяли носители.

### По модели

Новые модели проскакивают легче. При 1% ложных срабатываний метод нашёл 19,7% текстов gpt-oss-120b и 6,7% текстов GLM-5.3. Первые веб-чаты распознавались проще, чем сегодняшние модели.

### Смешанные тексты

Человеческий текст, отредактированный моделью, помечался в 0,0% случаев на строгом пороге и в 9,7% на мягком. Машинный перевод: 2,0% и 4,0%. Такие случаи метод по сути не разделяет, поэтому страница говорит о признаках, а не о «проценте ИИ».

## Где оценка ошибается

Чаще всего метод ошибается на аккуратных, ровных текстах. Хуже всего с новостями: AUC 55% и 14,6% человеческих текстов помечено на мягком пороге, то есть на новостях признак не работает, и странице лучше воздержаться от оценки. Научные статьи дали 10,0% ложных срабатываний при той же настройке. Энциклопедический стиль прошёл спокойно: 0,5% и 4,3%.

Тексты волонтёрских переводов помечались чуть чаще других человеческих: 2,3% против 1,1%. Украинский текст неносителей на доступном нам объёме не отличался от текста носителей: 1,5%.

Ошибиться можно и в другую сторону: хороший современный машинный текст часто проходит незамеченным. А что именно вы просили модель сделать, прежде чем вставить её ответ, инструмент знать не может.

## Как пользоваться результатом

Смотрите не только на число, но и на места с цитатами. Если три процитированных предложения и правда похожи на воду, это скажет больше, чем цифра 62. Сравните с прежними работами автора, попросите черновики, поговорите с человеком.

Рядом с основной оценкой стоит обученный счётчик - второе мнение для ориентира. Проверяли его заметно меньше, так что и доверять ему стоит меньше.

## Что почитать дальше

- [Как читать цифры в анализе AuthorText](https://authortext.com/ru/articles/reading-the-numbers.md)
- [Когда детектор путает человека и ИИ](https://authortext.com/ru/articles/when-detectors-disagree.md)
- [Открыть проверку](https://authortext.com/ru/index.md)

- Связь: support@authortext.com

## Links

- [Home](https://authortext.com/ru/index.md)
- [plans](https://authortext.com/ru/plans.md)
- [help](https://authortext.com/ru/help.md)
- [developers](https://authortext.com/ru/developers.md)
- [about](https://authortext.com/ru/about.md)
- [method](https://authortext.com/ru/method.md)
- [faq](https://authortext.com/ru/faq.md)
- [privacy](https://authortext.com/ru/privacy.md)
- [terms](https://authortext.com/ru/terms.md)
- [articles](https://authortext.com/ru/articles/index.md)