Как читать цифры в анализе AuthorText

На странице результата есть оценка, полоса и несколько шкал. Расскажу простыми словами, что это и насколько этому можно верить.

Оценка - это подсказка

Оценка идёт от 0 до 100 и показывает, сколько признаков машинного текста нашёл анализ. Это эвристика, а не измерение авторства. Мы повторяем это на каждом шагу и не случайно: важнее этого на странице ничего нет.

Запомните ещё одно. Каждый сигнал в одиночку слаб, весит только их набор. Один подозрительный признак ничего не значит. Если же несколько тянут в одну сторону, текст стоит прочитать внимательнее.

Разброс длины предложений

Люди пишут неровно. Длинное предложение с парой оговорок, потом короткое, потом среднее. Машинный текст, особенно от ранних моделей, склонен держать предложения примерно одной длины.

Анализ считает это как коэффициент вариации, то есть смотрит, насколько длины разбросаны вокруг среднего. Мало разброса - баллы добавляются, много - нет. Это ещё называют «взрывностью» (burstiness), и в оценке это самый весомый сигнал. Длины абзацев считаются так же, а если ровны и предложения, и абзацы, добавляется общий бонус.

Повторы

Одни и те же слова, одинаковые начала фраз, один шаблонный заголовок в каждом разделе. Анализ смотрит, как часто повторяются схемы. В техническом тексте повторов много, и это нормально, так что сигнал - лишь часть картины.

Типичные фразы

Анализ знает список штампов на русском, украинском, португальском и английском. Они разложены по уровням: чем типичнее, тем выше. Сюда попадают канцелярские обороты, которыми принято открывать абзац или подводить итог, и общие слова про «важную роль» всего на свете. Каждое попадание в списке находок привязано к номеру строки.

Плотность связок

Так называют слова, которые склеивают соседние предложения и показывают ход рассуждения. Машинный текст любит их много и расставляет ровно. Человек часто просто начинает следующее предложение.

Маленький пример на пальцах

Пример выдуманный, это не реальные данные.

Проект важен. Команда большая. План понятен. Цель проста. Итог хорош.

Пять предложений по два-три слова. Ритм почти плоский, разброс низкий, и сигнал бы сработал. Теперь переписанный вариант:

Проект важен. Почему? Потому что команда, которая за год выросла с трёх человек до двенадцати, получила наконец план, который каждый объяснит одним вдохом. Цель проста.

Длины тут от одного слова до двадцати с лишним. Разброс высокий, сигнал молчит. Сильно человечнее по сути текст не стал, поменялся только ритм. Поэтому сам по себе ритм ничего не доказывает.

Что значит «вероятно ИИ»

Оценка раскладывается по полосам. Примерно от 50-55 - «вероятно ИИ», от 70 - «сильные признаки ИИ». Пороги мы подбирали при первой калибровке на маленькой выборке: 34 ИИ-текста против 20 человеческих. Результат тогда вышел хороший.

На большом корпусе всё скромнее. В последнем измерении анализ находил около 14% ИИ-текстов при 1% ложных срабатываний и около 29% при 5%. Современные модели обходят нынешние сигналы лучше, чем ранние чаты. Так что полоса говорит о стиле, а не об авторе, и «вероятно» читайте как «стоит присмотреться».

Смешанные случаи делятся плохо: человеческий текст, который правила модель, или машинный перевод. Поэтому мы говорим о признаках генерации в тексте, а не о «проценте ИИ» у автора.

Почему короткие тексты дают слабый сигнал

Разбросу нужен материал. По трём предложениям ритм от случайности не отличить. В нашем измерении на корпусе тексты от 80 до 299 слов были близки к случайному угадыванию, а от 300 слов результаты лучше, хотя до надёжных далеко. Всё короче примерно 150 слов или пяти предложений анализ помечает как ненадёжное и баллы уменьшает.

Низкая оценка у короткого текста тоже не значит, что писал человек. Именно это и сказано в пометке на странице: вердикт ненадёжен, но доказательством не служит.

Новости, реклама и соцсети - ещё одно слабое место, и там анализ может воздержаться. Он честно говорит, что сигнал ненадёжен, и не изображает уверенность, которой нет. Помочь ему можно, если проверять не обрывок, а всю статью целиком, со всеми абзацами, как она уйдёт в печать или будет сдана.

Что делать

1. Сначала читайте список находок, потом число: в списке видны места, а не только итог.
2. Смотрите на длину текста и пометку о надёжности.
3. Полосу воспринимайте как повод перечитать. Если от результата зависят оценка или репутация человека, просите черновики, как в нашем честном чек-листе.
4. Если вы автор и хотите более естественный ритм, прочтите, как сделать текст живее.

Хотите взглянуть на свой текст? Откройте проверку.