Как понять, что текст написан ИИ

По одному тексту наверняка не скажешь. Но у нейросетей есть привычки, которые встречаются чаще, чем у людей. Заметили - перечитайте текст внимательнее.

Выдают машину не ошибки, а гладкость. Ниже четыре приметы. А потом поговорим о том, почему ни одна из них ничего не доказывает.

Слишком ровный ритм

Человек пишет неровно: короткая фраза, за ней длинная, снова короткая. У нейросети предложения часто почти одной длины, а абзацы одного размера, будто по линейке.

Это можно посчитать. В нашей оценке главный вес у разброса длины предложений и абзацев: чем он меньше, тем больше баллов. Если в тексте хотя бы пять предложений и сорок слов, плоский ритм начинает влиять на оценку. На совсем коротком отрывке сигнал просто не считается.

Штампы и связки

«Стоит отметить», «играет ключевую роль», «в современном мире», «подводя итог» - у нейросетей такие обороты попадаются заметно чаще, чем в живой речи. Со связками то же самое: «более того», «кроме того», «таким образом» чуть ли не в каждом предложении.

Один оборот ничего не значит. Настораживает плотность. Связка в каждом втором предложении и одинаковые начала абзацев - это уже картина.

Общие слова вместо конкретики

В живом тексте есть имена, цифры, места, случаи. В машинном чаще «многие исследования показывают» и «это важно для каждого». Гладко, а зацепиться не за что.

Проверить просто: спросите у абзаца «где именно?» или «кто сказал?». Нет ответа в тексте - значит, абзац ни о чём.

Идеальная гладкость

Ни отступлений, ни сомнений, ни собственного мнения. Каждый абзац аккуратно открывает мысль и закрывает выводом. Живой текст обычно чуть шершавый.

Почему это не доказательство

Ни одна из примет авторства не доказывает. Новости, официальные документы и научные статьи людей тоже ровные и гладкие. В наших замерах аккуратные новости, написанные людьми, получали высокую оценку заметно чаще разговорных текстов. На большом корпусе (тысячи человеческих текстов и сотни нейросетевых) анализ находит лишь небольшую долю машинных, если держать ложные срабатывания около 1%. Современные модели проходят проверку легче, чем ранние чаты.

Бывает и наоборот. Человек, который долго правил свой текст, тоже делает его ровным. Об этом подробно в статье Почему современные детекторы ИИ ошибаются.

Что ещё смотрит анализ

Кроме ритма и штампов сервис считает ещё полтора десятка показателей: разнообразие словаря, повторы, плотность знаков препинания, долю местоимений, читаемость, пассив и другое. По отдельности большинство из них слабые. Основной вес даёт структура, то есть равномерность предложений и абзацев. К ней добавляются фразы из списка типовых оборотов на четырёх языках (русском, украинском, португальском, английском) и плотность связок.

Что сервис честно не берётся определять

На коротких текстах сервис сам снижает уверенность. Когда слов меньше примерно 150 или предложений меньше пяти, в ответе появляется пометка, что оценка ненадёжна. С рекламой и постами для соцсетей он тоже осторожен: у этих жанров свой шаблонный язык, и штампы там об авторе ничего не говорят. Так сделано нарочно, чтобы не обвинять людей зря.

Один пример рассуждения

Допустим, вам попал отчёт на две страницы. Абзацы все по четыре предложения, в каждом третьем «стоит отметить», цифр нет совсем. Повод насторожиться, но не вывод. Спросите автора, откуда данные, и попросите пересказать главный вывод своими словами. Такой разговор скажет о происхождении текста больше любого процента.

Обратное тоже случается: короткая живая заметка может оказаться целиком машинной, если модели велели писать неформально. Поэтому приметы - это набор вопросов к тексту, а не тест с ответом «да» или «нет».

Что делать дальше

1. Перечитайте текст и отметьте места, где нет ни одной конкретной детали.
2. Вставьте его в проверку: она подсветит шаблонные обороты и слишком ровный ритм, а редактор подскажет, чем их заменить.
3. Если текст ваш, перепишите отмеченное своими словами. Приёмы описаны в статье Как сделать текст живее.
4. Если текст чужой и хочется кого-то обвинить, сначала прочтите честный чек-лист. Одна цифра обвинением быть не может.

А как вообще проверяют тексты, читайте в обзоре способов проверки.