Как сегодня проверяют текст на ИИ

Мы спросили об этом четыре разных ИИ-ассистента и сравнили ответы. Выводы совпали: единого теста нет, а ответ всегда вероятностный.

Семь подходов

1. Статистика: перплексия (насколько предсказуемы слова) и burstiness (насколько неровен ритм предложений). Быстро и понятно, но гладкий текст человека тоже предсказуем.
2. Вероятностные методы без обучения (DetectGPT, Binoculars): сравнивают правдоподобие текста и его перефразировок. Перефраз или замена символов на похожие сильно ослабляют эти методы.
3. Стилометрия: разнообразие лексики, длина фраз, связки, пунктуация. Метод прозрачный и лучше переносит правки, но зависит от жанра и языка.
4. Обученные классификаторы (RoBERTa и похожие): на них держатся коммерческие системы. На знакомых данных точны, но быстро стареют, когда выходят новые модели.
5. Водяные знаки: сигнал, который закладывают при генерации. Работает, только если генератор его поставил, и пропадает при переписывании.
6. Процесс написания: черновики, история правок, паузы и вставки. Самое прямое свидетельство, но нужен доступ к самому процессу.
7. Ансамбли: несколько сигналов и проверка человеком. Надёжнее, но дороже.

Где сходятся все источники

• Детектор оценивает вероятность, а не факт авторства.
• Хуже всего он справляется со смешанными текстами, когда человек правит ИИ или ИИ правит человека. В исследованиях, на которые ссылаются источники, точность падала примерно до 54-71%.
• Ложные срабатывания остаются главным риском. Чаще страдают формальные и академические тексты, а ещё тексты тех, для кого язык неродной.
• Перефраз и «очеловечиватели» резко снижают точность.
• Цифры производителей (99% и выше) заметно расходятся с независимыми тестами.

Процент: что можно честно сказать

Когда перед вами только готовый текст, историю его создания не восстановить. Поэтому правильнее говорить не «ИИ написал 65%», а «в 65% текста есть признаки машинной генерации». Замысел и правка человека в такой цифре не видны.

Кроме того, хорошая система:

• считает ложные срабатывания на человеческих текстах главной ошибкой;
• калибрует пороги отдельно для каждого языка, жанра и длины;
• показывает, какие места вызвали подозрение, и границы неопределённости;
• прямо говорит «не уверены», если текст короткий или язык изучен слабо.

Языки

Лучше всего изучен английский. В русском много формального текста, который и сам по себе «ровный», отсюда ложные тревоги. Украинского в открытых данных меньше всего, поэтому и надёжность ниже. С португальским дела получше.

Что у нас уже есть

Сопоставим с семью подходами выше:

• Стилометрия. Наш основной метод: разброс длины предложений и абзацев, связки, лексическое разнообразие, пунктуация, плюс ИИ-фразы трёх уровней на русском, украинском, португальском и английском.
• Объяснимость. Не просто число, а конкретные места: номера строк, цитаты и пояснение, чем признак важен. Судя по исследованиям, вся отрасль движется именно сюда.
• Оценка по фрагментам и подсказки. Видно, какие участки однообразны или шаблонны и как их поправить. Здесь простые правила, нейросетей нет.
• Скрытые символы. Мы находим и убираем невидимые знаки, которыми иногда помечают текст (259 видов), и упрощаем типографику. Это не статистический водяной знак на уровне слов, а именно отдельные символы.
• Честность границ. На коротких текстах мы воздерживаемся от оценки. О гладких жанрах (новости, деловое письмо, реклама), где человек часто выглядит «машинно», предупреждаем.
• Измерения. Проверка на корпусе с доверительными интервалами и разбивкой по языкам и длине. Выборка пока небольшая: порог 50 на 34 ИИ-текстах и 20 человеческих дал 0% ложных срабатываний, но это ещё не окончательная точность.

Что хотим добавить

• Корпус побольше: не менее 600 человеческих текстов на язык, отдельно неносители, перефраз и смешанные тексты. Именно они сейчас слабое место всех детекторов.
• Калибровка по языку и длине. Зоны «человек / неопределённо / ИИ» по распределениям на корпусе вместо порогов, подобранных вручную.
• Диапазон вместо одной цифры. Итог со шкалой неопределённости и отметкой «нет данных», когда вывод сделать нельзя.
• Доля по фрагментам. «В такой-то части текста есть признаки генерации» вместо общего процента.
• «Что если». Сравнение оценки места до и после правки.
• Тип текста (новость, отзыв, пост, статья) со своими порогами, когда появятся корпуса по жанрам.
• Необязательный сигнал языковой модели класса Binoculars, но только если проверка покажет заметный выигрыш, например на неносителях и перефразе. Если не покажет, включать не будем.

«Неотличимость от человека» мы не обещаем и инструмент для обхода проверок не делаем. Наша цель - чтобы текст стал живее, а оценка честнее. Смотрите на результат как на подсказку, где перечитать текст повнимательнее, а не как на приговор.

Что читать дальше

• Что нового появилось в этой области и что мы проверили: Что нового в обнаружении ИИ.
• Почему результат нельзя считать приговором: Почему современные детекторы ИИ ошибаются.
• Практический шаг: проверьте свой текст и откройте список находок.