Почему современные детекторы ИИ ошибаются

Детектор ИИ меряет стиль, а не авторство. Поэтому ошибается он в обе стороны: гладкий человеческий текст получает высокую оценку, а хорошо сделанный машинный проходит как «человеческий». Детектор выдаёт число, и в нём так и хочется увидеть приговор.

Но это только подсказка.

Детектор не знает, кто писал

Программа не видит, как текст создавался. Она считает закономерности: насколько ровны предложения, сколько типичных оборотов, насколько всё предсказуемо.

Признаки косвенные, и встречаются они не только у нейросетей, но и у людей.

Гладкая человеческая проза похожа на машинную

Новость, деловое письмо, научная статья пишутся по правилам и потому выглядят ровно. В наших измерениях аккуратные новости, написанные людьми, получали высокую оценку заметно чаще, чем живые комментарии и обсуждения.

Оценка без поправки на жанр просто неточна.

С новостями наш сигнал почти не работает: площадь под кривой около 55%, то есть чуть лучше случайного. В научных статьях около 10% текстов людей получают высокую оценку при допуске 5% ложных срабатываний. Для таких жанров сервис не лепит уверенный вердикт, а добавляет оговорку.

Пишущие не на родном языке

Кто пишет на чужом языке, тот чаще берёт простые и «правильные» конструкции или гонит текст через машинный перевод. Детекторы нередко принимают такое за машинный текст. Из-за ложных срабатываний ряд крупных университетов, в том числе Йель и Университет Ватерлоо, отказался от встроенных ИИ-детекторов.

В наших данных волонтёрские переводы дают чуть больше ложных срабатываний, чем остальные тексты (2,3% против 1,1%). А тексты носителей украинского, которые пишут на нём не как на родном, при таком объёме не отличались.

Выводы осторожные: выборки небольшие.

Короткие тексты

В паре фраз данных не хватает, и всё тут.

Для сотни слов и меньше любой статистический вывод шаткий, и честный детектор должен так и сказать. В наших замерах на текстах от 80 до 299 слов результат близок к случайному. А на текстах от 300 слов находится около 16% машинных текстов при 1% ложных срабатываний.

Правка и перефраз

Если человек поправил машинный черновик или пересказал его, признаки размываются. По данным исследований, перефразирование заметно снижает долю найденных текстов у многих детекторов. В нашем собственном замере пересказ нейросетевого текста почти не мешал (около 13,5% при 1% ложных срабатываний), а вот смешанные случаи почти не различаются вовсе.

Как читать результат

Считайте оценку подсказкой, где стоит перечитать текст повнимательнее, а не доказательством. Смотрите на конкретные подсвеченные места, учитывайте жанр и длину. В спорных случаях надёжнее другое: черновики, история правок, разговор с автором.

Почему «процент ИИ» вводит в заблуждение

Многие сервисы рисуют «процент ИИ» и создают иллюзию точного измерения. На деле это прикидка по признакам стиля. Когда часть текста написал человек, а часть модель, или человек правил машинный черновик, одного числа мало. Потому наш сервис говорит о доле признаков генерации и показывает, на каких строках они найдены. А уровень уверенности (низкий, средний, высокий) привязан к числу слов.

Что с этим делать разработчикам

Честный детектор показывает свою неуверенность, молчит на коротких и «шаблонных» жанрах и открыто публикует, где ошибался на реальных данных. Мы стараемся так и делать: пороги и веса не меняются без проверки на корпусе, а в этой статье собраны результаты наших собственных замеров, в том числе неудобные.

Чему верить

Устойчивее всего три вещи. Первая - процесс: черновики и история правок. Вторая - конкретные места в тексте, которые можно обсудить с автором. Третья - несколько независимых признаков сразу вместо одного числа. Ни один из этих способов не требует гадать, как устроена модель.

И все они работают, даже когда детектор ошибся.

Что делать дальше

1. Проверьте текст в анализаторе и прочитайте список мест с номерами строк, а не только общую оценку; как читать шкалы, объясняет статья Как читать цифры в анализе AuthorText.
2. Если оценка высокая, а текст ваш, соберите черновики и заметки и посмотрите, почему детектор путает человека и ИИ.
3. Если сомневаетесь в чужом тексте, начните с честного чек-листа.
4. Нужны долгие регулярные проверки? Посмотрите тарифы.