Чому сучасні детектори ШІ помиляються
Будь-який детектор ШІ видає число, і хочеться вірити, що це вирок. Та число каже лише про стиль, а не про автора. Помилитися воно може з кількох причин.
Детектор не знає, хто писав
Програма не бачить, як народжувався текст. Вона механічно міряє закономірності: чи рівні речення, скільки типових зворотів, наскільки текст передбачуваний. Це непрямі ознаки. У людей вони теж трапляються, і нерідко, бо акуратне письмо так і виглядає.
Скільки детектор насправді знаходить
Ось чесні цифри нашого власного аналізу. На великому корпусі (кілька тисяч людських текстів і понад тисяча текстів нейромереж) аналіз знаходить близько 14% текстів нейромереж, якщо хибні спрацювання тримати на рівні 1%, і близько 29% при 5%. За мовами різниця велика: для російської це приблизно 23%, для англійської близько 6%. Раніше, на невеликому наборі перших чат-ботів, результат був значно кращий, але той набір був малий і однорідний.
Висновок простий. Сучасні моделі проходять перевірку легше, а число без контексту нічого не доводить.
Гладка людська проза схожа на машинну
Новина, діловий лист, наукова стаття пишуться за правилами й виглядають рівно. У наших власних вимірюваннях охайні новинні тексти людей отримували високі оцінки помітно частіше, ніж живі коментарі й обговорення. Тож оцінку без жанру точною вважати не можна.
Ті, хто пише нерідною мовою
Хто пише нерідною мовою, той частіше бере прості й «правильні» конструкції або зовсім користується машинним перекладом. Детектори нерідко сприймають такі тексти як машинні. Через хибні спрацювання низка великих університетів, серед них Єль і Університет Ватерлоо, відмовилася від вбудованих ШІ-детекторів.
Одне застереження: на наших даних різниця для перекладених і нерідномовних текстів невелика, тож ми не кажемо, що вона велика. Але ризик реальний, і його варто враховувати.
Короткі тексти
Даних мало. Для сотні слів і менше будь-який статистичний висновок ненадійний, і чесний детектор мусить про це сказати. У наших замірах на текстах від вісімдесяти до трьохсот слів результат був близький до випадкового.
Правка й переказ
Якщо людина відредагувала машинну чернетку або пропустила її через переказ, ознаки розмиваються. Дослідження показують, що перефразування помітно знижує виявлення в багатьох детекторів. У нашому замірі перефразований текст нейромережі виявлявся не гірше за звичайний. Зате людський текст, відредагований моделлю, майже не розпізнавався.
Чому поріг не рятує
Здається, досить підняти поріг, і хибні спрацювання зникнуть. Та вони не зникають, а переїжджають: за вищого порогу ми рідше звинувачуємо чесних авторів, зате пропускаємо більше машинних текстів. Там, де сильний сигнал не працює, скажімо в новинах, навіть суворий поріг лишає помітну частку хибних спрацювань на людських текстах. У нашому замірі для новин близько 14,6% людських текстів позначалося хибно при порозі, налаштованому на 5%. Тому пороги «ймовірно ШІ» й «сильно ШІ» ми радимо сприймати як орієнтири для уважнішого читання, а не як межу між чесними й нечесними.
Три речі, які варто запам'ятати
Перша: оцінка стилю не відповідає на питання «хто писав». Друга: те саме число для новини, листа й особистого есе означає різне, тож жанр важить завжди. Третя: відсутність високої оцінки теж нічого не доводить, бо сучасні моделі проходять перевірку легше за перші чат-боти. Тримайте це в голові, і детектор стане корисним способом перечитати текст, а не суддею.
Чому ми про це пишемо самі
Сервіс, який ховає свої межі, шкодить і авторам, і собі.
Тому на сторінці результату ми показуємо рівень упевненості за довжиною тексту, пояснення до кожного доказу й примітку, що оцінка не є доказом авторства. А коли сигналу не вистачає, так і пишемо.
Що робити далі
Сприймайте оцінку як підказку, де варто уважніше перечитати текст, а не як доказ. Дивіться на конкретні підсвічені місця, зважайте на жанр і довжину. Для спірних випадків є надійніші способи: чернетки, історія правок, розмова з автором.
- Перевірте свій текст і відкрийте список доказів: він показує рядки, а не лише число.
- Якщо ви вчитель чи редактор, візьміть чесний чек-лист.
- Якщо вас уже помилково запідозрили, прочитайте історію з парадоксом, коли детектор плутає людину і ШІ.