Як сьогодні перевіряють текст на ШІ

Ми спитали про це чотирьох різних ШІ-асистентів і порівняли відповіді. Висновок у всіх однаковий: єдиного тесту не існує, а відповідь завжди лише ймовірна.

Сім підходів

1. Статистика. Перплексія (наскільки передбачувані слова) і burstiness (наскільки нерівний ритм речень). Швидко й зрозуміло. Проблема в тому, що гладкий людський текст теж передбачуваний.
2. Ймовірнісні методи без навчання (DetectGPT, Binoculars). Вони порівнюють правдоподібність тексту та його перефразувань. Якщо текст перефразувати або підмінити символи на схожі, метод сильно слабшає.
3. Стилометрія. Різноманітність лексики, довжина фраз, слова-зв'язки, пунктуація. Метод прозорий і краще переносить правки, але залежить від жанру й мови.
4. Навчені класифікатори (RoBERTa та подібні). На них тримаються комерційні системи. На знайомих даних точні, а з виходом нових моделей швидко застарівають.
5. Водяні знаки. Сигнал, який закладають під час генерації. Працює, лише коли генератор його справді додав, а після переписування зникає.
6. Процес написання. Чернетки, історія правок, паузи, вставки. Це найпряміший доказ, але потрібен доступ до самого процесу.
7. Ансамблі. Кілька сигналів і людина, яка дивиться на результат. Надійніше, зате дорожче.

Де сходяться всі джерела

• Детектор оцінює ймовірність, а не факт авторства.
• Найгірше він працює на змішаних текстах, коли людина редагує ШІ або ШІ редагує людину. У цитованих дослідженнях точність падала приблизно до 54-71%.
• Хибні спрацювання лишаються головним ризиком. Найбільше від них страждають формальні й академічні тексти та автори, для яких мова нерідна.
• Перефразування й «олюднювачі» різко знижують точність.
• Цифри виробників (99% і вище) помітно розходяться з незалежними тестами.

Відсоток: що можна чесно сказати

Маючи лише готовий текст, історію його створення не відновиш. Тому правильніше казати не «ШІ написав 65%», а «у 65% тексту є ознаки машинної генерації». Задум і правку людини така цифра не показує.

Хороша система при цьому:

• вважає головною помилкою хибне спрацювання на людському тексті;
• калібрує пороги окремо для кожної мови, жанру й довжини;
• показує, які місця викликали підозру, і межі невизначеності;
• чесно каже «не впевнені», коли текст короткий або мову вивчено слабко.

Мови

Найкраще вивчена англійська. У російській багато формального тексту, який і так «рівний», тому хибних тривог більше. Української у відкритих даних найменше, тож і надійність нижча. З португальською трохи краще.

Що в нас уже є

Порівняємо із сімома підходами вище.

• Стилометрія. Це наш основний метод. Ми дивимося на розкид довжини речень і абзаців, слова-зв'язки, різноманітність лексики, пунктуацію та ШІ-фрази трьох рівнів російською, українською, португальською й англійською.
• Пояснюваність. Замість голого числа ви бачите конкретні місця: номери рядків, цитати й пояснення, чому ця ознака важить. За дослідженнями, галузь рухається саме туди.
• Оцінка за фрагментами та підказки. Видно, які ділянки одноманітні чи шаблонні й як їх виправити. Це правила, без нейромереж.
• Приховані символи. Ми знаходимо й прибираємо невидимі знаки, якими інколи позначають текст (259 видів), а типографіку зводимо до простої. Це не статистичний водяний знак на рівні слів, а саме символи.
• Чесність меж. На коротких текстах висновку ми не робимо. Про гладкі жанри (новини, ділове листування, реклама), де людина часто виглядає «машинно», попереджаємо.
• Вимірювання. Ми перевіряємо на корпусі з довірчими інтервалами й розбивкою за мовами та довжиною. Вибірка поки мала: поріг 50 на 34 ШІ-текстах і 20 людських дав 0% хибних спрацювань, але остаточною точністю це ще не є.

Що хочемо додати

• Більший корпус. Щонайменше 600 людських текстів на мову, а ще окремо тексти авторів з нерідною мовою, перефразовані й змішані. Сьогодні саме тут слабкі всі детектори.
• Калібрування за мовою та довжиною. Зони «людина / невизначено / ШІ» за розподілами на корпусі, а не пороги, підібрані вручну.
• Діапазон замість однієї цифри. Підсумок зі шкалою невизначеності й позначкою «немає даних», коли висновку зробити не можна.
• Частка за фрагментами. «У цій частині тексту є ознаки генерації» замість загального відсотка.
• «Що якщо». Порівняння оцінки місця до правки й після.
• Тип тексту (новина, відгук, пост, стаття) зі своїми порогами, щойно з'являться жанрові корпуси.
• Необов'язковий сигнал мовної моделі на зразок Binoculars. Лише якщо перевірка покаже помітний виграш, скажімо, на текстах нерідною мовою та перефразованих. Якщо ні, не вмикатимемо.

«Невідмінності від людини» ми не обіцяємо й інструмент для обходу перевірок не робимо. Наша мета інша: щоб текст ставав живішим, а оцінка чеснішою. Сприймайте результат як підказку, де варто перечитати уважніше, а не як вирок.

Що почитати далі

• Як зрозуміти, що текст написав ШІ: прикмети, за якими текст виглядає шаблонним.
• Чому сучасні детектори ШІ помиляються: чесні цифри й межі.
• Перевірити свій текст: список доказів із номерами рядків.