Бурстинесс і перплексія без формул
Бурстинесс - це мінливість тексту: де речення короткі, де довгі, де автор стишує темп, а де натискає. Перплексія показує, наскільки слова здивували б мовну модель. Обидві ідеї корисні. Але докази з них слабкі, і зараз поясним, чому.
Перплексія: наскільки текст передбачуваний
Почніть фразу «Доброго ранку, шановні...» і спробуйте вгадати, що далі. Вгадаєте майже напевно. Для моделі таке продовження майже не дивує, тобто перплексія низька. А «Доброго ранку, шановні вовки» її збентежить.
Логіка детекторів на перплексії проста. Машина бере слова, які вважає найімовірнішими, тож текст виходить передбачуваний. Людина частіше повертає кудись убік.
Біда в тому, що передбачуваним буває не лише машинний текст. Вітальний лист, інструкція, договір, шкільний переказ - усе це гладке за самою природою жанру. До того ж грає роль тема й мова: для менш поширених мов моделі гірше оцінюють слова.
Бурстинесс: чи нерівний текст
Слово англійське, burst означає сплеск. У тексті це довгі речення впереміж із короткими, абзаци різного розміру, місця, де думка то біжить, то гальмує.
Людина пише нерівно: коротко, потім довго, потім раптом відступ. Модель за замовчуванням тримає рівний охайний темп, тому ритм виходить плаский. Але це лише тенденція. Досить дати моделі чіткі вказівки щодо стилю або пройтися по результату руками, і вона слабшає.
Маленький приклад (ілюстрація, не вимірювання)
Два умовні фрагменти про одне й те саме. Ми їх вигадали для пояснення, це не дані з корпусу.
Фрагмент А: «Ми запровадили нову систему. Вона спрощує роботу. Вона економить час. Вона підвищує якість. Команда задоволена результатами».
Фрагмент Б: «Систему запровадили у вівторок. Спершу ніхто не вірив, що вона щось змінить, а потім Оля порахувала: звіт, на який раніше йшов цілий ранок, тепер готується за двадцять хвилин. Це нас переконало».
У фрагменті А речення майже однакові, по три-чотири слова, ритм як у метронома. У Б є і зовсім коротке речення, і довге, плюс конкретика. На слух Б живіший. Проте А цілком могла написати людина, яка складає службову записку, а Б - модель, якій веліли звучати невимушено.
Як це пов'язано з AuthorText
Перплексію моделі ми не рахуємо. Натомість дивимося на прості сигнали, які зачіпають те саме:
- розкид довжини речень і абзаців (наш аналог бурстинесс): чим він менший, тим більше балів;
- повтори слів, зворотів і початків речень;
- штампи за рівнями та щільність сполучників, бо вони теж роблять текст передбачуваним.
Для цього не потрібна жодна мовна модель, вистачає самого тексту, а кожне влучання прив'язане до рядка. Як читати окремі шкали, розповідає стаття Як читати цифри в аналізі AuthorText.
Чому ці ідеї слабкі поодинці
Перша причина - жанр. Новини, службові листи й наукові статті рівні за природою. У наших вимірюваннях охайні новинні тексти людей отримували високі оцінки помітно частіше, ніж розмовні.
Друга - довжина. До трьохсот слів сигнал майже випадковий: кілька речень статистики не вистачає ні на що.
Третя - правка. Людина підредагувала машинну чернетку або модель підредагувала людську, і ознаки змішалися. Наш попередній замір такі випадки майже не розрізняє.
Четверта - самі моделі. Нові проходять перевірку легше, ніж перші чат-боти, тож ознака, яка колись працювала, з часом тьмяніє. На великому корпусі аналіз знаходить лише частину текстів нейромереж, якщо хибні спрацювання тримати на рівні 1%. Докладніше в статті Чому сучасні детектори ШІ помиляються.
Де це розходиться на практиці
Є два типових випадки, на яких слабкість обох ідей видно найкраще. Перший: людина пише стисло, по-службовому. Речення короткі й схожі, слова передбачувані, і обидва «лічильники» радісно кричать про машину. Другий: нейромережі показали зразок живого письма й попросили наслідувати. Вона відтворила нерівність, і лічильники мовчать.
Тому в AuthorText ці сигнали ніколи не стоять поодинці. Їх зважено разом із жанром, довжиною та іншими ознаками. А коли текст короткий або жанр такий, що сигнал не працює, ми так і пишемо: даних замало. Результат - підказка, куди придивитися, а не вирок.
Що робити далі
- Не робіть висновків за однією ознакою. Рівний ритм без інших сигналів нічого не доводить.
- Вставте текст у перевірку і гляньте на конкретні місця: де речення однакові, де повтори, де штампи.
- Якщо текст ваш і хочеться його оживити, додайте конкретики й поламайте ритм. Шість прийомів зібрано в статті Як зробити текст живішим.
- Якщо оцінюєте чужий текст, відкрийте чесний чек-лист.
Бурстинесс і перплексія допомагають зрозуміти, чому текст здається шаблонним. Авторство вони не встановлюють.