Коли детектор плутає людину і ШІ
Таке трапляється: статтю написала людина, а детектор ставить їй високу оцінку «ШІ». І навпаки, текст нейромережі здається йому цілком людським. Річ у тім, що детектор оцінює стиль, а стилю байдуже, хто його створив.
Що сталося
Власник сервісу перевірив власну статтю, написану без жодної нейромережі, і побачив високий відсоток «ШІ». Тоді взяв текст, який нейромережа написала за вільним проханням, і отримав «швидше людина». Перша думка: інструмент зламався. Друга, розумніша: інструмент якраз показав, де його межі.
Це не виняток
У наших вимірюваннях українською, російською, португальською й англійською частка текстів нейромереж, позначених вище порога, сильно залежала від сервісу: приблизно від 20% до 90%. А серед охайних новинних текстів, написаних людьми, російською та українською близько третини отримували високі оцінки. Один і той самий поріг одних ловить, інших пропускає. Дивно? Ні.
На більшому корпусі картина така сама твереза. Для новин аналіз майже не відрізняє людські тексти від машинних, а на текстах до трьохсот слів сигнал близький до випадкового. Сучасні моделі проходять перевірку легше за перші чат-боти.
Чому так буває
Детектор бачить стиль: рівний ритм, типові звороти, ніякої шорсткості. Людина, яка довго шліфує статтю, робить її гладкою. Нейромережа, якій веліли писати простіше й неформально, додає «живості». Стиль не питає, хто його створив.
Окремо стоять змішані тексти. Людина відредагувала машинну чернетку або модель підправила людський текст, і наш попередній замір різниці майже не бачить. Тому ми й говоримо про «частку тексту з ознаками генерації», а не про «відсоток ШІ».
Що це означає для тих, хто пише
Люди починають боятися власної охайності. Спрощують текст, навмисно пишуть недбало, аби не отримати ярлик. Найчастіше під підозру потрапляють студенти, фрилансери й ті, хто пише нерідною мовою. Добре написаний текст не повинен бути приводом для звинувачень.
Як виглядає хибне спрацювання зсередини
Погляньмо, що саме побачив детектор у статті власника. Автор роками пише нариси й довго шліфує кожен абзац: викидає повтори, вирівнює довжину речень, додає зв'язки, щоб думка текла. Для людини це ремесло. Для лічильника - рівний ритм, помірна щільність сполучників і мало «шорсткості».
Дзеркальний випадок: нейромережі сказали писати розмовно, короткими фразами, з іронією. Вона слухняно додала нерівності, і лічильник побачив те, що зазвичай бачить у людей. Жоден із двох результатів про автора нічого не каже.
Чого нам це навчило
Ми показуємо не лише число, а й рядки: де штампи, де абзаци однакові. З цим можна працювати, з голим відсотком - ні.
Коли тексту замало, ми так і кажемо. Це короткий фрагмент або жанр, де сигнал не працює, наприклад новини.
І ми не обіцяємо, що аналіз упіймає все. На великому корпусі він знаходить лише частину текстів нейромереж, якщо хибні спрацювання тримати на рівні 1%.
Чому це важливо саме для вас
Найгірше при хибному спрацюванні - не розчарування від числа, а рішення, яке за ним ухвалять. Студента можуть викликати на розмову, фрилансера лишити без оплати, автора блогу назвати шахраєм. Якщо ви в такій ситуації, правило просте: просіть показати, на що спирається висновок, і показуйте процес. Чернетки, нотатки й історія версій не залежать від того, наскільки рівний ваш текст. А розмова про конкретний рядок важить більше за суперечку про відсоток.
Тож перш ніж вірити будь-якому детектору, спитайте себе: чи знає він власні межі для цього жанру, цієї довжини й цієї мови? Якщо автор інструмента про них мовчить, це тривожний знак.
Підсумок такий: хибне спрацювання не означає, що ви написали погано. Воно означає лише, що ваш стиль збігся з тим, що лічильник вважає типовим.
Що робити далі
- Якщо ви автор: зберігайте чернетки й історію правок. Сильнішого доказу в вас не буде.
- Якщо ви читач чи редактор: не вирішуйте за одним числом. Скористайтеся чесним чек-листом і поговоріть з автором.
- Якщо хочете побачити, які місця виглядають шаблонно, перевірте текст і відкрийте список доказів із номерами рядків.
Чому помиляються навіть уважні детектори, читайте в статті Чому сучасні детектори ШІ помиляються. Оцінка - привід перечитати текст, а не вирок.