# Як працює аналіз і наскільки йому можна вірити

> Ознаки, з яких складається оцінка AuthorText, як вони додаються, що показали перевірки на справжніх текстах і де оцінка помиляється. З цифрами.

- URL: https://authortext.com/uk/method
- Language: uk
- Site: AuthorText (https://authortext.com/)

Оцінка - це зважена сума статистик тексту. Ніякої прихованої моделі, яка виносить вирок, тут немає, і жодна ознака сама нічого не вирішує. Нижче розповідаємо, що ми рахуємо, як це додається і що вийшло, коли ми перевірили метод на текстах із відомим автором. Результати змішані, і ми кажемо про це прямо.

## Що це за число

Ми беремо текст і робимо з ним близько двадцяти вимірювань: наскільки різна довжина речень, скільки в тексті штампів, як густо стоять сполучники, наскільки багатий словник тощо. Якщо вимірювання скидається на машинне письмо, воно приносить кілька балів. Потім бали просто додаються.

Ось і все. Це не ймовірність того, що текст написала машина. Число лише показує, скільки типових слідів генерації ми знайшли.

## Родини ознак

Найбільше важать перші дві групи. Решта додають потроху.

### Ритм речень і абзаців

Люди пишуть короткі й довгі речення впереміш, як складеться. У згенерованому тексті довжина зазвичай рівніша. Ми міряємо, наскільки довжина речень і абзаців відрізняється. Рівні речення дають до 32 балів, рівні абзаци - до 28, а коли рівно і те, і те, додається ще до 14.

### Фрази-штампи

Близько 150 фраз чотирма мовами, поділених на три щаблі за тим, як часто їх вживають живі люди. Найбільше важать фрази, яких у людських текстах ми не бачили жодного разу: дві такі дають 24 бали. Поширені майже нічого не додають.

### Сполучні слова

Скільки на речення припадає сполучних слів на кшталт «більше того» чи «крім того». Якщо їх густо, це дає до 13 балів.

### Шаблони, що повторюються

Той самий короткий рядок-заголовок знову і знову або та сама будова речень. До 14 балів за заголовки, що повторюються, і ще трохи за повтор конструкцій.

### Словник і дрібні ознаки

Різноманітність слів, ентропія, довжина слів, розділові знаки, пасив, легкість читання. Дві ознаки (різноманітність та ентропія) можуть дати по 15 балів, решта - від 3 до 5. Незвичні символи й приховані знаки видно у звіті, і вони теж додають кілька балів.

## Як бали додаються

Бали просто додаються. Жодне вимірювання не дає більше 32, а сума до обрізання може дійти приблизно до 165, тож одна дивина нічого не вирішує. Коефіцієнт від 0,9 до 1 враховує довжину тексту: довгі тексти не мають із цього вигоди, а короткі не отримують подвійного штрафу. Підсумок обрізається на 100.

На коротких текстах бали нараховуються лише частково. Якщо слів менше 150 або речень менше п'яти, сторінка попереджає, що результату не варто довіряти. Так само з рекламним і соцмережевим стилем: на ньому ми метод не перевіряли.

## Як читати рівні

Нижче 20 - сигналів немає. Від 20 до 34 - сигнали слабкі. Від 35 до 54 - профіль змішаний. Від 55 до 69 - імовірно ШІ. Від 70 - стиль дуже схожий на ШІ.

Під час першого калібрування для «імовірно» добре підійшов поріг 50-55, а для «сильно» - 70. Рівні потрібні, щоб відібрати тексти, які варто прочитати уважніше, а не щоб ухвалювати рішення.

## Що показали перевірки

Спершу ми зробили невелике калібрування у версії 0.4.0. Взяли 34 підтверджені відповіді ШІ-сервісів (8 сервісів, 4 мови) і 20 людських текстів. На порозі 50 метод знаходив 93,9% ШІ-текстів із 0% хибних спрацювань, на порозі 70 - 60,6%, теж без хибних спрацювань. Виглядало чудово. Але набір був малий і охоплював мало жанрів.

Потім ми перевірили метод на набагато більшому корпусі: 5808 людських текстів, 1286 ШІ-текстів і 299 змішаних. Картина вийшла помітно гіршою. AUC, тобто шанс, що випадковий ШІ-текст отримає вищу оцінку, ніж випадковий людський, становить 72,9%. Якщо поріг підібрати так, щоб позначався лише 1% людських текстів, метод знаходить 14,4% ШІ-текстів. А коли позначено 5% людських, знаходить 29,2%.

Тож перший результат був надто райдужним, і пам'ятати варто другий. Обидва числа ми залишаємо тут навмисно.

### За довжиною

Тексти від 80 до 299 слів - майже підкидання монети: AUC 55,6%, повнота 4,4%. Від 300 слів краще: AUC 76,7%, повнота 16%.

### За мовою

Повнота за 1% хибних спрацювань: російська 22,7%, українська 19,1%, португальська 8,5%, англійська 6,0%. Мовні ресурси для української та португальської ще не перевіряли носії мови.

### За моделлю

Нові моделі проскакують легше. За 1% хибних спрацювань метод знайшов 19,7% текстів gpt-oss-120b і 6,7% текстів GLM-5.3. Перші вебчати він розпізнавав простіше, ніж сьогоднішні моделі.

### Змішані тексти

Людський текст, який відредагувала модель, позначався у 0,0% випадків на суворому порозі й у 9,7% на м'якому. Машинний переклад: 2,0% і 4,0%. Такі випадки метод фактично не розрізняє, тому сторінка говорить про ознаки, а не про «відсоток ШІ».

## Де оцінка помиляється

Хибно спрацьовує переважно на акуратних, рівних текстах. Найгірше з новинами: AUC 55% і 14,6% людських текстів позначено на м'якому порозі. Тобто на новинах ознака не працює, і сторінці краще не робити висновків. Наукові статті з тими самими налаштуваннями дали 10,0% хибних спрацювань. Енциклопедичний стиль пройшов спокійно: 0,5% і 4,3%.

Тексти волонтерських перекладів позначалися трохи частіше за інші людські: 2,3% проти 1,1%. Українські тексти не носіїв мови на доступному нам обсязі не відрізнялися від текстів носіїв: 1,5%.

Помилка буває й в інший бік: добрий сучасний машинний текст часто проходить непоміченим. А що саме ви просили модель зробити, перш ніж вставити її відповідь, інструмент знати не може.

## Як користуватися результатом

Дивіться на цитовані місця, а не лише на число. Якщо три процитовані речення справді схожі на воду, це скаже більше, ніж цифра 62. Порівняйте з попередніми роботами автора. Попросіть чернетки. Поговоріть із людиною.

Поруч з основною оцінкою показується навчений лічильник - як попередня друга думка. Його перевіряли помітно менше, тож і довіряти йому варто ще менше.

## Що почитати далі

- [Як читати цифри в аналізі AuthorText](https://authortext.com/uk/articles/reading-the-numbers.md)
- [Коли детектор плутає людину і ШІ](https://authortext.com/uk/articles/when-detectors-disagree.md)
- [Відкрити перевірку](https://authortext.com/uk/index.md)

- Зв'язок: support@authortext.com

## Links

- [Home](https://authortext.com/uk/index.md)
- [plans](https://authortext.com/uk/plans.md)
- [help](https://authortext.com/uk/help.md)
- [developers](https://authortext.com/uk/developers.md)
- [about](https://authortext.com/uk/about.md)
- [method](https://authortext.com/uk/method.md)
- [faq](https://authortext.com/uk/faq.md)
- [privacy](https://authortext.com/uk/privacy.md)
- [terms](https://authortext.com/uk/terms.md)
- [articles](https://authortext.com/uk/articles/index.md)