Невидимі символи в скопійованому тексті

Буває, що текст на екрані виглядає бездоганно, а поводиться дивно. Пошук не знаходить слово, яке точно там є. Посилання веде на сторінку з помилкою. Шматок коду не запускається. Часто винен символ, якого ви просто не бачите.

Що це за символи

Текст - це послідовність кодових точок, і далеко не кожна щось малює. Ось звичайні підозрювані:

• Символи нульової ширини (U+200B пробіл нульової ширини, U+200C і U+200D сполучники, U+FEFF мітка порядку байтів). На екрані вони місця не займають.
• Знаки напрямку письма (U+202A - U+202E та схожі). Вони задають напрямок тексту, що потрібно для арабської чи івриту, а в українському абзаці зайве.
• М'який перенос (U+00AD). Позначає місце, де слово можна розірвати, і видно його, лише коли рядок переноситься.
• Дивні пробіли: нерозривний і ціла родина вузьких, широких і тонких, схожих на звичайний, але не рівних йому.
• Типографська пунктуація: вигнуті лапки, довге тире, три крапки одним знаком, маркери й стрілки.

Остання група якраз видима. Та це інший символ, не той, що на вашій клавіатурі, і програми часто ставляться до нього по-іншому.

Звідки вони беруться

Здебільшого зі звичайного копіювання:

• вікна чатів і вебсторінки, де верстка додає м'які переноси чи пробіли нульової ширини, щоб керувати розривом рядків;
• текстові редактори, які під час набору міняють прямі лапки й дефіси на "розумні";
• перекладачі та видобування тексту з PDF, що можуть вставити дивні пробіли або порвати слова;
• документи, які пройшли через кілька програм, і кожна додала щось своє.

Ніхто тут нічого лихого не зробив. Просто так мандрує текст. Ми не стверджуємо, що якийсь конкретний сервіс навмисно вставляє невидимі символи у свої відповіді: даних для такого висновку в нас немає.

Чим вони заважають

• Ламається пошук. Слово зі схованим символом усередині - інший рядок. "Договір" і "дого[нульова ширина]вір" не збігаються.
• Дивні відмінності. Два рядки, однакові на вигляд, програма вважає різними.
• Код і адреси не працюють. Досить вигнутих лапок у команді чи пробілу нульової ширини в посиланні, щоб усе стало, а повідомлення про помилку рідко пояснює чому.
• Антиплагіат плутається. Приховані символи й підмінені пробіли змінюють поділ на слова, і збіги можуть зникнути або з'явитися хибно.
• Верстка глючить. З'являються дивні проміжки, рядки, що не переносяться, або рвуться не там.

Як знайти й очистити

В AuthorText для цього є два способи.

Перший - перевірка. Вона підсвічує символи, схожі на водяні знаки, і типографіку, тож ви бачите, де вони сидять, і не вгадуєте. Детектор знає 259 таких кодових точок: символи нульової ширини, м'який перенос, невидимі оператори, знаки напрямку, селектори варіантів, тегові символи, символи приватного використання й деякі інші.

Другий - інструмент "Очистити та нормалізувати". Він прибирає ці символи й зводить типографську пунктуацію до звичайного ASCII: прямі лапки, простий дефіс, три крапки. Перш ніж користуватися результатом, порівняйте його з оригіналом.

Коротко, що робити:

1. Вставте текст у перевірку і погляньте на підсвічені місця.
2. Вирішіть, чи нормалізувати все (для коду, адрес і даних зазвичай так), чи тільки частину.
3. Запустіть очищення й порівняйте.

Одне застереження. Довге тире в художньому тексті може бути свідомим вибором. У технічних текстах нормалізація доречна, а в прозі за бажанням.

Зовсім інше: статистичні водяні знаки

У слова "водяний знак" є друге значення, і його краще тримати окремо. Дослідники пропонували позначати мовні моделі на рівні токенів: під час генерації модель злегка підштовхують до певних слів за схемою, яку потім може перевірити той, хто має ключ.

Такий знак складається не із символів. У тексті не заховано жодної кодової точки. Він живе у виборі слів, тому програма для очищення символів його не знайде й не прибере. AuthorText не заявляє, що виявляє його: наш аналіз дивиться на стиль, а не на секретний ключ. Невидимі символи й статистичні водяні знаки - дві різні теми, і перша про другу нічого не каже.

І ще одне: текст зі схованими символами не обов'язково написав ШІ, а текст без них не обов'язково написала людина. Вони розповідають, як текст копіювали, а не хто його писав.

Що робити

Перш ніж публікувати, надсилати чи запускати скопійований текст, гляньте на нього один раз. Перевірте текст, щоб побачити приховані символи й типографіку, а тоді скористайтеся "Очистити та нормалізувати", якщо потрібен звичайний ASCII. А коли є й інші підстави підозрювати текст, наш короткий посібник про ознаки ШІ-тексту підкаже, на що ще дивитися і чому це не доказ.