Детектор ИИ-текста: как он работает и почему ошибается

Вы вставляете текст, нажимаете «Проверить» и видите: 64% ИИ. Что это значит? Что 64% слов написала нейросеть? Нет. И именно из-за этого непонимания вокруг детекторов столько споров. Разберёмся, как они устроены, почему ошибаются и как пользоваться ими с пользой.

Как детектор понимает, что текст написан ИИ

Детектор не знает, кто на самом деле писал текст. Он сравнивает ваш текст с тем, как обычно пишут люди и как пишут нейросети, и оценивает, на кого он больше похож.

Для этого детекторы смотрят на несколько вещей:

• Предсказуемость слов. Нейросеть выбирает самое вероятное следующее слово, поэтому её текст гладкий и предсказуемый. Человек чаще выбирает неожиданные слова и обороты.
• Ритм. У людей предложения разной длины, у нейросети они похожи друг на друга.
• Типичные обороты. У нейросетей есть любимые фразы: «важно отметить, что», «играет ключевую роль», «в современном мире». Чем их больше, тем выше подозрение. Полный список в статье о признаках ИИ-текста.
• Структура. Списки ровно из трёх пунктов, связка в начале каждого абзаца, вывод, повторяющий введение.

Многие детекторы устроены как классификатор: программу обучают на большом наборе текстов, где заранее известно, какие написаны людьми, а какие нейросетями. По этим примерам она учится отличать одно от другого.

Что значит процент в результате

Процент ИИ — это оценка уверенности детектора, а не доля текста, которую написала машина. 64% не означает, что 64 слова из 100 сгенерированы. Это значит, что текст в целом сильно похож на типичный текст нейросети.

Хорошие детекторы, кроме процента, подсвечивают конкретные фразы. Это полезнее цифры: сразу видно, что именно звучит машинно и что исправить.

Почему детекторы ошибаются

Ни один детектор не даёт стопроцентной точности. Даже Антиплагиат в своей памятке для преподавателей пишет, что ложные срабатывания возможны, а доказать, что текст писал не человек, нельзя. Вот где ошибки случаются чаще всего.

Сухие научные и юридические тексты

Учебники, статьи, договоры написаны людьми, но по правилам: термины, канцелярские обороты, ровная структура. Детектору такой стиль кажется машинным, и честно написанная работа может получить высокий процент.

Короткие тексты

На двух-трёх предложениях детектору не на что опереться. Антиплагиат, например, распознаёт сгенерированный текст в документах от двух страниц.

Тексты, которые правили

Если человек написал черновик с нейросетью и сильно его переработал, детекторы расходятся во мнениях: один покажет 10%, другой 50%.

Разные детекторы, разные цифры

У каждого сервиса свои данные для обучения и свои пороги. Поэтому один и тот же текст в разных детекторах получает разные проценты, а иногда и в одном и том же при повторной проверке. Известен случай, когда суд восстановил студентку, отчисленную за диплом «от нейросети», в том числе потому, что результаты проверки расходились.

Пример: что показывает детектор и что с этим делать

Вот настоящий фрагмент статьи от нейросети. Детектор ПРОСТО ТЕКСТ оценил его в 60% ИИ и подсветил восемь оборотов: «играют важную роль», «стоит отметить, что», «представляет собой», «эксперты считают», «это не просто привычки, это», «кроме того», «способствует», «подчёркивая».

Утренние ритуалы играют важную роль в продуктивности человека. Стоит отметить, что ранний подъём представляет собой мощный инструмент саморазвития. Эксперты считают, что первый час после пробуждения задаёт тон всему дню.

Подсветка сразу показывает, что править: вводные обороты, пафос и ссылку на безымянных экспертов. После очеловечивания тот же фрагмент получил 15% ИИ:

Утренние привычки правда влияют на то, как проходит день. Ранний подъём сам по себе не делает человека лучше, но часто даёт одну простую вещь: спокойное время до того, как начнётся обычная суета.

Обратите внимание: детектор не требует «нуля». 15% у живого текста с конкретной мыслью — нормальный результат.

Как устроен детектор ПРОСТО ТЕКСТ

Наш детектор создан под русский язык. Он оценивает текст по 29 приметам ИИ-письма и словарю из 100+ фраз, которые нейросети пишут в десятки раз чаще людей, а в результате показывает не только процент, но и сами фразы-маркеры. Проверка бесплатная, без регистрации и без ограничений по количеству текстов. Если процент высокий, текст можно сразу очеловечить и проверить снова.

Как правильно пользоваться детектором

1. Проверяйте текст целиком, а не по абзацу: так у детектора больше данных.
2. Смотрите на подсвеченные фразы, а не только на процент. Они показывают, что конкретно править.
3. Не гонитесь за нулём любой ценой. Если текст звучит живо, содержит конкретику и ваши мысли, небольшой процент ничего не значит.
4. Проверяйте в том детекторе, которым будут проверять вас, если это возможно. В вузах это обычно Антиплагиат, подробнее в статье Антиплагиат и ИИ.
5. Если процент высокий, перепишите подсвеченные места вручную или очеловечьте текст и проверьте снова.