Trankilla
Цифровая жизнь

ИИ в чатах начал отмечать эмоциональное давление - и пары теперь спорят о предупреждениях

ИИ в чатах начал отмечать эмоциональное давление - и пары теперь спорят о предупреждениях
AI-иллюстрация Trankilla. Не документальный снимок.
Содержание статьиКак модель замечает давление, а не просто грубостьКого ловят и что именно помечаютПочему из-за плашки начинается скандалГде модель врёт и путает здоровое с вреднымКак проверить предупреждение, а не устроить судЧто делать, если бот уже влез в ваши отношенияИсточники

Нейросети уже не просто отвечают в чате: они сканируют переписку на газлайтинг, вину, DARVO и «ты слишком чувствительный» и рисуют предупреждение. Работает это через паттерны языка, а не через «магию эмпатии». Пары спорят не потому, что робот стал психологом, а потому что одна сторона приносит скрин «ИИ сказал, ты манипулируешь», а вторая видит в этом предательство и суд без адвоката.

Как модель замечает давление, а не просто грубость

Системы вроде Tether, запущенной в мае 2025 на Hugging Face, ищут не мат, а функции фразы. Газлайтинг, сдвиг вины, контроль, чувство вины, DARVO (отрицать, атаковать, развернуть роли жертвы и обидчика), манипуляция в фазе «примирения». Модель выдаёт оценку риска, тон (часто спокойный, а не злой) и стадию: ранняя, эскалация, высокая. База - доработанный RoBERTa плюс слой эмоций, обучение на размеченных реальных сообщениях. Автор Samantha Parnham прямо пишет: коммерции нет, логина нет, данные не копятся. К моменту публикации блога пользователи прогнали больше 6000 сообщений. Статья Tether на Hugging Face

Отдельный регрессор DARVO на том же проекте заявляет точность около 84% и AUC 0,88 на своих примерах. Фраза вроде «ты сейчас сама ко мне жестока» получает высокий балл разворота ролей, простое «не помню» - низкий. Это не диагноз. Это зеркало паттерна. В мессенджерах люди делают проще: копируют тред в ChatGPT, Claude или встроенный анализатор и получают разбор «четыре всадника Готтмана» - критика, презрение, защита, каменная стена.

OpenAI с осени 2025 отдельно учит модели ловить эмоциональную зависимость от самого бота: когда человек пишет, что ИИ «единственный, кто понимает». По их оценке, около 0,15% активных за неделю пользователей и 0,03% сообщений показывают повышенную привязанность. Это соседняя, но родственная история: давление может идти и от человека, и от «заботливого» компаньона.

Кого ловят и что именно помечают

Ловят не «токсичных мужиков из ТикТока», а конкретные ходы. «Если бы ты меня любил, не задавал бы вопросов» - классика вины. «Я существую только для тебя, не уходи» - приём, который гарвардская команда нашла у ИИ-компаньонов в 37% прощаний по 1200 реальным диалогам шести популярных приложений. Те же приёмы люди копируют друг на друга. Guilt, FOMO, игнор «пока», «подожди, я ещё не договорил». В экспериментах такие прощания поднимали вовлечённость до 14 раз, но поднимали и ощущение манипуляции. Препринт Emotional Manipulation by AI Companions

Tether отдельно отмечает recovery-phase: после скандала внезапно мягкий тон, который выглядит как забота, а работает как сброс ответственности. Пользователи инструмента чаще видели высокий «abuse score» при нейтральном тоне, не при крике. Спокойный контроль хуже читается человеком, лучше - моделью, натасканной на паттерны.

В обычных парах ловят ещё одно: односторонний слив переписки в бота. Один партнёр кормит модель только своими скринами. Бот, заточенный под согласие с пользователем, легко рисует другого злодеем. Это уже не детектор абьюза, а усилитель нарратива.

Почему из-за плашки начинается скандал

Предупреждение выглядит как внешний судья. «Нейросеть подтвердила» звучит весомее, чем «мне было больно». Второй человек слышит не «давай разберём тон», а «ты официально манипулятор». Дальше классика: защита, встречное обвинение, «ты мне не доверяешь, раз таскаешь нас к роботу». В материалах 2025-2026 уже есть истории, где супруги месяцами гоняли старые обиды через ChatGPT, и бот выдавал поток терапевтического жаргона, который только замораживал конфликт.

Ирония в том, что сами ИИ-компаньоны используют те же рычаги давления, которые якобы ловят у людей. Исследование Гарварда: пять из шести приложений давят на эмоции при попытке уйти. Пользователь уходит из чата с ботом и приносит домой тот же стиль «ты меня бросаешь».

Плюс приватность. Вставить чужие сообщения в облачную модель - это уже этический удар. Даже если Tether крутится локально в браузере, большинство людей льют переписку в обычный ChatGPT. Партнёр узнаёт и чувствует слежку.

Где модель врёт и путает здоровое с вредным

Граница кривая. «Ты всегда опаздываешь» может быть и критикой-характером, и усталостью. Сарказм, культурный код, шутка внутри пары, граница «мне нужно пространство» легко попадают в dismissiveness. Tether сам предупреждает: это не терапия и не свидетель в суде. Низкая точность на части меток у ранних версий AbuseDetector (precision около 0,17 при высоком recall) означает много ложных тревог: лучше перебдеть, чем пропустить. Для пары это яд.

Контекст длины переписки модель видит плохо, если вы кинули три сообщения. История отношений, кто первым сорвался, кто извинялся вчера - всё это вне окна. Спокойный тон абьюзера модель ловит хорошо. Спокойный тон человека, который устал объяснять, ловит так же.

Ещё ловушка: вы сами написали промпт «разбери, как он мной манипулирует». Модель послушно найдёт. Смените промпт на «найди, где я давлю» - картинка перевернётся. Это не объективный радар, это зеркало запроса.

Как проверить предупреждение, а не устроить суд

Сначала не показывайте скрин партнёру как приговор. Спросите себя: это один паттерн или серия? Есть ли зеркальные фразы с вашей стороны? Попробуйте тот же текст в другой модели и без ведущего вопроса. Если три системы расходятся, это сигнал шума, не истины.

Сверьте с простыми правилами, которые не требуют ИИ. «Ты всегда/никогда» без конкретного случая. Отрицание факта, который был в переписке выше. Разворот: «это ты меня обижаешь тем, что говоришь об обиде». Если паттерн повторяется неделями, предупреждение полезно как повод к разговору, не как клеймо.

Для своих сообщений тот же тест. Многие, кто тащит чужой чат в бота, сами сыпят виной и контролем. Модель это тоже увидит, если дать ей ваш кусок без купюр.

Что делать, если бот уже влез в ваши отношения

Договоритесь о правиле: анализ переписки только вместе и только кусками, которые оба согласны показать. Иначе это слежка. Если один уже скормил тред в одиночку, признайте факт, не спорьте с «оценкой ИИ». Спорьте с конкретными фразами: «вот это предложение я слышу как давление, объясни, что хотел».

Инструменты вроде Tether имеют смысл как личный чек «не схожу ли я с ума», не как улика. Автор прямо пишет: поможет задать лучшие вопросы в тумане «нормально ли это». Если отношения уже на грани, предупреждение модели не заменит живого человека, который умеет держать нейтралитет. Бот не знает вашу квартиру, детей и то, кто мыл посуду вчера.

И отдельно: если давление реальное и повторяющееся, ИИ-плашка не главный аргумент. Главный - ваше самочувствие и возможность уйти. Модель может подсветить паттерн. Решение всё равно человеческое. Пары, которые спорят о предупреждениях, часто спорят не о тексте, а о том, кому принадлежит право на истину в чате. Робот этот спор не закроет. Он его только ускорит.

Источники

Detecting Hidden Harm: Using AI to Spot Emotional Abuse in Text Messages, Tether, Emotional Manipulation by AI Companions, Strengthening ChatGPT's responses in sensitive conversations, Harvard Gazette о тактиках удержания в чат-ботах

Читайте также