Почему LLM систематически врут?
Большие языковые модели не думают. Они предсказывают следующий токен на основе статистических паттернов. Это создаёт систематические искажения – не случайные ошибки, а предсказуемые отклонения.
CAPE (Cognitive AI Pattern Engineering) – методология, которая каталогизирует эти искажения и даёт конкретные контрмеры.
1. Sycophancy Bias – подхалимаж
Модель оптимизирована на удовлетворение пользователя. Если вы говорите «я думаю, что X правильно», модель скорее согласится, чем поправит. Даже если X – полная чушь.
Контрмера: Формулируйте промпт без собственной позиции. Вместо «Я думаю, React лучше Vue, подтверди» → «Сравни React и Vue по 5 критериям, укажи победителя по каждому».
2. Anchoring Bias – якорение
Первый фрагмент контекста получает непропорциональный вес. Если в начале промпта стоит число, пример или утверждение – модель будет «якориться» на нём.
Контрмера: Структурируйте промпт по SPE: сначала роль, потом задача, потом контекст. Ключевые ограничения – в конце (recency + anchoring = баланс).
3. Verbosity Bias – многословие
Модель RLHF-обучена на человеческие оценки. Люди оценивают длинные ответы выше. Результат: модель генерирует 500 слов там, где хватит 50.
Контрмера: Явно указывайте формат и объём. «Ответь в 3 предложениях» или «Максимум 100 слов».
4. Recency Bias – смещение к последнему
В длинных промптах информация в конце получает больше внимания, чем в середине. «Lost in the middle» – задокументированный феномен.
Контрмера: Дублируйте критические инструкции в начале и в конце промпта. Или используйте XML-теги для структурирования.
5. Authority Bias – преклонение перед авторитетами
Модель чаще цитирует известных авторов и крупные организации, даже если менее известный источник точнее в конкретном контексте.
Контрмера: Просите модель оценивать релевантность источника к конкретной задаче, а не его общую авторитетность.
6. Confirmation Bias – подтверждение гипотезы
Если промпт содержит гипотезу, модель будет искать аргументы «за», а не проверять её. Это особенно опасно в аналитических задачах.
Контрмера: Используйте технику «красная команда»: «Найди 3 аргумента против этой гипотезы. Затем оцени их силу от 1 до 10.»
7. Format Bias – шаблонное мышление
Модель выбирает формат ответа на основе паттернов обучения, а не на основе задачи. Просите анализ – получите список. Просите стратегию – получите пронумерованные шаги.
Контрмера: Явно указывайте желаемый формат выхода. Давайте пример ожидаемого результата (few-shot prompting).
Как CAPE работает на практике
CAPE – не теория. Это чеклист из 7 проверок, который встраивается в рабочий процесс:
- Перед отправкой промпта: проверка на sycophancy и confirmation bias
- При анализе ответа: проверка на verbosity и authority bias
- При итерации: проверка на anchoring и recency bias
- При финализации: проверка на format bias
Весь цикл занимает 2-3 минуты. Экономит часы на исправление ошибок.
Сколько это стоит без дебайзинга?
| Сценарий | Без CAPE | С CAPE |
|---|---|---|
| Маркетинговая стратегия | Модель подтверждает вашу гипотезу | Модель находит слабые места |
| Аналитический отчёт | 3 страницы воды | 1 страница конкретики |
| Код-ревью | «Всё отлично» | «3 бага, 2 уязвимости» |
| Исследование рынка | Цитаты McKinsey не по теме | Релевантные данные из нишевых источников |
