Почему один и тот же промт даёт разные ответы в ChatGPT и других LLM: техническое объяснение для российских разработчиков

Введение

Вы отправляете один и тот же запрос — например, «Напиши функцию на Python для парсинга XML» — и получаете пять разных ответов. Это не баг, а фундаментальное свойство современных LLM. Для западных пользователей это любопытный факт, но для российских компаний, внедряющих ИИ в банковские чат-боты, госуслуги или логистику, нестабильность ответов — критическая уязвимость. В этой статье — технически точное, но понятное объяснение причин и практические методы контроля в условиях российской ИТ-инфраструктуры.

5 технических причин недетерминированности LLM

1. Параметр temperature: управление «творчеством»

По умолчанию temperature = 0.7–1.0. Чем выше значение — тем более случайный и разнообразный ответ.

• temperature = 0 → почти детерминированный (но не всегда!)
• temperature = 1.2 → высокая вариативность, риск галлюцинаций

💡 Для РФ: В финтехе (Сбер, Т-Банк) используют temperature ≤ 0.3 для минимизации рисков.

2. Sampling-методы: top_p и top_k

Даже при фиксированном temperature, LLM использует вероятностный отбор токенов:

• top_p = 0.9 — модель выбирает из 90% наиболее вероятных токенов
• При каждом запуске — разный путь по вероятностному дереву

3. Отсутствие фиксированного seed

Seed — начальное значение генератора случайных чисел.

• OpenAI API поддерживает seed (с ноября 2023)
• Бесплатный ChatGPT — не позволяет задавать seed → полная недетерминированность
• Российские аналоги (YandexGPT, SberGPT) — частично поддерживают детерминизм через enterprise-API

4. Динамические системные промты и ротация моделей

Компании вроде OpenAI меняют системный промт (например, для борьбы с токсичностью) без уведомления.
Также возможна тихая ротация моделей: сегодня вы работаете с GPT-4-Turbo, завтра — с её обновлённой версией.

5. Кэширование и параллельная обработка

При высокой нагрузке запросы обрабатываются разными инстансами модели с незначительными различиями в весах (из-за квантования, шардирования). Это особенно актуально для облачных решений в РФ (МТС Cloud, VK Cloud).

Как добиться стабильности: практическое руководство для российских команд

🇷🇺 Кейс: Команда СберЛаб для внутреннего чат-бота поддержки разработчиков использует Llama 3 + фиксированный seed + output validation, что снизило вариативность ответов на 92%.

Юридические и бизнес-риски нестабильности в России

• Финансовые рекомендации: разные ответы на один запрос могут нарушать требования ЦБ РФ № 852-П
• Госуслуги: нестабильный ИИ в ЕПГУ — повод для проверки Роскомнадзором
• Поддержка клиентов: противоречивые инструкции → рост обращений → штрафы по ЗоЗПП

⚠️ Важно: Согласно методическим рекомендациям ФСТЭК (2024), ИИ-системы, влияющие на права граждан, должны обеспечивать воспроизводимость результатов.

Сравнение: как ведут себя разные LLM при одном промте

Часто задаваемые вопросы (FAQ)

1. Можно ли сделать ChatGPT полностью детерминированным?
Только через официальный API с параметрами temperature=0 и seed=123. В веб-интерфейсе — невозможно.

2. Почему temperature=0 всё равно даёт разные ответы?
Из-за численной нестабильности на GPU, особенно при длинных контекстах. Для 100% детерминизма нужен CPU-режим или специализированный inference-стек.

3. Поддерживает ли YandexGPT фиксацию seed?
Да, но только в Yandex Cloud через DataSphere. В публичном API — нет.

4. Нужно ли документировать параметры генерации для аудита?
Да. Согласно ФЗ-419 «Об экспериментальных правовых режимах в ИИ», компании обязаны сохранять логи гиперпараметров при использовании ИИ в критической инфраструктуре.

5. Как тестировать стабильность своего ИИ-бота?
Запускайте 100 одинаковых запросов и считайте:

• % идентичных ответов
• % ответов с противоречивой логикой
• время генерации (вариативность = признак нестабильности)

6. Влияет ли длина промта на детерминированность?
Да. Чем длиннее контекст — тем выше энтропия на поздних токенах. Рекомендуется разбивать сложные задачи на подзапросы.

7. Можно ли использовать кэширование для стабильности?
Да, но осторожно: кэш может устаревать или сливать данные пользователей (риск по ФЗ-152).

8. Что делать, если ИИ «меняет мнение» в диалоге?
Используйте контекстную фиксацию: сохраняйте ключевые утверждения в системном промте на всю сессию.

9. Подходит ли недетерминированность для креативных задач?
Да — для генерации идей, слоганов, контента. Но никогда для юридических, финансовых или технических инструкций.

10. Где хранить seed и параметры в продакшене?
В зашифрованном виде в системе логирования, с доступом только для ИБ-аудита. Хранение в открытом виде — нарушение требований ФСТЭК.

Заключение

Недетерминированность — не недостаток, а свойство архитектуры трансформеров. Но в российских реалиях, где растёт регуляторное давление и спрос на предсказуемые ИИ-решения, контроль над случайностью становится конкурентным преимуществом. Используйте seed, снижайте temperature, тестируйте стабильность и, где возможно, переходите на локальные модели. Это не только повысит качество, но и снизит юридические риски.

🔧 Рекомендация: Внедрите детерминизм-аудит в CI/CD вашей ИИ-системы — как обязательный этап перед релизом.