Почему нейросеть забывает начало длинного диалога и как с этим работать

Что такое окно контекста

Окно контекста — это объём текста, который модель может обработать за один раз. Например, у ChatGPT Plus окно примерно 128 000 токенов, это 80–90 тысяч слов. Когда вы пишете новое сообщение, модель переанализирует весь диалог целиком — от первого сообщения до последнего запроса. Если диалог превосходит окно, старые сообщения просто не попадают в анализ.

Это устройство трансформерных нейросетей: они видят весь контекст сразу, но «памяти» хватает только на конечный объём текста. Чем больше окно, тем дольше модель помнит ваш диалог, но и тем медленнее она работает. У разных моделей окна разные: Claude 3.5 имеет окно 200 000 токенов, у Gemini — ещё больше. Даже у самых мощных моделей это ограничение есть.

Токены — это куски текста. Одно слово может быть одним токеном, или несколькими. В среднем один токен приходится на 0,75 слова. Окно в 128 000 токенов — это примерно 96 000 слов.

Как это видно на практике

Если долго работать с одной нейросетью без перерыва, заметно странное: модель забывает, о чём говорили в начале. Вы просите её продолжить работу или уточнить что-то из первого сообщения — она отвечает, будто этого не знает. Или даёт противоречивые советы, потому что не видит контекст из трёх часов назад.

Другой признак — модель начинает повторяться. Если диалог длинный, она может не видеть свой ответ из начала беседы и пишет то же самое снова. Или соглашается с противоречивыми просьбами, потому что не видит, что вы просили противоположное.

Например, если писать роман вместе с ChatGPT, история начнёт расходиться с собственным началом. Персонаж, враг в первой главе, вдруг помощник во второй — потому что модель не помнит первую главу. Модель не видит весь текст сразу, вот и случается ошибка.

Это особенно заметно при редактировании большого текста, написании кода на тысячи строк или долгой аналитической беседе. На каком-то этапе качество ответов резко падает — модель просто не видит половину контекста задачи.

Как обойти это ограничение

Начните диалог с инструкций или резюме

Вместо полагаться на память диалога, напишите в начале краткое описание того, что делаете. Например: «Я пишу статью про нейросети. Тон деловой, без ИИ-клише. Вот что уже написал: [резюме]. Что дальше?» Этот текст всегда будет в начале диалога и попадёт в окно контекста, потому что модель начинает анализ именно с него.

Используйте память и инструкции нейросети

ChatGPT Plus, Claude и Gemini имеют встроенные возможности сохранять информацию между диалогами. Подробнее про разницу между этими моделями можно узнать в статье сравнение ChatGPT, Claude и Gemini по возможностям. У ChatGPT это функция Memory (память), у Claude — Memory и Custom Instructions. Это работает лучше, чем полагаться на один длинный диалог.

Настройте память один раз — напишите, как вы хотите, чтобы модель разговаривала, какие ошибки избегать, какой стиль предпочесть. Потом в каждом новом диалоге модель будет помнить эти инструкции, не нужно их повторять.

Разбивайте большие задачи на короткие диалоги

Вместо одного диалога на 500 сообщений заведите новый чат для каждого этапа работы. Это помогает: модель видит свежий контекст, ошибок меньше, вы не натыкаетесь на ограничение окна. Если нужно передать информацию из предыдущего диалога, вставьте её в первое сообщение нового чата.

Проверьте, не закончился ли контекст

Спросите модель о чём-то, что писали в первом или втором сообщении. Если она не помнит или путается, контекст вышел за пределы окна. Скопируйте нужную информацию из старого сообщения в новое — модель станет ориентироваться точнее.

Работайте с файлами и документами

Если работаете с большим объёмом текста (книга, отчёт, код на 10 000 строк), загрузите файл вместо копирования текста в сообщение. Модель обработает весь файл как единый контекст. Это экономит место в окне и помогает модели лучше разобраться со структурой материала.

Файлы считаются отдельно от обычного диалога. Модель анализирует файл один раз при загрузке, потом ссылается на его содержимое в ответах. Если возникли проблемы с загрузкой файла, см. статью про почему не загружается файл в ChatGPT и Claude. Функция загрузки работает во всех основных моделях: ChatGPT Plus, Claude Pro и Max, Gemini AI Pro.