При работе с локальным помощником по коду контекст заполняется быстрее, чем кажется. Вы просите его разобраться в проекте, он читает файлы и запускает тесты. К середине задачи в истории уже лежат фрагменты кода, вывод команд и обсуждение правок. Когда места становится мало, помощнику приходится сжимать историю. Хочется, чтобы до этого момента он успел сделать больше и мог вернуться к деталям, которые прочитал в начале.
С этой задачи и начался эксперимент. Хотелось запустить qwen3.8:27b в Ollama на одной RTX 4090, дать модели окно больше 128К и оставить все её слои на видеокарте. Первый запуск показал, что даже при 128К часть модели уходит в оперативную память. Разобравшись, куда расходуется видеопамять, удалось поднять окно до 144К, то есть до 147 456 токенов. Все проверки проходили на Windows с Ollama 0.40.16.
Почему часть модели оказалась в оперативной памяти
Команда ollama ps показала, что модель разделилась между CPU и GPU. В журнале загрузки нашлось точное число: на видеокарту попали 53 слоя из 66. Веса модели уже были сжаты до формата Q4_K_M. Вместе с ними Ollama выделял память под рабочие буферы и KV-кэш — данные, которые нужны модели, чтобы обращаться к уже обработанным токенам.
Больше всего памяти удалось вернуть за счёт кэша. В 16-битном формате f16 при 128К он занимал 8 ГиБ. С учётом весов и буферов Ollama оценил полную загрузку примерно в 24,7 ГиБ при доступных 22,5 ГиБ. С Flash Attention и 8-битным кэшем q8_0 основной кэш сократился до 4,25 ГиБ. Это позволило загрузить на GPU уже 62 слоя из 66.
Оставался ещё один расход памяти. У Qwen3.8 есть встроенный режим MTP, который делает черновые предсказания на несколько токенов вперёд. Когда предсказания верны, генерация ускоряется. На длинном контексте этот режим требует дополнительных буферов и отдельного кэша. После его отключения все 66 слоёв поместились на GPU даже при увеличении окна до 144К. Основной KV-кэш в этой конфигурации занял около 4,8 ГиБ. Квантизация KV-кэша в Ollama ↗ · Параметр draft_num_predict ↗
Как повторить настройку на Windows
Сначала выйдите из Ollama через значок в трее. Выполните команды в PowerShell, затем снова откройте Ollama через меню «Пуск». Сервер считывает эти настройки при запуске. Разрешаем один запрос одновременно, чтобы Ollama выделял память под одно длинное окно.
[Environment]::SetEnvironmentVariable('OLLAMA_FLASH_ATTENTION', '1', 'User')
[Environment]::SetEnvironmentVariable('OLLAMA_KV_CACHE_TYPE', 'q8_0', 'User')
[Environment]::SetEnvironmentVariable('OLLAMA_NUM_PARALLEL', '1', 'User')
Тип кэша применяется ко всем моделям на этом сервере. Размер окна и MTP зададим только для Qwen. Если модели ещё нет, скачайте её командой ollama pull qwen3.8:27b. Затем создайте отдельный тег с теми же весами и двумя новыми параметрами.
@'
FROM qwen3.8:27b
PARAMETER num_ctx 147456
PARAMETER draft_num_predict 0
'@ | Set-Content -Encoding ascii .\Modelfile.qwen-144k
ollama create qwen3.8:27b-144k -f .\Modelfile.qwen-144k
ollama run qwen3.8:27b-144k --think=false "Reply with OK."
ollama ps
Выберите qwen3.8:27b-144k в приложении, из которого будете обращаться к Ollama. Настройка окна сохранена в теге, поэтому его можно использовать и через OpenAI-совместимый API. Настройки Ollama в Windows ↗ · Размер контекста для API-клиентов ↗
Как понять, что всё получилось
После короткого запроса в ollama ps должна появиться строка с 100% GPU и 147456. Первое значение показывает, что все слои загрузились на видеокарту. Второе показывает, сколько токенов вмещает окно вместе с историей, служебными инструкциями и ответом. Чтобы посмотреть, насколько занята видеокарта во время запроса, запустите в соседнем терминале nvidia-smi.
nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.free --format=csv -l 1
Проверка на коротком запросе показывает, что модель загрузилась. Следующий шаг — дать ей большой вход. В эксперименте Ollama обработал 124 107 входных токенов примерно за минуту, а все слои остались на GPU. Скорость выдачи ответа измеряется отдельно. Метрики NVIDIA ↗
Такой замер можно повторить без большого проекта под рукой. Повторяющееся слово даёт длинный вход, а короткий ответ позволяет сосредоточиться на времени обработки запроса.
$body = @{
model = 'qwen3.8:27b-144k'
messages = @(@{
role = 'user'
content = (' data' * 140000) + "`nReply with OK."
})
think = $false
stream = $false
options = @{ num_predict = 16 }
} | ConvertTo-Json -Depth 5 -Compress
$result = Invoke-RestMethod -Method Post `
-Uri 'http://127.0.0.1:11434/api/chat' `
-ContentType 'application/json' -Body $body -TimeoutSec 180
$result | Select-Object prompt_eval_count, prompt_eval_cached_count,
prompt_eval_duration, eval_count, eval_duration
ollama ps
prompt_eval_count покажет фактический объём входа. prompt_eval_duration и eval_duration покажут, сколько наносекунд заняли обработка некэшированного входа и генерация соответственно. При повторном запуске посмотрите на prompt_eval_cached_count. Часть входа Ollama может взять из кэша, и повторный замер будет быстрее. Поля ответа Ollama ↗
Какой запас оставить для работы
При 144К на RTX 4090 осталось около 1,1 ГиБ свободной видеопамяти. Этого хватило для длинной сессии с одним помощником. Если GPU занят другой моделью или приложением, освободите видеопамять и попробуйте загрузить Qwen снова. В журнале %LOCALAPPDATA%\Ollama\server.log строка n_ctx_seq = 147456 покажет размер окна, а offloaded 66/66 layers to GPU подтвердит загрузку всех слоёв на видеокарту. Где искать журнал Ollama в Windows ↗
У самого помощника тоже должен оставаться запас. В Codex CLI для этого можно задать model_context_window = 147456 и model_auto_compact_token_limit = 120000. История начнёт сжиматься раньше, и у помощника останется место, чтобы дочитать вывод длинной команды и закончить ответ. Остаток контекста показывает команда /statusline model context-remaining context-window-size. Настройки контекста Codex CLI ↗
Рабочий стол и браузер на встроенной графике
Ещё один способ освободить видеопамять — поручить отрисовку рабочего стола и браузера графике, встроенной в процессор. Тогда память RTX 4090, которую занимал интерфейс, можно использовать для модели. Это особенно пригодится, если при 144К до полной загрузки на GPU не хватает совсем немного.
- Перенесите вывод изображения. Если у процессора есть встроенная графика, подключите монитор к HDMI или DisplayPort на материнской плате. Если встроенная графика отключена при установленной RTX, включите её в UEFI. На некоторых платах настройка называется
iGPU Multi-Monitor. Точное название и расположение можно найти в инструкции к материнской плате. Пример настройки UEFI у ASUS ↗ - Перенесите отрисовку приложений. В Windows 11 откройте Параметры → Система → Дисплей → Графика. Выберите браузер или редактор и откройте его параметры графики. Выберите Энергосбережение, если рядом указана встроенная графика, сохраните настройку и перезапустите приложение. Подключение монитора определяет, кто выводит рабочий стол, а настройка Windows — предпочтительный GPU для конкретного приложения. Выбор GPU для приложения в Windows 11 ↗
Чтобы оценить эффект, сравните memory.free у RTX 4090 в nvidia-smi до и после переноса при том же наборе открытых приложений и выгруженной модели. Затем запустите Qwen и проверьте в ollama ps, что окно по-прежнему 147456, а модель показывает 100% GPU.
Спасибо, что дочитали.
Вернуться к статьям ↗