← Все статьи

144К токенов на RTX 4090 с Qwen3.8 27B

Длинные сессии с помощником по коду быстро заполняют контекст. Разбираемся, как дать Qwen3.8 27B больше места и сохранить всю модель в видеопамяти.

Иллюстрация видеокарты с тремя вентиляторами на рабочем столе

При работе с локальным помощником по коду контекст заполняется быстрее, чем кажется. Вы просите его разобраться в проекте, он читает файлы и запускает тесты. К середине задачи в истории уже лежат фрагменты кода, вывод команд и обсуждение правок. Когда места становится мало, помощнику приходится сжимать историю. Хочется, чтобы до этого момента он успел сделать больше и мог вернуться к деталям, которые прочитал в начале.

С этой задачи и начался эксперимент. Хотелось запустить qwen3.8:27b в Ollama на одной RTX 4090, дать модели окно больше 128К и оставить все её слои на видеокарте. Первый запуск показал, что даже при 128К часть модели уходит в оперативную память. Разобравшись, куда расходуется видеопамять, удалось поднять окно до 144К, то есть до 147 456 токенов. Все проверки проходили на Windows с Ollama 0.40.16.

Почему часть модели оказалась в оперативной памяти

Команда ollama ps показала, что модель разделилась между CPU и GPU. В журнале загрузки нашлось точное число: на видеокарту попали 53 слоя из 66. Веса модели уже были сжаты до формата Q4_K_M. Вместе с ними Ollama выделял память под рабочие буферы и KV-кэш — данные, которые нужны модели, чтобы обращаться к уже обработанным токенам.

Больше всего памяти удалось вернуть за счёт кэша. В 16-битном формате f16 при 128К он занимал 8 ГиБ. С учётом весов и буферов Ollama оценил полную загрузку примерно в 24,7 ГиБ при доступных 22,5 ГиБ. С Flash Attention и 8-битным кэшем q8_0 основной кэш сократился до 4,25 ГиБ. Это позволило загрузить на GPU уже 62 слоя из 66.

Оставался ещё один расход памяти. У Qwen3.8 есть встроенный режим MTP, который делает черновые предсказания на несколько токенов вперёд. Когда предсказания верны, генерация ускоряется. На длинном контексте этот режим требует дополнительных буферов и отдельного кэша. После его отключения все 66 слоёв поместились на GPU даже при увеличении окна до 144К. Основной KV-кэш в этой конфигурации занял около 4,8 ГиБ. Квантизация KV-кэша в Ollama ↗ · Параметр draft_num_predict ↗

Как повторить настройку на Windows

Сначала выйдите из Ollama через значок в трее. Выполните команды в PowerShell, затем снова откройте Ollama через меню «Пуск». Сервер считывает эти настройки при запуске. Разрешаем один запрос одновременно, чтобы Ollama выделял память под одно длинное окно.

[Environment]::SetEnvironmentVariable('OLLAMA_FLASH_ATTENTION', '1', 'User')
[Environment]::SetEnvironmentVariable('OLLAMA_KV_CACHE_TYPE', 'q8_0', 'User')
[Environment]::SetEnvironmentVariable('OLLAMA_NUM_PARALLEL', '1', 'User')

Тип кэша применяется ко всем моделям на этом сервере. Размер окна и MTP зададим только для Qwen. Если модели ещё нет, скачайте её командой ollama pull qwen3.8:27b. Затем создайте отдельный тег с теми же весами и двумя новыми параметрами.

@'
FROM qwen3.8:27b
PARAMETER num_ctx 147456
PARAMETER draft_num_predict 0
'@ | Set-Content -Encoding ascii .\Modelfile.qwen-144k

ollama create qwen3.8:27b-144k -f .\Modelfile.qwen-144k
ollama run qwen3.8:27b-144k --think=false "Reply with OK."
ollama ps

Выберите qwen3.8:27b-144k в приложении, из которого будете обращаться к Ollama. Настройка окна сохранена в теге, поэтому его можно использовать и через OpenAI-совместимый API. Настройки Ollama в Windows ↗ · Размер контекста для API-клиентов ↗

Как понять, что всё получилось

После короткого запроса в ollama ps должна появиться строка с 100% GPU и 147456. Первое значение показывает, что все слои загрузились на видеокарту. Второе показывает, сколько токенов вмещает окно вместе с историей, служебными инструкциями и ответом. Чтобы посмотреть, насколько занята видеокарта во время запроса, запустите в соседнем терминале nvidia-smi.

nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.free --format=csv -l 1

Проверка на коротком запросе показывает, что модель загрузилась. Следующий шаг — дать ей большой вход. В эксперименте Ollama обработал 124 107 входных токенов примерно за минуту, а все слои остались на GPU. Скорость выдачи ответа измеряется отдельно. Метрики NVIDIA ↗

Такой замер можно повторить без большого проекта под рукой. Повторяющееся слово даёт длинный вход, а короткий ответ позволяет сосредоточиться на времени обработки запроса.

$body = @{
    model = 'qwen3.8:27b-144k'
    messages = @(@{
        role = 'user'
        content = (' data' * 140000) + "`nReply with OK."
    })
    think = $false
    stream = $false
    options = @{ num_predict = 16 }
} | ConvertTo-Json -Depth 5 -Compress

$result = Invoke-RestMethod -Method Post `
    -Uri 'http://127.0.0.1:11434/api/chat' `
    -ContentType 'application/json' -Body $body -TimeoutSec 180

$result | Select-Object prompt_eval_count, prompt_eval_cached_count,
    prompt_eval_duration, eval_count, eval_duration
ollama ps

prompt_eval_count покажет фактический объём входа. prompt_eval_duration и eval_duration покажут, сколько наносекунд заняли обработка некэшированного входа и генерация соответственно. При повторном запуске посмотрите на prompt_eval_cached_count. Часть входа Ollama может взять из кэша, и повторный замер будет быстрее. Поля ответа Ollama ↗

Какой запас оставить для работы

При 144К на RTX 4090 осталось около 1,1 ГиБ свободной видеопамяти. Этого хватило для длинной сессии с одним помощником. Если GPU занят другой моделью или приложением, освободите видеопамять и попробуйте загрузить Qwen снова. В журнале %LOCALAPPDATA%\Ollama\server.log строка n_ctx_seq = 147456 покажет размер окна, а offloaded 66/66 layers to GPU подтвердит загрузку всех слоёв на видеокарту. Где искать журнал Ollama в Windows ↗

У самого помощника тоже должен оставаться запас. В Codex CLI для этого можно задать model_context_window = 147456 и model_auto_compact_token_limit = 120000. История начнёт сжиматься раньше, и у помощника останется место, чтобы дочитать вывод длинной команды и закончить ответ. Остаток контекста показывает команда /statusline model context-remaining context-window-size. Настройки контекста Codex CLI ↗

Рабочий стол и браузер на встроенной графике

Ещё один способ освободить видеопамять — поручить отрисовку рабочего стола и браузера графике, встроенной в процессор. Тогда память RTX 4090, которую занимал интерфейс, можно использовать для модели. Это особенно пригодится, если при 144К до полной загрузки на GPU не хватает совсем немного.

  1. Перенесите вывод изображения. Если у процессора есть встроенная графика, подключите монитор к HDMI или DisplayPort на материнской плате. Если встроенная графика отключена при установленной RTX, включите её в UEFI. На некоторых платах настройка называется iGPU Multi-Monitor. Точное название и расположение можно найти в инструкции к материнской плате. Пример настройки UEFI у ASUS ↗
  2. Перенесите отрисовку приложений. В Windows 11 откройте Параметры → Система → Дисплей → Графика. Выберите браузер или редактор и откройте его параметры графики. Выберите Энергосбережение, если рядом указана встроенная графика, сохраните настройку и перезапустите приложение. Подключение монитора определяет, кто выводит рабочий стол, а настройка Windows — предпочтительный GPU для конкретного приложения. Выбор GPU для приложения в Windows 11 ↗

Чтобы оценить эффект, сравните memory.free у RTX 4090 в nvidia-smi до и после переноса при том же наборе открытых приложений и выгруженной модели. Затем запустите Qwen и проверьте в ollama ps, что окно по-прежнему 147456, а модель показывает 100% GPU.

Спасибо, что дочитали.

Вернуться к статьям ↗