Сколько видеопамяти нужно для локального ИИ: 4, 8, 12 или сразу продать почку
Что реально меняется с ростом VRAM и почему размер модели — не вся история.
Видеопамять определяет не только запустится ли модель, но и сколько контекста, изображений и параллельных запросов ты сможешь ей дать.
4 ГБ
Небольшие 2–4B модели, короткий контекст, одна задача за раз. Для знакомства, классификации и простых текстов достаточно.
8 ГБ
Главный массовый уровень: 7–8B текстовые модели и 4B vision. Для домашнего помощника, кода и анализа уменьшенных изображений — рабочий вариант.
12–16 ГБ
Можно запускать 12–14B модели с адекватным запасом. Они заметно увереннее держат инструкции и сложные тексты.
24 ГБ
Открывается класс 27–32B в сильной квантизации. Но мощность GPU, пропускная способность памяти и охлаждение всё равно решают.