[{"data":1,"prerenderedAt":578},["ShallowReactive",2],{"guide-\u002Fguides\u002Fgpu-dlya-llm-inference":3},{"id":4,"title":5,"body":6,"checkedAt":568,"date":569,"description":570,"extension":571,"meta":572,"navigation":573,"path":574,"seo":575,"stem":576,"__hash__":577},"guides\u002Fguides\u002Fgpu-dlya-llm-inference.md","GPU для инференса LLM: сколько VRAM нужно",{"type":7,"value":8,"toc":554},"minimark",[9,13,22,27,34,50,62,66,212,220,224,231,242,252,256,263,292,296,299,317,321,324,354,365,369,372,393,397,470,477,481,527,531],[10,11,5],"h1",{"id":12},"gpu-для-инференса-llm-сколько-vram-нужно",[14,15,16,17,21],"p",{},"Главный параметр при выборе GPU для inference — ",[18,19,20],"strong",{},"объём видеопамяти (VRAM)",". Вычислительной мощности почти всегда хватает; упираются именно в память. В этом гайде — конкретные цифры по размерам моделей и рекомендации карт с актуальными ценами РФ.",[23,24,26],"h2",{"id":25},"базовая-формула","Базовая формула",[14,28,29,30,33],{},"Объём VRAM для инференса ≈ ",[18,31,32],{},"веса модели + KV cache",".",[35,36,37,44],"ul",{},[38,39,40,43],"li",{},[18,41,42],{},"Веса:"," ~2 байта на параметр в FP16, ~1 байт в INT8, ~0,5 байта в INT4.",[38,45,46,49],{},[18,47,48],{},"KV cache:"," зависит от длины контекста и batch size; для Llama 70B при 4k контексте и batch=1 — единицы гигабайт, при 128k — десятки.",[51,52,55],"callout",{"color":53,"icon":54},"primary","i-lucide-info",[14,56,57,58,61],{},"KV cache часто недооценивают. Для длинного контекста (32k+) cache может занять ",[18,59,60],{},"столько же, сколько веса модели",". Закладывайте запас 20–30% сверху.",[23,63,65],{"id":64},"таблица-модель-vram-карта","Таблица: модель → VRAM → карта",[67,68,69,91],"table",{},[70,71,72],"thead",{},[73,74,75,79,82,85,88],"tr",{},[76,77,78],"th",{},"Размер модели",[76,80,81],{},"VRAM (FP16)",[76,83,84],{},"VRAM (INT4)",[76,86,87],{},"Рекомендуемая карта",[76,89,90],{},"Цена (₽\u002Fчас)",[92,93,94,121,143,165,189],"tbody",{},[73,95,96,100,103,106,118],{},[97,98,99],"td",{},"7B",[97,101,102],{},"14 ГБ",[97,104,105],{},"~5 ГБ",[97,107,108,113,114],{},[109,110,112],"a",{"href":111},"\u002Fgpu\u002Frtx4090","RTX 4090"," \u002F ",[109,115,117],{"href":116},"\u002Fgpu\u002Fa5000","A5000",[97,119,120],{},"83–671 \u002F 110–439",[73,122,123,126,129,132,140],{},[97,124,125],{},"13B",[97,127,128],{},"26 ГБ",[97,130,131],{},"~8 ГБ",[97,133,134,113,136],{},[109,135,112],{"href":111},[109,137,139],{"href":138},"\u002Fgpu\u002Fa6000","A6000",[97,141,142],{},"83–671 \u002F дороже 4090",[73,144,145,148,151,154,162],{},[97,146,147],{},"30B (MoE\u002Fактивные)",[97,149,150],{},"60 ГБ",[97,152,153],{},"~18 ГБ",[97,155,156,113,160],{},[109,157,159],{"href":158},"\u002Fgpu\u002Fa100-80","A100 80GB",[109,161,139],{"href":138},[97,163,164],{},"212–1678",[73,166,167,170,173,176,186],{},[97,168,169],{},"70B",[97,171,172],{},"140 ГБ",[97,174,175],{},"~40 ГБ",[97,177,178,182,183,185],{},[109,179,181],{"href":180},"\u002Fgpu\u002Fh200-141","H200"," 141 ГБ \u002F ",[109,184,159],{"href":158}," ×2",[97,187,188],{},"423–3338",[73,190,191,194,197,200,209],{},[97,192,193],{},"70B+ \u002F крупные MoE",[97,195,196],{},"200+ ГБ",[97,198,199],{},"~60+ ГБ",[97,201,202,203,113,207],{},"Multi-GPU: ",[109,204,206],{"href":205},"\u002Fgpu\u002Fh100-80","H100",[109,208,181],{"href":180},[97,210,211],{},"342–3338",[14,213,214,215,219],{},"Цены — июль 2026, в конфигурациях ",[216,217,218],"code",{},"in_stock",". Актуальные данные — на страницах соответствующих карт.",[23,221,223],{"id":222},"_7b-дёшево-и-влезает-везде","7B: дёшево и влезает везде",[14,225,226,227,230],{},"Модели вроде Qwen2.5 7B, Llama 3 8B, Mistral 7B в FP16 занимают ~14 ГБ. ",[18,228,229],{},"RTX 4090 (24 ГБ)"," — оптимальный выбор: дёшево, быстро, с запасом для KV cache.",[35,232,233,236],{},[38,234,235],{},"В INT4 влезает даже в 8 ГБ (но тогда тесно для контекста).",[38,237,238,239,241],{},"Самый дешёвый старт — ",[109,240,112],{"href":111}," от 83 ₽\u002Fчас.",[51,243,245],{"color":53,"icon":244},"i-lucide-lightbulb",[14,246,247,248,251],{},"Для 7B ",[18,249,250],{},"4090 выгоднее A100",": производительности хватит, а цена в 2–4 раза ниже. Дата-центровые карты тут избыточны.",[23,253,255],{"id":254},"_13b-уже-нужен-24-гб","13B: уже нужен 24 ГБ",[14,257,258,259,262],{},"Llama 2 13B, Qwen 14B в FP16 — ~26–28 ГБ. В одну 24-ГБ карту ",[18,260,261],{},"в FP16 не влезают",", нужны варианты:",[35,264,265,277,286],{},[38,266,267,270,271,273,274,276],{},[18,268,269],{},"INT8"," (~14 ГБ) — влезает в ",[109,272,112],{"href":111}," или ",[109,275,117],{"href":116},", минимальная потеря качества.",[38,278,279,282,283,33],{},[18,280,281],{},"A6000 (48 ГБ)"," — влезает в FP16 с запасом, см. ",[109,284,285],{"href":138},"страницу A6000",[38,287,288,291],{},[18,289,290],{},"A100 40GB"," — также влезает в FP16.",[23,293,295],{"id":294},"_30b-и-moe-4048-гб","30B и MoE: 40–48 ГБ",[14,297,298],{},"Mixtral 8×7B (≈47 ГБ активных параметров в FP16), Qwen 32B — нужен объём 40–48 ГБ.",[35,300,301,306,311],{},[38,302,303,305],{},[18,304,159],{}," — с большим запасом, оптимально для стабильной работы.",[38,307,308,310],{},[18,309,281],{}," — влезает впритык в FP16, комфортно в INT8.",[38,312,313,316],{},[18,314,315],{},"H100 80GB"," — если важна задержка (HBM3 быстрее).",[23,318,320],{"id":319},"_70b-80-гб-или-multi-gpu","70B: 80+ ГБ или multi-GPU",[14,322,323],{},"Llama 3 70B в FP16 — ~140 ГБ. На одной карте не влезает даже в H200.",[35,325,326,338,348],{},[38,327,328,331,332,273,335,337],{},[18,329,330],{},"INT4 (~40 ГБ)"," — влезает в одну ",[109,333,334],{"href":180},"H200 141 ГБ",[109,336,159],{"href":158}," с запасом.",[38,339,340,343,344,273,346,33],{},[18,341,342],{},"INT8 (~70 ГБ)"," — в ",[109,345,159],{"href":158},[109,347,181],{"href":180},[38,349,350,353],{},[18,351,352],{},"FP16"," — multi-GPU: 2× A100\u002FH100\u002FH200 через NVLink.",[51,355,358],{"color":356,"icon":357},"warning","i-lucide-trending-up",[14,359,360,361,364],{},"Для 70B в FP16 нужен ",[18,362,363],{},"NVLink"," между картами. RTX 4090 без NVLink не подходит (sharding через PCIe слишком медленный); A6000 поддерживает NVLink, но только до 2 GPU. Берите A100\u002FH100\u002FH200.",[23,366,368],{"id":367},"_70b-и-крупные-moe-multi-gpu","70B+ и крупные MoE: multi-GPU",[14,370,371],{},"Модели вроде Llama 3 405B, DeepSeek V3 (671B MoE) — это всегда multi-GPU и распределённый inference.",[35,373,374,381],{},[38,375,376,377,273,379,33],{},"Минимум 4×–8× ",[109,378,206],{"href":205},[109,380,181],{"href":180},[38,382,383,384,273,388,392],{},"Это sales-led сегмент: цены на крупные кластеры публикуются не всегда, обращайтесь к сейлам ",[109,385,387],{"href":386},"\u002Fhosting\u002Fselectel","Selectel",[109,389,391],{"href":390},"\u002Fhosting\u002Fimmers","immers"," напрямую.",[23,394,396],{"id":395},"квантизация-как-снизить-требования","Квантизация: как снизить требования",[67,398,399,415],{},[70,400,401],{},[73,402,403,406,409,412],{},[76,404,405],{},"Формат",[76,407,408],{},"Байт\u002Fпараметр",[76,410,411],{},"Потеря качества",[76,413,414],{},"Когда применять",[92,416,417,431,444,458],{},[73,418,419,422,425,428],{},[97,420,421],{},"FP16\u002FBF16",[97,423,424],{},"2",[97,426,427],{},"нет",[97,429,430],{},"Базовый вариант",[73,432,433,435,438,441],{},[97,434,269],{},[97,436,437],{},"1",[97,439,440],{},"минимальная",[97,442,443],{},"Если не влезает в FP16",[73,445,446,449,452,455],{},[97,447,448],{},"INT4 (GPTQ, AWQ, GGUF)",[97,450,451],{},"~0,5",[97,453,454],{},"небольшая",[97,456,457],{},"Для inference на одной карте",[73,459,460,463,465,467],{},[97,461,462],{},"FP8 (Hopper)",[97,464,437],{},[97,466,440],{},[97,468,469],{},"H100\u002FH200, нативная поддержка",[14,471,472,473,476],{},"На Hopper (H100\u002FH200) есть ",[18,474,475],{},"нативный FP8"," — почти INT8 по объёму, но точнее. Для inference на этих картах FP8 предпочтительнее INT4.",[23,478,480],{"id":479},"практические-шаги","Практические шаги",[482,483,484,491,514,517],"ol",{},[38,485,486,487,490],{},"Посчитайте VRAM: ",[216,488,489],{},"(размер модели в млрд параметров) × (байт\u002Fпараметр)"," + 20–30% на KV cache.",[38,492,493,494,498,499,502,503,502,505,502,507,502,510,502,512,33],{},"Выберите карту с запасом на ",[109,495,497],{"href":496},"\u002Fgpu","странице GPU",": ",[109,500,501],{"href":111},"4090",", ",[109,504,117],{"href":116},[109,506,139],{"href":138},[109,508,509],{"href":158},"A100",[109,511,206],{"href":205},[109,513,181],{"href":180},[38,515,516],{},"Для multi-GPU проверяйте наличие NVLink: есть у A100\u002FH100\u002FH200 (8+ GPU), A6000 поддерживает NVLink (до 2 GPU), 4090 — без NVLink.",[38,518,519,520,526],{},"Подпишитесь на ",[109,521,525],{"href":522,"rel":523},"https:\u002F\u002Ft.me\u002Fgpuradar_bot",[524],"nofollow","алерт в Telegram"," по нужной карте.",[23,528,530],{"id":529},"смежные-гайды","Смежные гайды",[35,532,533,540,547],{},[38,534,535,539],{},[109,536,538],{"href":537},"\u002Fguides\u002Farenda-h200","Аренда H200"," — когда memory-bound inference оправдывает цену",[38,541,542,546],{},[109,543,545],{"href":544},"\u002Fguides\u002Farenda-a100","Аренда A100"," — базовый дата-центровый вариант",[38,548,549,553],{},[109,550,552],{"href":551},"\u002Fguides\u002Fgpu-dlya-tts","GPU для TTS и речи"," — инференс голосовых моделей рядом с LLM-ассистентами",{"title":555,"searchDepth":556,"depth":556,"links":557},"",2,[558,559,560,561,562,563,564,565,566,567],{"id":25,"depth":556,"text":26},{"id":64,"depth":556,"text":65},{"id":222,"depth":556,"text":223},{"id":254,"depth":556,"text":255},{"id":294,"depth":556,"text":295},{"id":319,"depth":556,"text":320},{"id":367,"depth":556,"text":368},{"id":395,"depth":556,"text":396},{"id":479,"depth":556,"text":480},{"id":529,"depth":556,"text":530},null,"2026-07-09","Как выбрать GPU под инференс LLM по размеру модели. Таблица 7B–70B: требуемый VRAM, рекомендуемые карты и цены аренды в РФ. KV cache и квантизация.","md",{},true,"\u002Fguides\u002Fgpu-dlya-llm-inference",{"title":5,"description":570},"guides\u002Fgpu-dlya-llm-inference","LFZVUlpO-g46ibBVXHX-7--j2X0JsL72pFhwBAtJVVY",1783633713928]