[{"data":1,"prerenderedAt":671},["ShallowReactive",2],{"guide-\u002Fguides\u002Fgpu-dlya-obucheniya-modeley":3},{"id":4,"title":5,"body":6,"checkedAt":661,"date":662,"description":663,"extension":664,"meta":665,"navigation":666,"path":667,"seo":668,"stem":669,"__hash__":670},"guides\u002Fguides\u002Fgpu-dlya-obucheniya-modeley.md","GPU для обучения моделей: что выбрать и почём",{"type":7,"value":8,"toc":647},"minimark",[9,14,23,28,117,127,131,134,156,164,168,278,288,292,295,343,346,350,353,439,442,446,449,481,484,488,529,533,547,566,570,613,617],[10,11,13],"h1",{"id":12},"gpu-для-обучения-моделей","GPU для обучения моделей",[15,16,17,18,22],"p",{},"Обучение (training) — самая тяжёлая GPU-задача. В отличие от inference, где нужна только сама модель, при обучении в памяти лежат ",[19,20,21],"strong",{},"веса + градиенты + состояния оптимизатора (Adam = 2× параметры) + активации",". Реальное потребление VRAM обычно в 4–6 раз больше размера модели в FP16. Выбор карты под обучение — это в первую очередь математика по памяти, а уже потом скорость.",[24,25,27],"h2",{"id":26},"training-vs-inference","Training vs inference",[29,30,31,47],"table",{},[32,33,34],"thead",{},[35,36,37,41,44],"tr",{},[38,39,40],"th",{},"Параметр",[38,42,43],{},"Inference",[38,45,46],{},"Training",[48,49,50,62,73,84,95,106],"tbody",{},[35,51,52,56,59],{},[53,54,55],"td",{},"Что в VRAM",[53,57,58],{},"Веса модели",[53,60,61],{},"Веса + градиенты + оптимизатор + активации",[35,63,64,67,70],{},[53,65,66],{},"Tensor Cores",[53,68,69],{},"Желательны",[53,71,72],{},"Обязательны (FP16\u002FBF16\u002FTF32)",[35,74,75,78,81],{},[53,76,77],{},"Типичный VRAM на 7B",[53,79,80],{},"8–16 ГБ",[53,82,83],{},"40–80 ГБ (full) \u002F 16–24 ГБ (LoRA)",[35,85,86,89,92],{},[53,87,88],{},"Требования к памяти",[53,90,91],{},"Стабильны",[53,93,94],{},"Растут с длиной контекста и batch",[35,96,97,100,103],{},[53,98,99],{},"Подходящие карты",[53,101,102],{},"RTX 4090, A5000, A100",[53,104,105],{},"A100 80GB, H100, RTX 4090 (LoRA)",[35,107,108,111,114],{},[53,109,110],{},"Время выполнения",[53,112,113],{},"Секунды-минуты",[53,115,116],{},"Часы-дни",[15,118,119,120,122,123,126],{},"Для обучения критичны ",[19,121,66],{}," (FP16\u002FBF16\u002FTF32 матричные операции) и большой ",[19,124,125],{},"HBM"," на карте. Consumer-карты (RTX 4090) годятся для LoRA и небольших моделей, но для full fine-tune 13B+ нужна дата-центровая карта — не из-за скорости, а из-за памяти.",[24,128,130],{"id":129},"lora-qlora-vs-full-fine-tune","LoRA \u002F QLoRA vs full fine-tune",[15,132,133],{},"Главное решение при дообучении — что именно обновлять:",[135,136,137,144,150],"ul",{},[138,139,140,143],"li",{},[19,141,142],{},"Full fine-tune"," — обновляются все веса модели. VRAM ≈ 4× параметров в FP16. Для 7B модели это ~80 ГБ, для 13B — ~160 ГБ. Реалистично только на A100 80GB \u002F H100 \u002F multi-GPU. Даёт лучшее качество, но дорого и рискует catastrophic forgetting (катастрофическое забывание).",[138,145,146,149],{},[19,147,148],{},"LoRA"," (Low-Rank Adaptation) — замораживаем базовые веса, обучаем маленькие адаптеры низкого ранга (rank 8–64). Память падает в 3–10 раз, обучаемые параметры составляют 0.1–1% модели. Качество на большинстве задач близко к full.",[138,151,152,155],{},[19,153,154],{},"QLoRA"," — то же, что LoRA, но базовая модель в 4-битном квантовании (NF4). Минимальное потребление памяти, позволяет обучать 70B на одной A100 80GB. Стандарт для больших моделей в 2026 году.",[157,158,161],"callout",{"color":159,"icon":160},"primary","i-lucide-lightbulb",[15,162,163],{},"QLoRA на одной A100 80GB — стандарт для дообучения 70B-моделей в 2026 году. Full fine-tune 70B требует 8× H100 80GB и NVLink-связанности (HGX\u002FDGX), это уже кластерная задача.",[24,165,167],{"id":166},"матрица-задача-карта","Матрица: задача → карта",[29,169,170,186],{},[32,171,172],{},[35,173,174,177,180,183],{},[38,175,176],{},"Задача",[38,178,179],{},"Рекомендуемая карта",[38,181,182],{},"VRAM",[38,184,185],{},"Цена (₽\u002Fчас)",[48,187,188,202,216,229,240,251,265],{},[35,189,190,193,196,199],{},[53,191,192],{},"7B LoRA \u002F QLoRA",[53,194,195],{},"RTX 4090",[53,197,198],{},"24 ГБ",[53,200,201],{},"от 83",[35,203,204,207,210,213],{},[53,205,206],{},"7B full fine-tune",[53,208,209],{},"A100 80GB",[53,211,212],{},"80 ГБ",[53,214,215],{},"212–1678",[35,217,218,221,224,227],{},[53,219,220],{},"13B LoRA",[53,222,223],{},"RTX 4090 \u002F A100 40GB",[53,225,226],{},"24–40 ГБ",[53,228,201],{},[35,230,231,234,236,238],{},[53,232,233],{},"13B full fine-tune",[53,235,209],{},[53,237,212],{},[53,239,215],{},[35,241,242,245,247,249],{},[53,243,244],{},"30–70B QLoRA",[53,246,209],{},[53,248,212],{},[53,250,215],{},[35,252,253,256,259,262],{},[53,254,255],{},"70B full fine-tune",[53,257,258],{},"8× H100 80GB",[53,260,261],{},"640 ГБ",[53,263,264],{},"sales-led",[35,266,267,270,273,275],{},[53,268,269],{},"Быстрое обучение, любая модель",[53,271,272],{},"H100 80GB",[53,274,212],{},[53,276,277],{},"342–1404",[157,279,281],{"color":159,"icon":280},"i-lucide-info",[15,282,283,284,287],{},"Для LoRA-дообучения 7B и 13B моделей ",[19,285,286],{},"RTX 4090 (24 ГБ) — оптимальный выбор",": в 2–4 раза дешевле A100, хватает памяти, есть Tensor Cores. A100 нужна для full fine-tune и крупных моделей, где 24 ГБ не вмещают веса + градиенты.",[24,289,291],{"id":290},"скорость-h100-против-a100","Скорость: H100 против A100",[15,293,294],{},"Если бюджет позволяет, H100 быстрее A100 при том же VRAM:",[29,296,297,308],{},[32,298,299],{},[35,300,301,304,306],{},[38,302,303],{},"Операция",[38,305,209],{},[38,307,272],{},[48,309,310,321,332],{},[35,311,312,315,318],{},[53,313,314],{},"BF16 TFLOPS (плотный)",[53,316,317],{},"312",[53,319,320],{},"989",[35,322,323,326,329],{},[53,324,325],{},"HBM пропускная способность",[53,327,328],{},"2.0 ТБ\u002Fс",[53,330,331],{},"3.35 ТБ\u002Fс",[35,333,334,337,340],{},[53,335,336],{},"Transformer training, относит.",[53,338,339],{},"1×",[53,341,342],{},"1.8–2.5×",[15,344,345],{},"Для обучения большого трансформера H100 может закончить работу в 2 раза быстрее — это окупает более высокую почасовую ставку. Для коротких LoRA-экспериментов разница менее существенна, проще взять дешёвую A100 или 4090.",[24,347,349],{"id":348},"экономика-считаем-время-и-стоимость","Экономика: считаем время и стоимость",[15,351,352],{},"Перед арендой прикиньте, сколько часов реально нужно. Грубые ориентиры для LoRA-дообучения на одной карте:",[29,354,355,373],{},[32,356,357],{},[35,358,359,361,364,367,370],{},[38,360,176],{},[38,362,363],{},"Карта",[38,365,366],{},"Датасет",[38,368,369],{},"Время",[38,371,372],{},"Стоимость (₽)",[48,374,375,391,407,423],{},[35,376,377,380,382,385,388],{},[53,378,379],{},"7B LoRA, 5k примеров",[53,381,195],{},[53,383,384],{},"5k × 3 эпохи",[53,386,387],{},"4–8 ч",[53,389,390],{},"330–670",[35,392,393,396,398,401,404],{},[53,394,395],{},"13B LoRA, 10k примеров",[53,397,209],{},[53,399,400],{},"10k × 3 эпохи",[53,402,403],{},"6–12 ч",[53,405,406],{},"1300–2500",[35,408,409,412,414,417,420],{},[53,410,411],{},"70B QLoRA, 5k примеров",[53,413,209],{},[53,415,416],{},"5k × 2 эпохи",[53,418,419],{},"12–24 ч",[53,421,422],{},"2500–5000",[35,424,425,428,430,433,436],{},[53,426,427],{},"7B full fine-tune, 50k",[53,429,209],{},[53,431,432],{},"50k × 2 эпохи",[53,434,435],{},"24–48 ч",[53,437,438],{},"5000–10 000",[15,440,441],{},"Для full fine-tune больших моделей dedicated-сервер на месяц почти всегда дешевле почасовой аренды, даже если карта простаивает часть времени.",[24,443,445],{"id":444},"снижаем-vram-без-потери-качества","Снижаем VRAM без потери качества",[15,447,448],{},"Прежде чем переходить на более дорогую карту, попробуйте технику, которые сокращают потребление памяти:",[135,450,451,457,463,469,475],{},[138,452,453,456],{},[19,454,455],{},"Gradient checkpointing"," — пересчитывает активации на backward pass вместо хранения. Экономит 30–50% VRAM за ~20% замедления.",[138,458,459,462],{},[19,460,461],{},"Mixed precision (BF16)"," — почти обязательно, экономит VRAM и ускоряет на Tensor Cores.",[138,464,465,468],{},[19,466,467],{},"Adam 8-bit"," (bitsandbytes) — состояния оптимизатора в 8-бит, экономит ~75% памяти под оптимизатор.",[138,470,471,474],{},[19,472,473],{},"Gradient accumulation"," — не уменьшает VRAM напрямую, но позволяет эмулировать большой batch при маленьком физическом.",[138,476,477,480],{},[19,478,479],{},"Packing \u002F последовательности переменной длины"," — убирает padding, эффективнее использует каждый шаг.",[15,482,483],{},"Эти приёмы в сумме часто позволяют запустить full fine-tune 7B на одной A100 80GB вместо 2× A100 — это прямая экономия.",[24,485,487],{"id":486},"частые-ошибки","Частые ошибки",[135,489,490,496,502,508,519],{},[138,491,492,495],{},[19,493,494],{},"OOM на втором шаге"," — оптимизатор инициализируется лениво, первый шаг проходит, второй падает. Проверяйте потребление памяти на третьем шаге, не на первом.",[138,497,498,501],{},[19,499,500],{},"FP16 loss diverge"," — используйте BF16 вместо FP16, особенно на больших моделях (Ampere и новее).",[138,503,504,507],{},[19,505,506],{},"LoRA rank слишком большой"," — rank 64+ съедает почти столько же, сколько full fine-tune, без преимущества в качестве. Достаточно rank 8–32.",[138,509,510,513,514,518],{},[19,511,512],{},"DataLoader без workers"," — GPU простаивает. Ставьте ",[515,516,517],"code",{},"num_workers=4–8",", иначе training упирается в CPU.",[138,520,521,528],{},[19,522,523,524,527],{},"Не проверили ",[515,525,526],{},"nvidia-smi"," перед оплатой"," — иногда на сервере нет драйвера или карта занята другим процессом.",[24,530,532],{"id":531},"почасовая-или-месячная-аренда","Почасовая или месячная аренда",[135,534,535,541],{},[138,536,537,540],{},[19,538,539],{},"Почасовая"," — для LoRA-экспериментов, разовых прогонов, отладки гиперпараметров. Обычно хватает 2–6 часов на запуск.",[138,542,543,546],{},[19,544,545],{},"Месячная"," (dedicated) — для full fine-tune нескольких эпох, постоянного цикла экспериментов. Эквивалентная почасовая ставка в 2–3 раза ниже, чем в пуле.",[15,548,549,550,555,556,560,561,565],{},"У ",[551,552,554],"a",{"href":553},"\u002Fhosting\u002Fselectel","Selectel"," и ",[551,557,559],{"href":558},"\u002Fhosting\u002Fimmers","immers.cloud"," есть оба формата. ",[551,562,564],{"href":563},"\u002Fhosting\u002Fhostkey","HOSTKEY"," — преимущественно dedicated на месяц.",[24,567,569],{"id":568},"практические-шаги","Практические шаги",[571,572,573,576,579,594,597,600,603],"ol",{},[138,574,575],{},"Определите задачу: full fine-tune или LoRA\u002FQLoRA.",[138,577,578],{},"Посчитайте требуемый VRAM: для full ≈ 4× параметров, для QLoRA ≈ 1.2× параметров + adapter.",[138,580,581,582,585,586,589,590,593],{},"Сравните наличие на ",[551,583,209],{"href":584},"\u002Fgpu\u002Fa100-80",", ",[551,587,272],{"href":588},"\u002Fgpu\u002Fh100-80"," или ",[551,591,195],{"href":592},"\u002Fgpu\u002Frtx4090",".",[138,595,596],{},"Для LoRA-экспериментов берите почасовую аренду — обычно хватает 2–6 часов.",[138,598,599],{},"Для full fine-tune нескольких эпох — dedicated-сервер на месяц выгоднее.",[138,601,602],{},"Включите gradient checkpointing и mixed precision (BF16) — это уменьшит VRAM в 1.5–2 раза почти бесплатно.",[138,604,605,606,612],{},"Подпишитесь на ",[551,607,611],{"href":608,"rel":609},"https:\u002F\u002Ft.me\u002Fgpuradar_bot",[610],"nofollow","алерт в Telegram"," — сообщим, когда нужная конфигурация появится в наличии.",[24,614,616],{"id":615},"смежные-гайды","Смежные гайды",[135,618,619,626,633,640],{},[138,620,621,625],{},[551,622,624],{"href":623},"\u002Fguides\u002Farenda-a100","Аренда A100"," — рабочая лошадка для обучения",[138,627,628,632],{},[551,629,631],{"href":630},"\u002Fguides\u002Farenda-h100","Аренда H100"," — новейший ускоритель, быстрее A100",[138,634,635,639],{},[551,636,638],{"href":637},"\u002Fguides\u002Fgpu-dlya-llm-inference","GPU для LLM-инференса"," — если нужно не обучать, а запускать",[138,641,642,646],{},[551,643,645],{"href":644},"\u002Fguides\u002Fmnogopotochnyy-inference","Многопоточный inference"," — batch и throughput для production",{"title":648,"searchDepth":649,"depth":649,"links":650},"",2,[651,652,653,654,655,656,657,658,659,660],{"id":26,"depth":649,"text":27},{"id":129,"depth":649,"text":130},{"id":166,"depth":649,"text":167},{"id":290,"depth":649,"text":291},{"id":348,"depth":649,"text":349},{"id":444,"depth":649,"text":445},{"id":486,"depth":649,"text":487},{"id":531,"depth":649,"text":532},{"id":568,"depth":649,"text":569},{"id":615,"depth":649,"text":616},null,"2026-07-09","Какую видеокарту арендовать для обучения нейросетей. LoRA и full fine-tune, выбор карты по размеру модели — от 7B до 70B параметров, цены РФ.","md",{},true,"\u002Fguides\u002Fgpu-dlya-obucheniya-modeley",{"title":5,"description":663},"guides\u002Fgpu-dlya-obucheniya-modeley","1nUSkWCJytloD0YtlPkf1Kk7Ecsub9BT4YvJvqdLcTU",1783633714086]