Как собрать систему на нескольких видеокартах: гид по слотам PCIe

Для стабильной работы системы с 2–8 видеокартами ключевым фактором является не количество физических слотов, а правильное распределение линий PCIe от процессора и чипсета. Для задач, не требующих обмена данными между GPU (майнинг, простой рендеринг), достаточно подключения через PCIe x1 с использованием райзеров. Для задач с интенсивным обменом данными (машинное обучение, сложные вычисления) необходимы платы с поддержкой множественных слотов x8 или x16 и процессоры с большим количеством линий PCIe (HEDT/Server платформы).

Физические слоты против реальных линий PCIe

Главная ошибка новичков — ориентироваться только на длину разъема. Слот формата PCIe x16 физически может иметь подключение всего к одной линии (x1).

• Физический размер (x16): Определяет, встанет ли карта физически.
• Электрическое подключение (x1, x4, x8, x16): Определяет пропускную способность.

В современных потребительских системах (Intel Core i3/i5/i7/i9, AMD Ryzen 5/7/9) количество линий PCIe, идущих напрямую от процессора, ограничено (обычно 16–24 линии). Чипсет добавляет дополнительные линии, но они имеют меньшую пропускную способность и большую задержку, так как соединены с процессором через узкую шину (DMI у Intel или Infinity Fabric у AMD).

Таблица: Типичные схемы распределения линий

Выбор платформы в зависимости от задач

Архитектура подключения кардинально различается для разных сценариев использования.

1. Майнинг и крипто-вычисления

Здесь пропускная способность шины не критична. Видеокарты решают задачи локально, обмениваясь с системой минимальным объемом данных.

• Требования: Наличие 6–8 слотов PCIe. Неважно, будут это слоты x1 или x16 (главное, чтобы был сигнал).
• Решение: Специализированные материнские платы (форм-фактор часто нестандартный или Extended ATX) с распаянными слотами PCIe x1, расположенными на большом расстоянии друг от друга.
• Нюанс: Часто используются внешние райзеры (USB-кабели для передачи сигнала PCIe), что позволяет размещать видеокарты вне корпуса.

2. Машинное обучение (AI/ML) и рендеринг

Задачи требуют быстрого обмена данными между видеокартами (например, при обучении больших языковых моделей или рендеринге сцен с общими текстурами).

• Требования: Максимальная пропускная способность. Желательно подключение каждой карты минимум в режиме x8.
• Решение: Платформы HEDT (High-End Desktop) или Workstation.
  • AMD Threadripper / EPYC: Предоставляют до 128 линий PCIe напрямую от процессора. Это позволяет подключить 4–8 карт в режиме x8 или x16 без участия медленного чипсета.
  • Intel Xeon W / Core X (устаревшие): Аналогично, много линий PCIe.
• NVLink/NVSwitch: Для топовых задач (NVIDIA A100/H100) требуются специальные коммутаторы, обычные материнские платы здесь не подходят.

Критические требования к питанию и охлаждению

Выбор материнской платы — это лишь 20% успеха. Система на 8 GPU требует инженерного подхода к инфраструктуре.

Питание (VRM и коннекторы)

1. Слоты питания: Материнская плата должна иметь дополнительные коннекторы питания PCIe (6-pin или 8-pin) непосредственно рядом со слотами расширения. Стандартные 75 Вт от слота недостаточно даже для одной современной карты.
2. Качество VRM: Зона регулирования напряжения процессора и чипсета испытывает высокие нагрузки. Ищите платы с массивными радиаторами на мосфетах.
3. Блок питания (БП): Для 8 карт среднего уровня (например, RTX 3060/4060) суммарное потребление может превышать 1500–2000 Вт. Используйте серверные БП или связку из двух обычных БП с синхронизатором старта.

Охлаждение

• Расстояние между слотами: В стандартных платах ATX слоты идут через один или два. Для 2–3 карт с толстыми кулерами это проблема. Для 4+ карт нужны либо специализированные платы с разнесенными слотами, либо использование референсных («турбинных») видеокарт, которые выдувают воздух за пределы корпуса.
• Обдув зоны VRM: При полной загрузке всех слотов температура в районе чипсета и регуляторов напряжения может достигать критических значений. Обязательна установка дополнительных вентиляторов, направленных на зону VRM.

Частые ошибки при сборке мульти-GPU систем

1. Игнорирование лимита линий чипсета: Пользователи покупают плату с 4 слотами x16, не читая мануал. Выясняется, что при установке 4 карт все они переключаются в режим x4, а при установке 5-й карты отключаются порты SATA или M.2.
2. Нехватка места в BIOS: Некоторые старые BIOS не поддерживают адресацию более 4–6 устройств PCIe. Требуется обновление BIOS и включение опции "Above 4G Decoding" (критично для майнинга и некоторых рабочих задач).
3. Конфликт прерываний (IRQ): В системах с 8+ устройствами могут возникать конфликты ресурсов. Решение — отключение неиспользуемых контроллеров (аудио, лишние USB, Wi-Fi) в BIOS.
4. Использование дешевых райзеров: Для сигналов PCIe выше версии 3.0 качественные кабели критичны. Дешевые удлинители вызывают ошибки CRC и падение хешрейта/производительности.

FAQ

В: Можно ли использовать обычные игровые видеокарты в серверных платах? О: Да, но убедитесь, что серверная плата поддерживает UEFI BIOS (современные платы поддерживают) и имеет нужное физическое крепление. Часто требуется переходник с открытого воздушного охлаждения на закрытое, если карты стоят плотно.

В: Что такое "Above 4G Decoding" и зачем оно нужно? О: Это настройка BIOS, позволяющая системе адресовать память видеокарт выше 4 ГБ. Без включенной этой опции система с 4+ видеокартами просто не загрузится или не увидит часть устройств.

В: Какая материнская плата лучше для 6 GPU на Ryzen? О: Ищите платы на чипсете X570/X670 с хорошей разводкой. Однако лучший вариант для 6+ GPU на базе AMD — это платформа Threadripper, где каждая карта получит прямые линии от процессора. На обычном Ryzen последние карты будут «висеть» на чипсете, что снизит эффективность при задачах, требующих обмена данными.

В: Влияет ли версия PCIe (3.0, 4.0, 5.0) на майнинг? О: Нет. Для майнинга разница между PCIe 3.0 x1 и PCIe 4.0 x1 ничтожна. Для рендеринга и AI разница заметна, особенно при использовании технологий вроде NVLink, где важна ширина шины.