Семь мини-ПК объединили в кластер для запуска DeepSeek-V3.1: эксперимент Bosgame
Компания Bosgame продемонстрировала необычный способ запуска больших языковых моделей: она объединила семь своих мини-ПК M5 AI в кластер, который смог локально запустить модель DeepSeek-V3.1 с 671 млрд параметров. Обычно такие модели требуют мощных серверов, но Bosgame показала, что можно обойтись несколькими компактными компьютерами.
Каждый мини-ПК M5 AI оснащён процессором Ryzen AI Max+ 395 и в топовой версии имеет 128 ГБ оперативной памяти. Несмотря на то что один такой компьютер не может вместить модель с сотнями миллиардов параметров, использование кластера решает эту проблему.
Соединение между устройствами организовано по протоколу USB4 Direct Connection. Оно позволяет нескольким мини-ПК работать как единая система без традиционной серверной архитектуры. В результате семь узлов образуют кластер с 896 ГБ унифицированной памяти, из которых до 672 ГБ выделено для графического процессора.
Стоимость такого решения значительно ниже, чем у серверного кластера сопоставимой мощности. На старте в прошлом году топовая версия M5 AI стоила около 1700 долларов, сейчас цена выросла до 2800 долларов за один ПК. Однако Bosgame подчёркивает: можно начать с одного устройства и со временем докупать остальные, наращивая мощность.
Кластер потребляет относительно скромное количество энергии, что тоже является преимуществом. Эксперимент показывает, что для локального запуска крупных ИИ-моделей не обязательно вкладываться в дорогостоящее серверное оборудование — достаточно нескольких мощных мини-ПК, объединённых через USB4.
Такое решение может быть интересно небольшим компаниям и разработчикам, которым нужна локальная работа с большими нейросетями без постоянного доступа к облачным серверам. Bosgame планирует продолжить развитие этой концепции.
