Компанія Microsoft оголосила про реалізацію технології Remote Direct Memory Access (RDMA) через інтерфейс USB4, що відкриває можливість об'єднувати кілька персональних комп'ютерів у єдину обчислювальну систему. Нововведення спрямоване передусім на локальний запуск великих мовних моделей, які не поміщаються в оперативну пам'ять одного пристрою. По суті, ентузіасти та розробники отримують інструмент для складання домашнього ШІ-кластера без потреби закупівлі спеціалізованого серверного обладнання та високошвидкісних мережевих карт InfiniBand або RoCE.
Прямий доступ до пам'яті без мережевого стека
Технологія RDMA дозволяє передавати дані безпосередньо між областями оперативної пам'яті двох систем, оминаючи значну частину традиційного мережевого стека. Це забезпечує мінімальну затримку та суттєво знижує навантаження на центральний процесор, який за звичайного мережевого обміну змушений брати участь у кожному циклі копіювання даних. Саме тому RDMA вже давно є невіддільним компонентом систем зберігання даних у центрах обробки та розподілених обчислювальних кластерах. Тепер ця технологія отримала нове застосування — у сегменті споживчих і робочих станцій. За даними тестів, затримка під час використання RDMA через USB4 становить 28–50 мікросекунд, тоді як за стандартного Ethernet-з'єднання вона досягає 116–194 мікросекунд.
Архітектура підключення та вимоги до обладнання
Для реалізації рішення необхідний інтерфейс USB4, що забезпечує суттєво вищу пропускну здатність порівняно з попередніми поколіннями USB. Це означає, що об'єднати таким чином можна лише достатньо сучасні комп'ютери, оснащені відповідними контролерами. У технічному плані Microsoft використовує наявний у Windows 11 механізм прямого підключення пристроїв через USB4: кожна система створює власний домен USB4, після чого диспетчер підключень Windows встановлює між пристроями одноранговий тунель. Спеціальний програмний компонент RDMA пов'язує черги передачі даних із кільцевими буферами DMA контролера USB4, що дозволяє уникнути додаткових операцій копіювання інформації в пам'яті. Для кожного з'єднання виділяються дві пари кільцевих буферів. Під час об'єднання трьох комп'ютерів один із них має бути оснащений двома портами USB4.
Результати демонстраційного тестування
Для демонстрації працездатності Microsoft протестувала технологію на міні-ПК із процесором Ryzen AI Max+ 395 та 128 ГБ оперативної пам'яті. Три підключені комп'ютери успішно запустили модель Qwen3-235B-A22B із 4-бітним квантуванням. Microsoft повідомила про швидкість генерації близько 18,5 токенів на секунду. Водночас AMD, використовуючи власну конфігурацію обладнання, отримала результат 21,98 токена на секунду. Різниця в показниках пояснюється відмінностями в апаратній конфігурації та налаштуваннях тестових стендів обох компаній.
Відкритий код і перспективи розвитку
Провайдер NetworkDirect для USB4, а також тестова платформа на базі llama.cpp, використана для демонстрації, є проєктами з відкритим вихідним кодом. Це означає, що спільнота розробників може самостійно адаптувати рішення, доопрацьовувати драйвери та створювати власні конфігурації кластерів. Для локальних ШІ-лабораторій, невеликих дослідницьких груп та ентузіастів, які працюють із великими мовними моделями, це рішення може стати доступною альтернативою хмарним GPU-кластерам, дозволяючи використовувати вже наявне десктопне обладнання.