Епоха, коли штучний інтелект вимагав потужних серверів та постійного підключення до інтернету, може доблизитися до кінця. Стартап PrismML представив технологію, здатну змінити ландшафт мобільної індустрії: вони створили модель Bonsai 27B, яка запускається безпосередньо на смартфоні, не поступаючись можливостями хмарним гігантам.

В основі інновації лежить відкрита нейромережа Qwen3.6 27B від китайської Alibaba. У своєму «рідному» вигляді вона важить близько 54 ГБ, що робить запуск на споживчих гаджетах неможливим. Інженери PrismML застосували метод радикального спрощення математичних значень: замість стандартної 16-бітної кодування кожну вагу всередині нейромережі тепер записують всього в 1-2 біти. Патенти на цей метод належать Каліфорнійському технологічному інституту (Caltech) і ліцензовані виключно для стартапу, який у березні залучив 16,25 мільйона доларів інвестицій.

Технологічний прорив і його ціна

Компанія випустила дві безкоштовні версії моделі під ліцензією Apache 2.0. За даними розробників, таке екстремальне стиснення дозволяє моделі використовувати в 10–15 разів менше оперативної пам'яті. При цьому швидкість генерації відповідей зростає в 6–8 разів, а споживання енергії знижується в 3–6 разів.

Однак фізика не пробачає див, і у технології є свої компроміси. Екстремальне стиснення призводить до втрати кількох відсотків загальної ефективності. У моделі Bonsai 27B помітно погіршилися здібності до згадування точних фактів, розпізнавання зображень та роботи з сторонніми інструментами. Тим не менш, логіка, математика та написання коду залишилися на високому рівні.

Також залишається відкритим питання енергоспоживання при тривалому використанні. Безперервна робота нейромережі у фоновому режимі здатна швидко розрядити акумулятор, а процесор починає скидати частоти через перегрів вже через п'ять хвилин безперервної роботи.

Стратегія Apple: чому iPhone зацікавився Bonsai

Apple веде активні переговори з PrismML на фоні запуску публічної бета-версії iOS 27, де компанія представила масштабне оновлення Siri. Локальний запуск стиснутих моделей безпосередньо на процесорах iPhone дає «яблучній» корпорації кілька стратегічних переваг:

  • Мінімальна затримка: смартфону більше не потрібно чекати відповіді від хмари — обробка запитів відбувається миттєво.
  • Максимальна конфіденційність: чутливі дані, такі як медична інформація, списки ліків або фітнес-показники, взагалі не залишають пристрій.
  • Автономність: базові функції ШІ, інструменти обчислювальної фотографії, генерація відео та редагування тексту можуть працювати без підключення до інтернету.
  • Зниження витрат: зменшується фінансова навантаження на утримання власних дата-центрів Apple та оплату сторонніх хмарних ліцензій.

Думка аналітиків

Попри оптимістичні заяви PrismML, незалежні аналітики з Counterpoint Research та IDC закликають оцінювати технологію обережно. Реальні тести за межами лабораторії ще не проводилися, і поки рано говорити про те, чи зможе ця технологія стати стандартом індустрії.