Розрив у можливостях скоротився швидше, ніж очікувалося
AI на пристрої — це вже не компромісний режим на випадок поганого з'єднання, а цілком легітимний варіант за замовчуванням для конкретного, доволі поширеного набору потреб продукту. Спеціалізоване залізо (NPU, які тепер стандартно постачаються у сучасних телефонах і периферійних пристроях) зробило його достатньо швидким, щоб раніше поширене припущення "на пристрої — значить помітно гірше" більше не діяло для багатьох реальних сценаріїв використання.
Коли AI на пристрої — правильний вибір
- Затримка важливіша за суху потужність моделі. Запит до хмарного API додає затримку, якої немає у локальної моделі, — це критично для всього, що має відчуватися миттєвим, як-от аналіз камери в реальному часі чи жива транскрипція.
- Функція має працювати офлайн. Інструменти для виїзного обслуговування, портативні медичні пристрої та застосунки для виробничих цехів не можуть покладатися на з'єднання, яке не гарантоване там, де їх використовують.
- Вартість одного інференсу інакше зростала б непропорційно. Функція, якою користується постійно кожен користувач, а не зрідка, може перетворити вартість хмарного API за інференс на домінуючу статтю ваших операційних витрат — тоді як AI на пристрої переносить цю вартість у фіксовану вимогу до заліза.
- Чутливість даних говорить на користь того, щоб вони не покидали пристрій. Деякі дані — медична інформація, фінансові деталі, все, що підпадає під суворі правила резидентності даних — простіше обробляти правильно, якщо вони взагалі не мають залишати пристрій, щоб отримати відповідь на основі AI.
Коли хмара все ще правильний вибір
- Задача справді потребує глибини мислення великої моделі. Складне багатокрокове міркування, задачі з довгим контекстом або будь-що, де розрив у 10-20% можливостей дійсно має значення для вашого конкретного випадку використання.
- Вам потрібен централізований контроль над версією моделі. Доставка оновлення на мільйони пристроїв повільніша, ніж оновлення серверної моделі — якщо ви швидко ітеруєте над якістю, хмара дає вам цей важіль.
- Функцію використовують зрідка, а не постійно. Низька частота використання рідко виправдовує фіксовану вартість і складність вбудовування та оновлення моделі на пристрої.
Не починайте з "що краще". Починайте з "як часто користувач запускає цю функцію і чи має вона працювати з телефоном у режимі польоту". Частота використання й необхідність офлайн-роботи напряму відповідають на питання вартості й надійності; вимоги до можливостей відповідають на те, чи достатньо малої моделі. Більшість реальних рішень зводяться саме до цих двох осей, а не до загального вердикту про те, який підхід кращий.
Приклади з продакшену, що вже працюють так
| Сценарій використання | Чому переміг варіант на пристрої |
|---|---|
| Камери контролю якості на виробництві | Локальна обробка тисяч деталей щогодини, а прогнозоване обслуговування скорочує позаплановий простій приблизно на чверть у задокументованих впровадженнях |
| Портативні ультразвукові апарати | Аналіз у реальному часі під час польової діагностики без залежності від з'єднання, якого може не бути там, де апарат використовується |
| Виявлення об'єктів в автомобілях | Розпізнавання пішоходів одночасно з десятків камер, де затримка на хмарний запит-відповідь просто неприпустима |
Моделюєте вартість AI для свого продукту?
Подивіться, як канали, автономність і місце виконання інференсу впливають на вартість розробки та експлуатації — ще до того, як ви візьмете на себе зобов'язання щодо архітектури.
Поширені запитання
Чи може один продукт використовувати і AI на пристрої, і хмарний AI?
Так, і часто це найправильніша архітектура — швидка модель на пристрої обробляє поширений, чутливий до затримки сценарій, а хмарна модель бере на себе рідші випадки, які справді потребують глибших можливостей.
Чи означає AI на пристрої відмову від оновлень моделі?
Ні, але механізм оновлення змінюється — замість миттєвого оновлення серверної моделі ви доставляєте оновлення моделі через звичайний процес випуску застосунку, що повільніше і вимагає окремого планування.
Скільки насправді коштує розробити AI на пристрої?
Інженерні витрати зміщуються від постійних витрат на API за кожен інференс до роботи, виконаної заздалегідь: вибір моделі, квантизація та тестування на різному залізі, яке реально є у ваших користувачів — інша структура витрат, але не обов'язково менша.
Чи актуальний AI на пристрої лише для мобільних застосунків?
Ні — ті самі компроміси стосуються вбудованих пристроїв, десктопних застосунків і периферійного заліза у виробництві чи охороні здоров'я. Мобільні застосунки — просто найпоширеніший випадок для типової продуктової команди.