13.1.16. Зоопарк моделей та конвертація для NPU

IDE постачається з бібліотекою попередньо навчених моделей машинного навчання – виявлення облич, виявлення людей, виявлення об’єктів, оцінка поз та більше – що оновлюються через оновлення ресурсів IDE. Tools → Machine Vision → Open Model Zoo відкриває браузер: виберіть модель, щоб побачити її опис поряд із деревом файлів, і скористайтеся фільтром, щоб звузити список до моделей, що підходять для вашої плати.

Браузер Model Zoo з вибраною моделлю та відкритою сторінкою її опису.

Виберіть модель, і IDE скопіює її, готову до запуску: конвертує модель для NPU-прискорювача цільової плати (якщо він є), скопіює поруч відповідний файл міток і за замовчуванням збереже у диск підключеної камери. Після цього на стороні скрипту залишається лише один виклик конструктора ml.Model. Той самий браузер доступний зсередини редактора ROMFS, що є кращим місцем призначення для моделей на платах із ROMFS – моделі у ROMFS виконуються безпосередньо з флеш-пам’яті без копіювання в RAM.

13.1.16.1. Конвертація інших моделей

Tools → Machine Vision → Convert Model for NPU виконує ту саму конвертацію для моделі з будь-якого іншого джерела – навченої в Edge Impulse або Roboflow, експортованої з фреймворку навчання або завантаженої. Плати з NPU мають відповідний вендорський компілятор, що постачається в комплекті з IDE: Ethos-U NPU використовує Vela, а ST Neural-ART NPU – ST Edge AI. Інструмент визначає цільову плату з підключеної камери (або запитує, якщо жодна не підключена) і отримує файл моделі від вас. Вже конвертована модель розпізнається та просто копіюється, а якщо у вибраній плати немає NPU – інструмент повідомить про це і пропустить конвертацію; неконвертована модель все одно запускатиметься на таких платах, але на CPU.

На платах із NPU конвертація є обов’язковою: в кращому випадку неконвертована модель перемикається на CPU і працює набагато повільніше, а на деяких платах вона взагалі не запускатиметься. Редактор ROMFS і зоопарк моделей виконують конвертацію автоматично; цей пункт меню існує для моделей, що надходять іншими шляхами.

Дивись також

Розділ про машинне навчання для запуску моделей за допомогою модуля ml та навчання власних моделей.