13.1.16. Зоопарк моделей и конвертация для NPU

IDE поставляется с библиотекой предобученных моделей машинного обучения — обнаружение лиц, обнаружение людей, обнаружение объектов, оценка позы и другое — поддерживаемых в актуальном состоянии через обновления ресурсов IDE. Команда Tools → Machine Vision → Open Model Zoo позволяет просматривать её: выберите модель, чтобы увидеть страницу её описания рядом с деревом файлов, и установите фильтр, чтобы сузить список до моделей, подходящих вашей плате.

Браузер зоопарка моделей с выбранной моделью и открытой страницей её описания.

Выберите модель, и IDE скопирует её в готовом к запуску виде: она конвертирует модель для NPU-ускорителя целевой платы, если у платы он есть, копирует рядом соответствующий файл меток и устанавливает по умолчанию назначение на диск подключённой камеры. Оттуда сторона скрипта находится в одном вызове конструктора ml.Model. Тот же браузер доступен изнутри редактора ROMFS, который является лучшим назначением для моделей на платах с ROMFS — модели в ROMFS выполняются прямо из флеш-памяти без копии в RAM.

13.1.16.1. Конвертация других моделей

Команда Tools → Machine Vision → Convert Model for NPU выполняет ту же конвертацию для модели из любого другого источника — обученной с помощью Edge Impulse или Roboflow, экспортированной из обучающего фреймворка или загруженной. Каждая плата с NPU имеет компилятор от производителя, который IDE содержит и которым управляет: NPU Ethos-U используют Vela, а NPU ST Neural-ART используют ST Edge AI. Инструмент берёт целевую плату от подключённой камеры (или спрашивает, когда ни одна не подключена) и берёт файл модели от вас. Уже сконвертированная модель распознаётся и просто копируется, а когда у выбранной платы нет NPU, инструмент сообщает об этом и пропускает конвертацию — несконвертированная модель всё равно работает на таких платах, на CPU.

На платах с NPU конвертация не является необязательной: в лучшем случае несконвертированная модель откатывается на CPU и работает во много раз медленнее, а на некоторых платах вовсе не запустится. Редактор ROMFS и зоопарк моделей применяют конвертацию автоматически; этот пункт меню существует для моделей, поступающих другими путями.

См. также

Глава о машинном обучении о запуске моделей с помощью модуля ml и обучении собственных.