13.1.16. Model zoo i konwersja NPU

IDE zawiera bibliotekę wstępnie wytrenowanych modeli uczenia maszynowego – wykrywanie twarzy, wykrywanie osób, wykrywanie obiektów, estymacja pozy i więcej – utrzymywanych w aktualnym stanie poprzez aktualizacje zasobów IDE. Opcja Tools → Machine Vision → Open Model Zoo umożliwia jej przeglądanie: wybierz model, aby zobaczyć jego stronę opisu obok drzewa plików, i zaznacz filtr, aby zawęzić listę do modeli pasujących do Twojej płytki.

Przeglądarka Model Zoo z wybranym modelem i otwartą stroną jego opisu.

Wybierz model, a IDE skopiuje go gotowy do uruchomienia: konwertuje model dla akceleratora NPU docelowej płytki, gdy płytka go posiada, kopiuje obok niego dopasowany plik etykiet i domyślnie ustawia miejsce docelowe na dysk podłączonej kamery. Stamtąd po stronie skryptu wystarczy jedno wywołanie konstruktora ml.Model. Tę samą przeglądarkę można otworzyć z wnętrza edytora ROMFS, który jest lepszym miejscem docelowym dla modeli na płytkach posiadających ROMFS – modele w ROMFS wykonują się bezpośrednio z pamięci flash bez kopii w pamięci RAM.

13.1.16.1. Konwertowanie innych modeli

Opcja Tools → Machine Vision → Convert Model for NPU uruchamia tę samą konwersję na modelu z dowolnego innego źródła – wytrenowanym za pomocą Edge Impulse lub Roboflow, wyeksportowanym z frameworka treningowego lub pobranym. Płytki wyposażone w NPU mają każda swój kompilator dostawcy, który IDE dołącza i obsługuje: NPU Ethos-U używają Vela, a NPU ST Neural-ART używają ST Edge AI. Narzędzie pobiera docelową płytkę z podłączonej kamery (lub pyta, gdy żadna nie jest podłączona) i pobiera od Ciebie plik modelu. Model, który jest już skonwertowany, zostaje rozpoznany i po prostu skopiowany, a gdy wybrana płytka nie ma NPU, narzędzie informuje o tym i pomija konwersję – nieskonwertowany model nadal działa na takich płytkach, na CPU.

Na płytkach z NPU konwersja nie jest opcjonalna: w najlepszym przypadku nieskonwertowany model wraca do CPU i działa wielokrotnie wolniej, a na niektórych płytkach w ogóle się nie uruchomi. Edytor ROMFS i model zoo stosują konwersję automatycznie; ta pozycja menu istnieje dla modeli, które trafiają do Ciebie innymi drogami.

Zobacz także

Rozdział o uczeniu maszynowym dotyczy uruchamiania modeli za pomocą modułu ml oraz trenowania własnych.