13.1.16. De model zoo en NPU-conversie

De IDE wordt geleverd met een bibliotheek van voorgetrainde machine-learning-modellen – gezichtsdetectie, persoonsdetectie, objectdetectie, pose-estimatie en meer – die actueel worden gehouden via de resource-updates van de IDE. Tools → Machine Vision → Open Model Zoo bladert erdoorheen: selecteer een model om de beschrijvingspagina ervan naast de bestandsboom te zien, en vink het filter aan om de lijst te beperken tot modellen die op je board passen.

De Model Zoo-browser met een geselecteerd model en de beschrijvingspagina ervan geopend.

Kies een model en de IDE kopieert het kant-en-klaar om te draaien: het converteert het model voor de NPU-versneller van het doel-board wanneer het board er een heeft, kopieert het bijbehorende labelbestand ernaast, en stelt de bestemming standaard in op het station van de verbonden camera. Vanaf daar is de scriptzijde nog maar één ml.Model-constructoraanroep verwijderd. Dezelfde browser is bereikbaar vanuit de ROMFS-editor, die de betere bestemming is voor modellen op boards die ROMFS hebben – modellen in ROMFS worden rechtstreeks vanuit het flashgeheugen uitgevoerd zonder een RAM-kopie.

13.1.16.1. Andere modellen converteren

Tools → Machine Vision → Convert Model for NPU voert dezelfde conversie uit op een model van ergens anders – een model dat getraind is met Edge Impulse of Roboflow, geëxporteerd uit een trainingsframework, of gedownload. NPU-uitgeruste boards hebben elk een leverancierscompiler die de IDE meelevert en bestuurt: Ethos-U NPU’s gebruiken Vela, en ST Neural-ART NPU’s gebruiken ST Edge AI. De tool neemt het doel-board over van de verbonden camera (of vraagt ernaar wanneer er geen is verbonden) en neemt het modelbestand van jou. Een model dat al geconverteerd is wordt herkend en gewoon gekopieerd, en wanneer het geselecteerde board geen NPU heeft zegt de tool dit en slaat de conversie over – een niet-geconverteerd model draait op die boards nog steeds, op de CPU.

Op NPU-boards is de conversie niet optioneel: in het beste geval valt een niet-geconverteerd model terug op de CPU en draait het vele malen trager, en op sommige boards draait het helemaal niet. De ROMFS-editor en de model zoo passen de conversie automatisch toe; deze menu-vermelding bestaat voor modellen die langs andere routes binnenkomen.

Zie ook

Het machine learning-hoofdstuk voor het draaien van modellen met de ml-module en het trainen van eigen modellen.