13.1.16. Model zoo dan konversi NPU

IDE dilengkapi dengan pustaka model machine learning yang telah dilatih sebelumnya -- deteksi wajah, deteksi orang, deteksi objek, estimasi pose, dan lainnya -- yang terus diperbarui melalui pembaruan sumber daya IDE. Tools → Machine Vision → Open Model Zoo menelusuri pustaka tersebut: pilih model untuk melihat halaman deskripsinya di samping pohon file, dan centang filter untuk mempersempit daftar menjadi model yang sesuai dengan board Anda.

Browser Model Zoo dengan model yang dipilih dan halaman deskripsinya terbuka.

Pilih model dan IDE menyalinnya siap untuk dijalankan: IDE mengkonversi model untuk akselerator NPU board target jika board memilikinya, menyalin file label yang sesuai di sampingnya, dan menetapkan tujuan secara default ke drive kamera yang terhubung. Dari sana, sisi skrip hanya perlu satu panggilan konstruktor ml.Model. Browser yang sama dapat diakses dari dalam editor ROMFS, yang merupakan tujuan yang lebih baik untuk model pada board yang memiliki ROMFS -- model di ROMFS dieksekusi langsung dari flash tanpa salinan di RAM.

13.1.16.1. Mengkonversi model lain

Tools → Machine Vision → Convert Model for NPU menjalankan konversi yang sama pada model dari sumber mana pun -- yang dilatih dengan Edge Impulse atau Roboflow, diekspor dari framework pelatihan, atau diunduh. Board yang dilengkapi NPU masing-masing memiliki compiler vendor yang dibundel dan dijalankan oleh IDE: NPU Ethos-U menggunakan Vela, dan NPU ST Neural-ART menggunakan ST Edge AI. Alat ini mengambil board target dari kamera yang terhubung (atau menanyakannya ketika tidak ada yang terhubung) dan mengambil file model dari Anda. Model yang sudah dikonversi akan dikenali dan hanya disalin, dan ketika board yang dipilih tidak memiliki NPU, alat ini akan memberitahunya dan melewati konversi -- model yang belum dikonversi tetap berjalan di board tersebut, pada CPU.

Pada board NPU, konversi tidak bersifat opsional: dalam kasus terbaik, model yang belum dikonversi akan kembali ke CPU dan berjalan jauh lebih lambat, dan pada beberapa board model tersebut tidak akan berjalan sama sekali. Editor ROMFS dan model zoo menerapkan konversi secara otomatis; entri menu ini ada untuk model yang datang melalui jalur lain.

Lihat juga

Bab machine learning untuk menjalankan model dengan modul ml dan melatih model kustom.