13.1.16. คลังโมเดลและการแปลงสำหรับ NPU¶

IDE มาพร้อมกับไลบรารีของโมเดลแมชชีนเลิร์นนิงที่ผ่านการฝึกมาแล้ว ได้แก่ การตรวจจับใบหน้า การตรวจจับบุคคล การตรวจจับวัตถุ การประเมินท่าทาง และอื่น ๆ ซึ่งได้รับการอัปเดตอย่างต่อเนื่องผ่านการอัปเดตทรัพยากรของ IDE เมนู Tools → Machine Vision → Open Model Zoo ใช้สำหรับเรียกดูคลังนี้: เลือกโมเดลเพื่อดูหน้าคำอธิบายควบคู่กับแผนผังไฟล์ และทำเครื่องหมายตัวกรองเพื่อจำกัดรายการเฉพาะโมเดลที่เหมาะกับบอร์ดของคุณ

The Model Zoo browser: the model tree on the left with a model selected, its description page on the right, and the filter-by-board-type checkbox at the bottom — เบราว์เซอร์ Model Zoo พร้อมโมเดลที่เลือกและหน้าคำอธิบายที่เปิดอยู่¶

เลือกโมเดล แล้ว IDE จะคัดลอกมาให้พร้อมใช้งาน: แปลงโมเดลสำหรับตัวเร่ง NPU ของบอร์ดเป้าหมายหากบอร์ดนั้นมี NPU คัดลอกไฟล์ป้ายกำกับที่ตรงกันมาด้วย และตั้งค่าปลายทางเริ่มต้นไปยังไดรฟ์ของกล้องที่เชื่อมต่ออยู่ จากนั้นในฝั่งสคริปต์ต้องเรียกใช้คอนสตรักเตอร์ ml.Model เพียงครั้งเดียว เบราว์เซอร์เดียวกันนี้สามารถเข้าถึงได้จากภายใน ตัวแก้ไข ROMFS ซึ่งเป็นปลายทางที่เหมาะกว่าสำหรับโมเดลบนบอร์ดที่มี ROMFS เนื่องจากโมเดลใน ROMFS รันตรงจากแฟลชโดยไม่ต้องคัดลอกเข้า RAM

13.1.16.1. การแปลงโมเดลอื่น¶

เมนู Tools → Machine Vision → Convert Model for NPU ทำการแปลงแบบเดียวกันกับโมเดลจากแหล่งอื่น ไม่ว่าจะเป็นโมเดลที่ฝึกด้วย Edge Impulse หรือ Roboflow ส่งออกจากเฟรมเวิร์กการฝึก หรือดาวน์โหลดมา บอร์ดที่มี NPU แต่ละรุ่นจะมีคอมไพเลอร์ของผู้ผลิตที่ IDE รวมไว้และควบคุม: NPU รุ่น Ethos-U ใช้ Vela และ NPU รุ่น ST Neural-ART ใช้ ST Edge AI เครื่องมือนี้รับบอร์ดเป้าหมายจากกล้องที่เชื่อมต่ออยู่ (หรือถามเมื่อไม่มีกล้องเชื่อมต่อ) และรับไฟล์โมเดลจากคุณ โมเดลที่แปลงแล้วจะถูกจดจำและคัดลอกเฉย ๆ และเมื่อบอร์ดที่เลือกไม่มี NPU เครื่องมือจะแจ้งและข้ามการแปลง โดยโมเดลที่ยังไม่ถูกแปลงยังคงรันบนบอร์ดเหล่านั้นด้วย CPU ได้

บนบอร์ดที่มี NPU การแปลงไม่ใช่ทางเลือก: อย่างดีที่สุดโมเดลที่ยังไม่ถูกแปลงจะ fallback ไปรันบน CPU และทำงานช้ากว่าหลายเท่า และในบางบอร์ดจะไม่สามารถรันได้เลย ตัวแก้ไข ROMFS และ model zoo ใช้การแปลงโดยอัตโนมัติ รายการเมนูนี้มีไว้สำหรับโมเดลที่ได้รับมาจากเส้นทางอื่น