13.1.16. Kho mô hình và chuyển đổi NPU

IDE đi kèm với thư viện các mô hình học máy được huấn luyện sẵn -- phát hiện khuôn mặt, phát hiện người, phát hiện đối tượng, ước lượng tư thế và nhiều hơn nữa -- được cập nhật thường xuyên qua cơ chế cập nhật tài nguyên của IDE. Tools → Machine Vision → Open Model Zoo cho phép duyệt thư viện này: chọn một mô hình để xem trang mô tả của nó bên cạnh cây tệp, và đánh dấu vào bộ lọc để thu hẹp danh sách theo các mô hình phù hợp với board của bạn.

Trình duyệt Model Zoo với một mô hình được chọn và trang mô tả của nó đang mở.

Chọn một mô hình và IDE sẽ sao chép nó ra ở trạng thái sẵn sàng chạy: nó chuyển đổi mô hình cho bộ tăng tốc NPU của board đích khi board có NPU, sao chép tệp nhãn tương ứng bên cạnh, và mặc định đích đến là ổ đĩa của camera đang kết nối. Từ đó, phần tập lệnh chỉ cần một lần gọi hàm tạo ml.Model. Cùng trình duyệt này có thể truy cập từ bên trong trình chỉnh sửa ROMFS, đây là đích đến tốt hơn cho các mô hình trên các board có ROMFS -- các mô hình trong ROMFS được thực thi trực tiếp từ bộ nhớ flash mà không cần sao chép vào RAM.

13.1.16.1. Chuyển đổi các mô hình khác

Tools → Machine Vision → Convert Model for NPU chạy cùng quá trình chuyển đổi trên một mô hình từ bất kỳ nguồn nào khác -- một mô hình được huấn luyện với Edge Impulse hoặc Roboflow, xuất từ framework huấn luyện, hoặc tải xuống. Các board có NPU đều có trình biên dịch của nhà sản xuất mà IDE tích hợp và điều khiển: NPU Ethos-U sử dụng Vela, và NPU ST Neural-ART sử dụng ST Edge AI. Công cụ lấy thông tin board đích từ camera đang kết nối (hoặc hỏi khi không có camera nào kết nối) và lấy tệp mô hình từ bạn. Mô hình đã được chuyển đổi sẽ được nhận diện và chỉ sao chép, và khi board được chọn không có NPU, công cụ sẽ thông báo và bỏ qua quá trình chuyển đổi -- mô hình chưa được chuyển đổi vẫn có thể chạy trên các board đó, trên CPU.

Trên các board có NPU, quá trình chuyển đổi là bắt buộc: trong trường hợp tốt nhất, mô hình chưa được chuyển đổi sẽ dự phòng về CPU và chạy chậm hơn nhiều lần, và trên một số board nó sẽ không chạy được. Trình chỉnh sửa ROMFS và kho mô hình áp dụng chuyển đổi tự động; mục menu này tồn tại cho các mô hình đến qua các con đường khác.

Xem thêm

Chương học máy để chạy các mô hình với module ml và huấn luyện các mô hình tùy chỉnh.