ml.postprocessing.mediapipe --- Google Mediapipe

Module ml.postprocessing.mediapipe chứa các bộ xử lý hậu kỳ cho các mô hình Google Mediapipe.

class mediapipe_detection_postprocess -- Generic Mediapipe Detector

Lớp cơ sở được chia sẻ bởi BlazeFace và BlazePalm. Giải mã các hộp giới hạn và điểm đặc trưng dựa trên neo, sau đó thực hiện NMS.

class ml.postprocessing.mediapipe.mediapipe_detection_postprocess(threshold: float = 0.6, anchors: ndarray | None = None, anchor_grid: list[tuple[int, int]] | None = None, scores: list[int] = [], cords: list[int] = [], nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Tạo một bộ xử lý hậu kỳ phát hiện Mediapipe tổng quát.

threshold Ngưỡng điểm số được áp dụng cho các logit thô trước khi sigmoid.

anchors Mảng neo được xây dựng trước tùy chọn có shape (N, 2) chứa các tâm (cx, cy) được chuẩn hóa về [0, 1]. Nếu None, các neo được tạo từ anchor_grid.

anchor_grid Danh sách các tuple (grid_size, scales) được dùng để tạo neo khi anchors là None.

scores Danh sách các chỉ số đầu ra của mô hình chứa các tensor điểm số.

cords Danh sách các chỉ số đầu ra của mô hình chứa các tensor hộp/điểm đặc trưng.

nms_threshold Ngưỡng IoU cho non-maximum suppression.

nms_sigma Sigma cho việc phân rã điểm số soft-NMS.

__call__(model: ml.Model, inputs: list, outputs: list) → list

Chạy xử lý hậu kỳ trên các đầu ra của mô hình và trả về danh sách các tuple ((x, y, w, h), score, keypoints). Trả về tuple rỗng () khi không có phát hiện nào vượt qua ngưỡng điểm số.

detection_post_process(ih: int, iw: int, nms: ml.utils.NMS, model: ml.Model, inputs: list, outputs: list, score_idx: int, cords_idx: int, t: float, anchors: ndarray) → None

Giải mã và thêm các hộp giới hạn từ một cặp đầu ra (score, cords) vào bộ tích lũy NMS đã cung cấp.

class BlazeFace -- Face Detection

Xử lý hậu kỳ đầu ra của mô hình BlazeFace.

class ml.postprocessing.mediapipe.BlazeFace(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Tạo một bộ xử lý hậu kỳ BlazeFace. Sử dụng lưới neo [(16, 2), (8, 6)] với đầu ra điểm số [1, 2] và đầu ra hộp [0, 3].

threshold Ngưỡng điểm số cho các phát hiện.

anchors Mảng neo được xây dựng trước tùy chọn; được tạo tự động nếu None.

nms_threshold Ngưỡng IoU cho non-maximum suppression.

nms_sigma Sigma cho việc phân rã điểm số soft-NMS.

Trả về danh sách các tuple ((x, y, w, h), score, keypoints) từ __call__, trong đó keypoints là danh sách các điểm (x, y).

class BlazePalm -- Palm Detection

Xử lý hậu kỳ đầu ra của mô hình BlazePalm.

class ml.postprocessing.mediapipe.BlazePalm(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Tạo một bộ xử lý hậu kỳ BlazePalm. Sử dụng lưới neo [(24, 2), (12, 6)] với đầu ra điểm số [0] và đầu ra hộp [1].

threshold Ngưỡng điểm số cho các phát hiện.

anchors Mảng neo được xây dựng trước tùy chọn; được tạo tự động nếu None.

nms_threshold Ngưỡng IoU cho non-maximum suppression.

nms_sigma Sigma cho việc phân rã điểm số soft-NMS.

Trả về danh sách các tuple ((x, y, w, h), score, keypoints) từ __call__, trong đó keypoints là danh sách các điểm (x, y).

class FaceLandmarks -- Face Landmarks

Xử lý hậu kỳ đầu ra của mô hình FaceLandmarks.

class ml.postprocessing.mediapipe.FaceLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Tạo một bộ xử lý hậu kỳ FaceLandmarks.

threshold Ngưỡng điểm số (sau sigmoid) để chấp nhận một phát hiện.

nms_threshold Ngưỡng IoU cho non-maximum suppression.

nms_sigma Sigma cho việc phân rã điểm số soft-NMS.

Trả về danh sách các tuple ((x, y, w, h), score, keypoints) từ __call__, trong đó keypoints là danh sách các điểm (x, y, z).

class HandLandmarks -- Hand Landmarks

Xử lý hậu kỳ đầu ra của mô hình HandLandmarks.

class ml.postprocessing.mediapipe.HandLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Tạo một bộ xử lý hậu kỳ HandLandmarks.

threshold Ngưỡng điểm số để chấp nhận một phát hiện.

nms_threshold Ngưỡng IoU cho non-maximum suppression.

nms_sigma Sigma cho việc phân rã điểm số soft-NMS.

Trả về [[((x, y, w, h), score, keypoints)]] từ __call__, với một danh sách bên trong cho mỗi lớp bàn tay (trái=0, phải=1). keypoints là danh sách các điểm (x, y, z). Các danh sách lớp rỗng được giữ lại để chỉ số của mỗi danh sách khớp với chỉ số lớp.

class MoveNet -- Pose Estimation

Xử lý hậu kỳ đầu ra của mô hình MoveNet cho một tư thế duy nhất.

class ml.postprocessing.mediapipe.MoveNet(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Tạo một bộ xử lý hậu kỳ MoveNet.

threshold Ngưỡng độ tin cậy cho từng điểm đặc trưng; các điểm đặc trưng dưới giá trị này sẽ bị loại khỏi hộp giới hạn và điểm số trung bình.

nms_threshold Ngưỡng IoU cho non-maximum suppression.

nms_sigma Sigma cho việc phân rã điểm số soft-NMS.

Trả về danh sách các tuple ((x, y, w, h), score, keypoints) từ __call__, trong đó keypoints là danh sách các điểm (x, y, score) theo tọa độ điểm ảnh đầu vào.