ml.postprocessing.mediapipe — Google Mediapipe

המודול ml.postprocessing.mediapipe מכיל מבצעי עיבוד מאוחר עבור מודלים של Google Mediapipe.

class mediapipe_detection_postprocess – מזהה Mediapipe גנרי

מחלקת בסיס המשותפת ל-BlazeFace ול-BlazePalm. מפענחת תיבות תוחמות ונקודות מפתח מבוססות עוגן, ולאחר מכן מבצעת NMS.

class ml.postprocessing.mediapipe.mediapipe_detection_postprocess(threshold: float = 0.6, anchors: ndarray | None = None, anchor_grid: list[tuple[int, int]] | None = None, scores: list[int] = [], cords: list[int] = [], nms_threshold: float = 0.1, nms_sigma: float = 0.1)

יוצר מבצע עיבוד מאוחר גנרי לזיהוי Mediapipe.

threshold סף הציון המוחל על ה-logits הגולמיים לפני הסיגמואיד.

anchors מערך עוגנים אופציונלי מוכן מראש בצורה (N, 2) המכיל מרכזים (cx, cy) מנורמלים אל [0, 1]. אם None, העוגנים נוצרים מתוך anchor_grid.

anchor_grid רשימה של tuples מסוג (grid_size, scales) המשמשת ליצירת עוגנים כאשר anchors הוא None.

scores רשימה של אינדקסי פלט של המודל המכילים טנזורי ציון.

cords רשימה של אינדקסי פלט של המודל המכילים טנזורי תיבה/נקודת מפתח.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

__call__(model: ml.Model, inputs: list, outputs: list) → list

מריץ עיבוד מאוחר על פלטי המודל ומחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints). מחזיר tuple ריק () כאשר אף זיהוי אינו עובר את סף הציון.

detection_post_process(ih: int, iw: int, nms: ml.utils.NMS, model: ml.Model, inputs: list, outputs: list, score_idx: int, cords_idx: int, t: float, anchors: ndarray) → None

מפענח ומוסיף תיבות תוחמות מזוג פלט יחיד (score, cords) אל מצבר ה-NMS שסופק.

class BlazeFace – זיהוי פנים

מבצע עיבוד מאוחר של פלט מודל BlazeFace.

class ml.postprocessing.mediapipe.BlazeFace(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

יוצר מבצע עיבוד מאוחר של BlazeFace. משתמש ברשת עוגנים [(16, 2), (8, 6)] עם פלטי ציון [1, 2] ופלטי תיבה [0, 3].

threshold סף הציון עבור זיהויים.

anchors מערך עוגנים אופציונלי מוכן מראש; נוצר אוטומטית אם None.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y).

class BlazePalm – זיהוי כף יד

מבצע עיבוד מאוחר של פלט מודל BlazePalm.

class ml.postprocessing.mediapipe.BlazePalm(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

יוצר מבצע עיבוד מאוחר של BlazePalm. משתמש ברשת עוגנים [(24, 2), (12, 6)] עם פלטי ציון [0] ופלטי תיבה [1].

threshold סף הציון עבור זיהויים.

anchors מערך עוגנים אופציונלי מוכן מראש; נוצר אוטומטית אם None.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y).

class FaceLandmarks – ציוני דרך של פנים

מבצע עיבוד מאוחר של פלט מודל FaceLandmarks.

class ml.postprocessing.mediapipe.FaceLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

יוצר מבצע עיבוד מאוחר של FaceLandmarks.

threshold סף הציון (לאחר סיגמואיד) לקבלת זיהוי.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y, z).

class HandLandmarks – ציוני דרך של יד

מבצע עיבוד מאוחר של פלט מודל HandLandmarks.

class ml.postprocessing.mediapipe.HandLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

יוצר מבצע עיבוד מאוחר של HandLandmarks.

threshold סף הציון לקבלת זיהוי.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר [[((x, y, w, h), score, keypoints)]] מתוך __call__, עם רשימה פנימית אחת לכל מחלקת צדדיות (שמאל=0, ימין=1). keypoints היא רשימה של נקודות (x, y, z). רשימות מחלקה ריקות נשמרות כך שהאינדקס של כל רשימה תואם לאינדקס המחלקה.

class MoveNet – הערכת תנוחה

מבצע עיבוד מאוחר של פלט מודל MoveNet לתנוחה יחידה.

class ml.postprocessing.mediapipe.MoveNet(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

יוצר מבצע עיבוד מאוחר של MoveNet.

threshold סף ביטחון לכל נקודת מפתח; נקודות מפתח מתחת לערך זה אינן נכללות בתיבה התוחמת ובציון הממוצע.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y, score) בקואורדינטות פיקסל של הקלט.