ml.postprocessing.mediapipe — Google Mediapipe#

המודול ml.postprocessing.mediapipe מכיל מבצעי עיבוד מאוחר עבור מודלים של Google Mediapipe.

class mediapipe_detection_postprocess – מזהה Mediapipe גנרי#

מחלקת בסיס המשותפת ל-BlazeFace ול-BlazePalm. מפענחת תיבות תוחמות ונקודות מפתח מבוססות עוגן, ולאחר מכן מבצעת NMS.

class ml.postprocessing.mediapipe.mediapipe_detection_postprocess(threshold: float = 0.6, anchors: ndarray | None = None, anchor_grid: list[tuple[int, int]] | None = None, scores: list[int] = [], cords: list[int] = [], nms_threshold: float = 0.1, nms_sigma: float = 0.1)#

יוצר מבצע עיבוד מאוחר גנרי לזיהוי Mediapipe.

threshold סף הציון המוחל על ה-logits הגולמיים לפני הסיגמואיד.

anchors מערך עוגנים אופציונלי מוכן מראש בצורה (N, 2) המכיל מרכזים (cx, cy) מנורמלים אל [0, 1]. אם None, העוגנים נוצרים מתוך anchor_grid.

anchor_grid רשימה של tuples מסוג (grid_size, scales) המשמשת ליצירת עוגנים כאשר anchors הוא None.

scores רשימה של אינדקסי פלט של המודל המכילים טנזורי ציון.

cords רשימה של אינדקסי פלט של המודל המכילים טנזורי תיבה/נקודת מפתח.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

__call__(model: ml.Model, inputs: list, outputs: list) → list#

מריץ עיבוד מאוחר על פלטי המודל ומחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints). מחזיר tuple ריק () כאשר אף זיהוי אינו עובר את סף הציון.

detection_post_process(ih: int, iw: int, nms: ml.utils.NMS, model: ml.Model, inputs: list, outputs: list, score_idx: int, cords_idx: int, t: float, anchors: ndarray) → None#

מפענח ומוסיף תיבות תוחמות מזוג פלט יחיד (score, cords) אל מצבר ה-NMS שסופק.

class BlazeFace – זיהוי פנים#

מבצע עיבוד מאוחר של פלט מודל BlazeFace.

class ml.postprocessing.mediapipe.BlazeFace(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)#

יוצר מבצע עיבוד מאוחר של BlazeFace. משתמש ברשת עוגנים [(16, 2), (8, 6)] עם פלטי ציון [1, 2] ופלטי תיבה [0, 3].

threshold סף הציון עבור זיהויים.

anchors מערך עוגנים אופציונלי מוכן מראש; נוצר אוטומטית אם None.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y).

class BlazePalm – זיהוי כף יד#

מבצע עיבוד מאוחר של פלט מודל BlazePalm.

class ml.postprocessing.mediapipe.BlazePalm(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)#

יוצר מבצע עיבוד מאוחר של BlazePalm. משתמש ברשת עוגנים [(24, 2), (12, 6)] עם פלטי ציון [0] ופלטי תיבה [1].

threshold סף הציון עבור זיהויים.

anchors מערך עוגנים אופציונלי מוכן מראש; נוצר אוטומטית אם None.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y).

class FaceLandmarks – ציוני דרך של פנים#

מבצע עיבוד מאוחר של פלט מודל FaceLandmarks.

class ml.postprocessing.mediapipe.FaceLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)#

יוצר מבצע עיבוד מאוחר של FaceLandmarks.

threshold סף הציון (לאחר סיגמואיד) לקבלת זיהוי.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y, z).

class HandLandmarks – ציוני דרך של יד#

מבצע עיבוד מאוחר של פלט מודל HandLandmarks.

class ml.postprocessing.mediapipe.HandLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)#

יוצר מבצע עיבוד מאוחר של HandLandmarks.

threshold סף הציון לקבלת זיהוי.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר [[((x, y, w, h), score, keypoints)]] מתוך __call__, עם רשימה פנימית אחת לכל מחלקת צדדיות (שמאל=0, ימין=1). keypoints היא רשימה של נקודות (x, y, z). רשימות מחלקה ריקות נשמרות כך שהאינדקס של כל רשימה תואם לאינדקס המחלקה.

class MoveNet – הערכת תנוחה#

מבצע עיבוד מאוחר של פלט מודל MoveNet לתנוחה יחידה.

class ml.postprocessing.mediapipe.MoveNet(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)#

יוצר מבצע עיבוד מאוחר של MoveNet.

threshold סף ביטחון לכל נקודת מפתח; נקודות מפתח מתחת לערך זה אינן נכללות בתיבה התוחמת ובציון הממוצע.

nms_threshold סף IoU עבור דיכוי הלא-מקסימום.

nms_sigma סיגמא עבור דעיכת ציון של soft-NMS.

מחזיר רשימה של tuples מסוג ((x, y, w, h), score, keypoints) מתוך __call__, כאשר keypoints היא רשימה של נקודות (x, y, score) בקואורדינטות פיקסל של הקלט.