ml.postprocessing.mediapipe — Google Mediapipe

A ml.postprocessing.mediapipe modul a Google Mediapipe modellekhez tartalmaz utófeldolgozókat.

class mediapipe_detection_postprocess – Általános Mediapipe észlelő

A BlazeFace és a BlazePalm által közösen használt alaposztály. Dekódolja a horgonyalapú határoló dobozokat és kulcspontokat, majd NMS-t hajt végre.

class ml.postprocessing.mediapipe.mediapipe_detection_postprocess(threshold: float = 0.6, anchors: ndarray | None = None, anchor_grid: list[tuple[int, int]] | None = None, scores: list[int] = [], cords: list[int] = [], nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Létrehoz egy általános Mediapipe észlelési utófeldolgozót.

threshold A nyers logitokra a szigmoid előtt alkalmazott pontszám-küszöbérték.

anchors Opcionális, előre felépített horgonytömb (N, 2) alakkal, amely a [0, 1] tartományra normalizált (cx, cy) középpontokat tartalmazza. Ha None, a horgonyok az anchor_grid alapján kerülnek generálásra.

anchor_grid (grid_size, scales) tuple-ök listája, amely a horgonyok generálásához használatos, amikor az anchors értéke None.

scores Azon modell-kimeneti indexek listája, amelyek pontszám-tenzorokat tartalmaznak.

cords Azon modell-kimeneti indexek listája, amelyek doboz-/kulcspont-tenzorokat tartalmaznak.

nms_threshold IoU küszöbérték a nem maximális elnyomáshoz.

nms_sigma Szigma a soft-NMS pontszámcsökkenéshez.

__call__(model: ml.Model, inputs: list, outputs: list) → list

Lefuttatja az utófeldolgozást a modell kimenetein, és visszaad egy ((x, y, w, h), score, keypoints) tuple-ökből álló listát. Üres tuple-t () ad vissza, ha egyetlen észlelés sem éri el a pontszám-küszöbértéket.

detection_post_process(ih: int, iw: int, nms: ml.utils.NMS, model: ml.Model, inputs: list, outputs: list, score_idx: int, cords_idx: int, t: float, anchors: ndarray) → None

Egyetlen (score, cords) kimeneti párból dekódolja és hozzáadja a határoló dobozokat a megadott NMS akkumulátorhoz.

class BlazeFace – Arcészlelés

Utófeldolgozza a BlazeFace modell kimenetét.

class ml.postprocessing.mediapipe.BlazeFace(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Létrehoz egy BlazeFace utófeldolgozót. [(16, 2), (8, 6)] horgonyrácsot használ [1, 2] pontszám-kimenetekkel és [0, 3] doboz-kimenetekkel.

threshold Pontszám-küszöbérték az észlelésekhez.

anchors Opcionális, előre felépített horgonytömb; ha None, automatikusan generálódik.

nms_threshold IoU küszöbérték a nem maximális elnyomáshoz.

nms_sigma Szigma a soft-NMS pontszámcsökkenéshez.

Visszaad egy ((x, y, w, h), score, keypoints) tuple-ökből álló listát a __call__ metódusból, ahol a keypoints egy (x, y) pontokból álló lista.

class BlazePalm – Tenyérészlelés

Utófeldolgozza a BlazePalm modell kimenetét.

class ml.postprocessing.mediapipe.BlazePalm(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Létrehoz egy BlazePalm utófeldolgozót. [(24, 2), (12, 6)] horgonyrácsot használ [0] pontszám-kimenetekkel és [1] doboz-kimenetekkel.

threshold Pontszám-küszöbérték az észlelésekhez.

anchors Opcionális, előre felépített horgonytömb; ha None, automatikusan generálódik.

nms_threshold IoU küszöbérték a nem maximális elnyomáshoz.

nms_sigma Szigma a soft-NMS pontszámcsökkenéshez.

Visszaad egy ((x, y, w, h), score, keypoints) tuple-ökből álló listát a __call__ metódusból, ahol a keypoints egy (x, y) pontokból álló lista.

class FaceLandmarks – Arc tereppontok

Utófeldolgozza a FaceLandmarks modell kimenetét.

class ml.postprocessing.mediapipe.FaceLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Létrehoz egy FaceLandmarks utófeldolgozót.

threshold Pontszám-küszöbérték (a szigmoid után) az észlelés elfogadásához.

nms_threshold IoU küszöbérték a nem maximális elnyomáshoz.

nms_sigma Szigma a soft-NMS pontszámcsökkenéshez.

Visszaad egy ((x, y, w, h), score, keypoints) tuple-ökből álló listát a __call__ metódusból, ahol a keypoints egy (x, y, z) pontokból álló lista.

class HandLandmarks – Kéz tereppontok

Utófeldolgozza a HandLandmarks modell kimenetét.

class ml.postprocessing.mediapipe.HandLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Létrehoz egy HandLandmarks utófeldolgozót.

threshold Pontszám-küszöbérték az észlelés elfogadásához.

nms_threshold IoU küszöbérték a nem maximális elnyomáshoz.

nms_sigma Szigma a soft-NMS pontszámcsökkenéshez.

Visszaadja a [[((x, y, w, h), score, keypoints)]] értéket a __call__ metódusból, kézoldaliság-osztályonként egy belső listával (bal=0, jobb=1). A keypoints egy (x, y, z) pontokból álló lista. Az üres osztálylisták megmaradnak, így minden lista indexe megfelel az osztályindexnek.

class MoveNet – Testtartásbecslés

Utófeldolgozza a MoveNet egy-testtartás modell kimenetét.

class ml.postprocessing.mediapipe.MoveNet(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Létrehoz egy MoveNet utófeldolgozót.

threshold Kulcspontonkénti megbízhatósági küszöbérték; az ennél kisebb értékű kulcspontok kimaradnak a határoló dobozból és az átlagos pontszámból.

nms_threshold IoU küszöbérték a nem maximális elnyomáshoz.

nms_sigma Szigma a soft-NMS pontszámcsökkenéshez.

Visszaad egy ((x, y, w, h), score, keypoints) tuple-ökből álló listát a __call__ metódusból, ahol a keypoints egy (x, y, score) pontokból álló lista bemeneti képpont-koordinátákban.