ml.postprocessing.mediapipe — Google Mediapipe

Modul ml.postprocessing.mediapipe sadrži naknadne obrađivače za Google Mediapipe modele.

klasa mediapipe_detection_postprocess – Generički Mediapipe detektor

Osnovna klasa zajednička klasama BlazeFace i BlazePalm. Dekodira granične okvire i ključne točke temeljene na sidrima, a zatim provodi NMS.

class ml.postprocessing.mediapipe.mediapipe_detection_postprocess(threshold: float = 0.6, anchors: ndarray | None = None, anchor_grid: list[tuple[int, int]] | None = None, scores: list[int] = [], cords: list[int] = [], nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Stvara generički Mediapipe naknadni obrađivač detekcije.

threshold Prag rezultata primijenjen na sirove logite prije sigmoide.

anchors Opcionalni unaprijed izgrađeni niz sidara oblika (N, 2) koji sadrži središta (cx, cy) normalizirana na [0, 1]. Ako je None, sidra se generiraju iz anchor_grid.

anchor_grid Popis n-torki (grid_size, scales) koji se koristi za generiranje sidara kada je anchors jednak None.

scores Popis indeksa izlaza modela koji sadrže tenzore rezultata.

cords Popis indeksa izlaza modela koji sadrže tenzore okvira/ključnih točaka.

nms_threshold IoU prag za potiskivanje nemaksimuma.

nms_sigma Sigma za opadanje rezultata kod soft-NMS-a.

__call__(model: ml.Model, inputs: list, outputs: list) → list

Pokreće naknadnu obradu na izlazima modela i vraća popis n-torki ((x, y, w, h), score, keypoints). Vraća praznu n-torku () kada nijedna detekcija ne prijeđe prag rezultata.

detection_post_process(ih: int, iw: int, nms: ml.utils.NMS, model: ml.Model, inputs: list, outputs: list, score_idx: int, cords_idx: int, t: float, anchors: ndarray) → None

Dekodira i dodaje granične okvire iz jednog izlaznog para (score, cords) u dostavljeni NMS akumulator.

klasa BlazeFace – Detekcija lica

Naknadno obrađuje izlaz BlazeFace modela.

class ml.postprocessing.mediapipe.BlazeFace(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Stvara BlazeFace naknadni obrađivač. Koristi mrežu sidara [(16, 2), (8, 6)] s izlazima rezultata [1, 2] i izlazima okvira [0, 3].

threshold Prag rezultata za detekcije.

anchors Opcionalni unaprijed izgrađeni niz sidara; generira se automatski ako je None.

nms_threshold IoU prag za potiskivanje nemaksimuma.

nms_sigma Sigma za opadanje rezultata kod soft-NMS-a.

Vraća popis n-torki ((x, y, w, h), score, keypoints) iz __call__, gdje je keypoints popis točaka (x, y).

klasa BlazePalm – Detekcija dlana

Naknadno obrađuje izlaz BlazePalm modela.

class ml.postprocessing.mediapipe.BlazePalm(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Stvara BlazePalm naknadni obrađivač. Koristi mrežu sidara [(24, 2), (12, 6)] s izlazima rezultata [0] i izlazima okvira [1].

threshold Prag rezultata za detekcije.

anchors Opcionalni unaprijed izgrađeni niz sidara; generira se automatski ako je None.

nms_threshold IoU prag za potiskivanje nemaksimuma.

nms_sigma Sigma za opadanje rezultata kod soft-NMS-a.

Vraća popis n-torki ((x, y, w, h), score, keypoints) iz __call__, gdje je keypoints popis točaka (x, y).

klasa FaceLandmarks – Orijentiri lica

Naknadno obrađuje izlaz FaceLandmarks modela.

class ml.postprocessing.mediapipe.FaceLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Stvara FaceLandmarks naknadni obrađivač.

threshold Prag rezultata (nakon sigmoide) za prihvaćanje detekcije.

nms_threshold IoU prag za potiskivanje nemaksimuma.

nms_sigma Sigma za opadanje rezultata kod soft-NMS-a.

Vraća popis n-torki ((x, y, w, h), score, keypoints) iz __call__, gdje je keypoints popis točaka (x, y, z).

klasa HandLandmarks – Orijentiri ruke

Naknadno obrađuje izlaz HandLandmarks modela.

class ml.postprocessing.mediapipe.HandLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Stvara HandLandmarks naknadni obrađivač.

threshold Prag rezultata za prihvaćanje detekcije.

nms_threshold IoU prag za potiskivanje nemaksimuma.

nms_sigma Sigma za opadanje rezultata kod soft-NMS-a.

Vraća [[((x, y, w, h), score, keypoints)]] iz __call__, s jednim unutarnjim popisom po klasi orijentacije ruke (lijeva=0, desna=1). keypoints je popis točaka (x, y, z). Prazni popisi klasa čuvaju se kako bi indeks svakog popisa odgovarao indeksu klase.

klasa MoveNet – Procjena poze

Naknadno obrađuje izlaz MoveNet modela za jednu pozu.

class ml.postprocessing.mediapipe.MoveNet(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Stvara MoveNet naknadni obrađivač.

threshold Prag pouzdanosti po ključnoj točki; ključne točke ispod ove vrijednosti isključuju se iz graničnog okvira i srednjeg rezultata.

nms_threshold IoU prag za potiskivanje nemaksimuma.

nms_sigma Sigma za opadanje rezultata kod soft-NMS-a.

Vraća popis n-torki ((x, y, w, h), score, keypoints) iz __call__, gdje je keypoints popis točaka (x, y, score) u koordinatama ulaznih piksela.