ml.postprocessing.mediapipe — Google Mediapipe

De ml.postprocessing.mediapipe-module bevat nabewerkers voor Google Mediapipe-modellen.

class mediapipe_detection_postprocess – Generieke Mediapipe-detector

Basisklasse die wordt gedeeld door BlazeFace en BlazePalm. Decodeert op ankers gebaseerde begrenzingsvakken en sleutelpunten en voert vervolgens NMS uit.

class ml.postprocessing.mediapipe.mediapipe_detection_postprocess(threshold: float = 0.6, anchors: ndarray | None = None, anchor_grid: list[tuple[int, int]] | None = None, scores: list[int] = [], cords: list[int] = [], nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Maakt een generieke Mediapipe-detectienabewerker aan.

threshold Score-drempelwaarde die wordt toegepast op ruwe logits vóór sigmoid.

anchors Optionele vooraf opgebouwde ankerarray met vorm (N, 2) die de (cx, cy)-centra bevat, genormaliseerd naar [0, 1]. Indien None worden ankers gegenereerd op basis van anchor_grid.

anchor_grid Lijst met (grid_size, scales)-tuples die wordt gebruikt om ankers te genereren wanneer anchors gelijk is aan None.

scores Lijst met model-uitvoerindexen die scoretensoren bevatten.

cords Lijst met model-uitvoerindexen die vak-/sleutelpunttensoren bevatten.

nms_threshold IoU-drempelwaarde voor non-maximum suppression.

nms_sigma Sigma voor het scoreverval van soft-NMS.

__call__(model: ml.Model, inputs: list, outputs: list) → list

Voert nabewerking uit op de model-uitvoer en retourneert een lijst met ((x, y, w, h), score, keypoints)-tuples. Retourneert een lege tuple () wanneer geen enkele detectie de score-drempelwaarde overschrijdt.

detection_post_process(ih: int, iw: int, nms: ml.utils.NMS, model: ml.Model, inputs: list, outputs: list, score_idx: int, cords_idx: int, t: float, anchors: ndarray) → None

Decodeert en voegt begrenzingsvakken toe vanuit één (score, cords)-uitvoerpaar aan de opgegeven NMS-accumulator.

class BlazeFace – Gezichtsdetectie

Bewerkt de uitvoer van BlazeFace-modellen na.

class ml.postprocessing.mediapipe.BlazeFace(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Maakt een BlazeFace-nabewerker aan. Gebruikt een ankerraster van [(16, 2), (8, 6)] met score-uitvoeren [1, 2] en vak-uitvoeren [0, 3].

threshold Score-drempelwaarde voor detecties.

anchors Optionele vooraf opgebouwde ankerarray; wordt automatisch gegenereerd indien None.

nms_threshold IoU-drempelwaarde voor non-maximum suppression.

nms_sigma Sigma voor het scoreverval van soft-NMS.

Retourneert een lijst met ((x, y, w, h), score, keypoints)-tuples uit __call__, waarbij keypoints een lijst met (x, y)-punten is.

class BlazePalm – Handpalmdetectie

Bewerkt de uitvoer van BlazePalm-modellen na.

class ml.postprocessing.mediapipe.BlazePalm(threshold: float = 0.6, anchors: ndarray | None = None, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Maakt een BlazePalm-nabewerker aan. Gebruikt een ankerraster van [(24, 2), (12, 6)] met score-uitvoeren [0] en vak-uitvoeren [1].

threshold Score-drempelwaarde voor detecties.

anchors Optionele vooraf opgebouwde ankerarray; wordt automatisch gegenereerd indien None.

nms_threshold IoU-drempelwaarde voor non-maximum suppression.

nms_sigma Sigma voor het scoreverval van soft-NMS.

Retourneert een lijst met ((x, y, w, h), score, keypoints)-tuples uit __call__, waarbij keypoints een lijst met (x, y)-punten is.

class FaceLandmarks – Gezichtsherkenningspunten

Bewerkt de uitvoer van FaceLandmarks-modellen na.

class ml.postprocessing.mediapipe.FaceLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Maakt een FaceLandmarks-nabewerker aan.

threshold Score-drempelwaarde (na sigmoid) voor het accepteren van een detectie.

nms_threshold IoU-drempelwaarde voor non-maximum suppression.

nms_sigma Sigma voor het scoreverval van soft-NMS.

Retourneert een lijst met ((x, y, w, h), score, keypoints)-tuples uit __call__, waarbij keypoints een lijst met (x, y, z)-punten is.

class HandLandmarks – Handherkenningspunten

Bewerkt de uitvoer van HandLandmarks-modellen na.

class ml.postprocessing.mediapipe.HandLandmarks(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Maakt een HandLandmarks-nabewerker aan.

threshold Score-drempelwaarde voor het accepteren van een detectie.

nms_threshold IoU-drempelwaarde voor non-maximum suppression.

nms_sigma Sigma voor het scoreverval van soft-NMS.

Retourneert [[((x, y, w, h), score, keypoints)]] uit __call__, met één binnenlijst per handigheidsklasse (links=0, rechts=1). keypoints is een lijst met (x, y, z)-punten. Lege klasselijsten worden behouden zodat de index van elke lijst overeenkomt met de klasse-index.

class MoveNet – Houdingsschatting

Bewerkt de uitvoer van MoveNet single-pose-modellen na.

class ml.postprocessing.mediapipe.MoveNet(threshold: float = 0.6, nms_threshold: float = 0.1, nms_sigma: float = 0.1)

Maakt een MoveNet-nabewerker aan.

threshold Betrouwbaarheidsdrempelwaarde per sleutelpunt; sleutelpunten onder deze waarde worden uitgesloten van het begrenzingsvak en de gemiddelde score.

nms_threshold IoU-drempelwaarde voor non-maximum suppression.

nms_sigma Sigma voor het scoreverval van soft-NMS.

Retourneert een lijst met ((x, y, w, h), score, keypoints)-tuples uit __call__, waarbij keypoints een lijst met (x, y, score)-punten in invoerpixelcoördinaten is.