image — wizja maszynowa#

Moduł image jest sercem stosu wizji maszynowej OpenMV. Udostępnia klasę Image – bufor pikseli w pamięci, na którym operuje każda procedura rysowania, filtrowania, transformacji i ekstrakcji cech – wraz z pomocniczymi obiektami wyników zwracanymi przez te procedury (Blob, Line, Circle, Rect, QRCode, AprilTag, DataMatrix, BarCode, …) oraz klasami pomocniczymi służącymi do ich konfiguracji (Threshold, Histogram, Statistics, HaarCascade, Similarity, Percentile, Displacement, ImageIO).

Pozyskiwanie obrazu#

Istnieją cztery sposoby umieszczenia obiektu Image w pamięci RAM:

  • Przechwytywanie na żywo z sensora kamery. Wywołaj csi.CSI.snapshot(), aby przechwycić następną ramkę bezpośrednio do bufora ramki; zwrócony obiekt Image odwołuje się do tego bufora.

  • Z pliku. Przekaż ścieżkę do konstruktora Image (image.Image("/sd/photo.jpg")); obsługiwane formaty na dysku to BMP, PPM/PGM, JPEG, PNG oraz format nagrywania OpenMV ImageIO.

  • Z ndarray. Przekaż do konstruktora Image tablicę ndarray typu float32 o kształcie (h, w) lub (h, w, 3). Piksele są skalowane z zakresu 0.0 -- 255.0 odpowiednio do obrazu GRAYSCALE lub RGB565. Użyj tego, aby przenieść tensor wyjściowy z ml (lub dowolnego potoku ulab) z powrotem do obrazu, na którym można rysować.

  • Pusty bufor. Skonstruuj obiekt Image o zadanym rozmiarze i formacie pikseli (image.Image(320, 240, image.RGB565)), aby rysować na nim od zera lub używać go jako powierzchni roboczej do operacji arytmetycznych na obrazach.

Formaty pikseli#

Każdy obiekt Image ma jeden z poniższych formatów pikseli; wybór jest kompromisem między zużyciem pamięci, kosztem przetwarzania a tym, jakie algorytmy mogą na nim działać. Użyj BINARY, GRAYSCALE, RGB565, BAYER, YUV422, JPEG lub PNG jako argumentu pixformat podczas konstruowania obrazu lub konfigurowania sensora kamery:

  • BINARY (1 bpp) – jeden bit na piksel. Najmniejszy format; używany wewnętrznie przez procedury progowania i morfologii, ale rzadko przechwytywany bezpośrednio z sensora.

  • GRAYSCALE (8 bpp) – jeden bajt na piksel (kanał Y z YUV422). Najszybszy format dla większości algorytmów wizji komputerowej (AprilTag, wykrywanie krawędzi, przepływ optyczny).

  • RGB565 (16 bpp) – dwa bajty na piksel, 5-bitowy czerwony / 6-bitowy zielony / 5-bitowy niebieski. Domyślny format kolorowy.

  • BAYER (8 bpp) – surowe dane kolorowe wzorca Bayera prosto z sensora. Przydatne do niestandardowego demozaikowania lub do przechowywania większej liczby pikseli w mniejszej ilości pamięci przed debayeringiem na żądanie.

  • YUV422 (16 bpp) – kolor z podpróbkowaniem chrominancji 4:2:2, dwa bajty na piksel. Przydatne, gdy chcesz stosować algorytmy specyficzne dla chrominancji bez ponoszenia pełnego kosztu RGB.

  • JPEG / PNG – skompresowane bufory. Najlepsze do przechowywania i transmisji sieciowej. Operacje na poziomie pikseli wymagają najpierw Image.to_grayscale() lub Image.to_rgb565().

Praca z wynikami#

Metody wykrywania / ekstrakcji cech klasy Image zwracają obiekty, które możesz iterować i łączyć – wywołanie Image.find_blobs() zwraca listę obiektów Blob, wywołanie Image.find_apriltags() zwraca listę obiektów AprilTag itd. Każda klasa wyniku udostępnia geometryczne właściwości wykrycia (centroid, ramkę ograniczającą, pole, wartość kodu itd.), dzięki czemu możesz działać na nich bezpośrednio lub przekazać je z powrotem do metod rysowania (Image.draw_rectangle(), Image.draw_string(), …).

Funkcje pomocnicze przestrzeni barw#

Moduł udostępnia także małe czyste funkcje do konwersji pojedynczych wartości pikseli pomiędzy przestrzeniami barw binary / grayscale / RGB / LAB / YUV. Są przydatne, gdy potrzebujesz przekonwertować wartości progów lub wpisy palety w Pythonie przed przekazaniem ich do operacji na obrazach – do konwersji całego obrazu użyj metod to_* klasy Image, które są znacznie szybsze niż wywoływanie tych funkcji pomocniczych w pętli.

Klasy#

Funkcje#

Funkcje pomocnicze konwersji przestrzeni barw#

Każda z poniższych funkcji X_to_Y wykonuje pojedynczą konwersję wartości piksela. Wszystkie przyjmują/zwracają wartości w kanonicznych zakresach OpenMV:

  • binary – int 0 – 1.

  • grayscale – int 0 – 255.

  • RGB – krotka (r, g, b) 8-bitowych liczb całkowitych (każda 0 – 255).

  • LAB – krotka (l, a, b), gdzie L mieści się w zakresie 0 – 100, a A/B w zakresie -128 – 127.

  • YUV – krotka (y, u, v), gdzie Y mieści się w zakresie 0 – 255, a U/V w zakresie -128 – 127.

Do konwersji całego obrazu użyj metod to_* klasy Image, które są znacznie szybsze niż wywoływanie tych funkcji pomocniczych w pętli.

image.binary_to_grayscale(value: int) → int#

Konwertuje wartość binarną na wartość w skali szarości.

image.binary_to_rgb(value: int) → Tuple[int, int, int]#

Konwertuje wartość binarną na krotkę RGB.

image.binary_to_lab(value: int) → Tuple[int, int, int]#

Konwertuje wartość binarną na krotkę LAB.

image.binary_to_yuv(value: int) → Tuple[int, int, int]#

Konwertuje wartość binarną na krotkę YUV.

image.grayscale_to_binary(value: int) → int#

Konwertuje wartość w skali szarości na wartość binarną.

image.grayscale_to_rgb(value: int) → Tuple[int, int, int]#

Konwertuje wartość w skali szarości na krotkę RGB.

image.grayscale_to_lab(value: int) → Tuple[int, int, int]#

Konwertuje wartość w skali szarości na krotkę LAB.

image.grayscale_to_yuv(value: int) → Tuple[int, int, int]#

Konwertuje wartość w skali szarości na krotkę YUV.

image.rgb_to_binary(value: Tuple[int, int, int]) → int#

Konwertuje krotkę RGB na wartość binarną.

image.rgb_to_grayscale(value: Tuple[int, int, int]) → int#

Konwertuje krotkę RGB na wartość w skali szarości.

image.rgb_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Konwertuje krotkę RGB na krotkę LAB.

image.rgb_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Konwertuje krotkę RGB na krotkę YUV.

image.lab_to_binary(value: Tuple[int, int, int]) → int#

Konwertuje krotkę LAB na wartość binarną.

image.lab_to_grayscale(value: Tuple[int, int, int]) → int#

Konwertuje krotkę LAB na wartość w skali szarości.

image.lab_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Konwertuje krotkę LAB na krotkę RGB.

image.lab_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Konwertuje krotkę LAB na krotkę YUV.

image.yuv_to_binary(value: Tuple[int, int, int]) → int#

Konwertuje krotkę YUV na wartość binarną.

image.yuv_to_grayscale(value: Tuple[int, int, int]) → int#

Konwertuje krotkę YUV na wartość w skali szarości.

image.yuv_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Konwertuje krotkę YUV na krotkę RGB.

image.yuv_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Konwertuje krotkę YUV na krotkę LAB.

Deskryptory cech#

image.HaarCascade(path: str, stages: int = -1) → Cascade#

Wczytuje kaskadę Haara i zwraca uchwyt Cascade do użycia z Image.find_features().

path może być jednym z dwóch:

  • literalnym łańcuchem "frontalface" lub "eye", aby wczytać jedną z dwóch kaskad wbudowanych w pamięć ROM oprogramowania układowego, albo

  • ścieżką w systemie plików do niestandardowego pliku binarnego .cascade wytworzonego przez narzędzia konwertera kaskad OpenMV.

stages wybiera, ile etapów kaskady ma zostać przetworzonych w czasie wykrywania. Wartość -1 używa każdego etapu zapisanego w pliku. Zmniejszenie tej wartości przyspiesza wykrywanie kosztem większej liczby fałszywych trafień.

image.load_descriptor(path: str) → kp_desc | lbp_desc#

Wczytuje deskryptor z pliku w ścieżce path i zwraca go. Wewnętrzny znacznik typu pliku decyduje, która klasa deskryptora zostanie odtworzona:

image.save_descriptor(descriptor: kp_desc | lbp_desc, path: str) → None#

Serializuje descriptor (deskryptor punktów kluczowych ORB lub deskryptor LBP) do pliku w ścieżce path w formacie pliku deskryptora OpenMV. Ten sam plik można później ponownie wczytać za pomocą image.load_descriptor().

image.match_descriptor(descriptor0, descriptor1, threshold: int = 85, filter_outliers: bool = False) → int | kptmatch#

Dopasowuje dwa deskryptory tego samego typu.

  • Dla dwóch deskryptorów LBP – zwraca całkowitą odległość Hamminga między nimi (mniejsza oznacza bliższe dopasowanie).

  • Dla dwóch deskryptorów punktów kluczowych ORB – zwraca obiekt kptmatch opisujący klaster dopasowanych punktów kluczowych lub None, jeśli żadne dopasowanie nie przekroczy progu threshold.

threshold (0 – 100) określa, jak restrykcyjne jest dopasowywanie ORB przy akceptowaniu pary punktów kluczowych. Niższe wartości zaostrzają dopasowywanie, odrzucając słabe dopasowania najbliższych sąsiadów.

filter_outliers włącza odrzucanie wartości odstających w stylu RANSAC w obrębie zbioru dopasowanych punktów kluczowych. Użyj go, gdy oczekujesz pojedynczej sztywnej transformacji między dwoma widokami; wyłącz go, gdy dopasowane punkty kluczowe obejmują wiele obiektów.

Funkcje pomocnicze geometrii plam (blob)#

Te funkcje pomocnicze przyjmują obiekt Blob (zwracany przez Image.find_blobs()) i na żądanie obliczają dodatkowe właściwości geometryczne. Znajdują się w zakresie modułu – a nie w Blob – dzięki czemu podstawowa ścieżka find_blobs() nie ponosi ich kosztu, dopóki o nie nie poprosisz.

image.get_solidity(blob: blob) → float#

Zwraca zwartość (blob.pixels / convex_hull_area) obiektu blob. Liczba zmiennoprzecinkowa, 0 – 1; wartość 1.0 oznacza, że plama całkowicie wypełnia swoją otoczkę wypukłą.

image.get_convexity(blob: blob) → float#

Zwraca wypukłość (convex_hull_perimeter / blob.perimeter) obiektu blob. Liczba zmiennoprzecinkowa, 0 – 1; wartość 1.0 oznacza idealnie wypukłą plamę.

image.get_major_axis_line(blob: blob) → line#

Zwraca obiekt Line wzdłuż osi głównej obiektu blob (dłuższej z dwóch osi głównych prostokąta obróconego o minimalnym polu).

image.get_minor_axis_line(blob: blob) → line#

Zwraca obiekt Line wzdłuż osi pomocniczej obiektu blob (krótszej z dwóch osi głównych prostokąta obróconego o minimalnym polu).

image.get_enclosing_circle(blob: blob) → circle#

Zwraca obiekt Circle, który otacza obiekt blob.

image.get_enclosed_ellipse(blob: blob) → Tuple[int, int, int, int, int]#

Zwraca 5-elementową krotkę (cx, cy, a, b, rotation) opisującą elipsę wpisaną w prostokąt obrócony o minimalnym polu wokół obiektu blob:

  • cx / cy – środek elipsy w pikselach (liczba całkowita).

  • a / b – długości półosi w pikselach (liczba całkowita).

  • rotation – obrót elipsy w stopniach (liczba całkowita).

Jest to zwykła krotka, a nie attrtuple, więc pola są dostępne wyłącznie przez indeks.

Stałe#

Formaty pikseli#

Przekaż dowolną z poniższych wartości jako argument pixformat do konstruktora Image lub do csi.CSI.pixformat().

image.BINARY: int#

Bitmapa 1 bit na piksel. Najmniejszy format – używany wewnętrznie przez progowanie i morfologię, rzadko przechwytywany bezpośrednio z sensora.

image.GRAYSCALE: int#

Skala szarości 8 bitów na piksel (jeden bajt na piksel). Najszybszy format dla większości algorytmów wizji komputerowej (AprilTag, wykrywanie krawędzi, przepływ optyczny).

image.RGB565: int#

Kolor 16 bitów na piksel upakowany jako 5 bitów czerwonego / 6 bitów zielonego / 5 bitów niebieskiego. Domyślny format kolorowy.

image.BAYER: int#

Surowe dane Bayera 8 bitów na piksel prosto z sensora. Większość metod przetwarzania obrazu nie jest dostępna dla obrazów Bayera; użyj tego formatu, gdy chcesz debayerować na żądanie lub przechowywać więcej pikseli w mniejszej ilości pamięci.

image.YUV422: int#

Kolor z podpróbkowaniem chrominancji 4:2:2, dwa bajty na piksel, upakowane jako Y1, U, Y2, V na parę pikseli. Tylko niektóre metody przetwarzania obrazu działają bezpośrednio na YUV422.

image.JPEG: int#

Skompresowany bufor JPEG. Operacje na poziomie pikseli wymagają najpierw Image.to_grayscale() lub Image.to_rgb565().

image.PNG: int#

Skompresowany bufor PNG. Operacje na poziomie pikseli wymagają najpierw Image.to_grayscale() lub Image.to_rgb565().

Palety kolorów#

Przekaż dowolną z poniższych wartości do Image.to_rainbow(), Image.to_ironbow(), Image.draw_image() (color_palette=) lub do csi.CSI.color_palette(), aby pokolorować obraz w skali szarości.

image.PALETTE_RAINBOW: int#

Gładkie tęczowe koło barw. Domyślna paleta OpenMV dla obrazów termicznych.

image.PALETTE_IRONBOW: int#

Nieliniowa paleta „ironbow”, która naśladuje wygląd celownika termicznego FLIR Lepton.

image.PALETTE_DEPTH: int#

Paleta obrazu głębi. Dostępna tylko w kompilacjach z obsługą sensora głębi (potok ToF – np. OpenMV Cam AE3 lub dowolna kamera z dołączonym modułem ToF Pmod).

image.PALETTE_EVT_DARK: int#

Paleta do wizualizacji ramek z kamery zdarzeniowej GENX320 na ciemnym tle. Przekaż ją do csi.CSI.color_palette, aby sterownik GENX320 emitował pokolorowane ramki RGB565 w trybie histogramu, lub do Image.draw_image() color_palette= podczas kolorowania obrazu zdarzeń w skali szarości.

Dostępna tylko w kompilacjach z obsługą GENX320 (OpenMV Cam AE3 oraz moduł GENX320 Pmod).

image.PALETTE_EVT_LIGHT: int#

Paleta do wizualizacji ramek z kamery zdarzeniowej GENX320 na jasnym tle. Ten sam mechanizm dyspozycji i dostępność jak PALETTE_EVT_DARK.

Tryby skalowania#

Przekaż dowolną z poniższych wartości jako argument hint do Image.draw_image(), Image.scale() lub podobnych metod skalowania.

image.AREA: int#

Skaler uśredniający obszary. Używany przy zmniejszaniu; do powiększania używany jest Nearest-Neighbor.

image.BILINEAR: int#

Skaler dwuliniowy. Podpróbkuje przy zmniejszaniu.

image.BICUBIC: int#

Skaler dwukubiczny. Wyższa jakość niż BILINEAR, ale wolniejszy. Podpróbkuje przy zmniejszaniu.

Wskazówki rysowania / draw_image#

Połącz dowolne z tych wartości operacją bitową OR i przekaż jako argument hint metody Image.draw_image().

image.VFLIP: int#

Odwraca źródło w pionie podczas rysowania.

image.HMIRROR: int#

Odbija źródło w poziomie podczas rysowania.

image.TRANSPOSE: int#

Transponuje (zamienia x/y) źródło podczas rysowania.

image.CENTER: int#

Centruje źródło na celu. Wszelkie jawne przesunięcia x/y stają się wtedy przesunięciami od środka, a nie od lewego górnego rogu.

image.EXTRACT_RGB_CHANNEL_FIRST: int#

Podczas ekstrakcji kanału RGB za pomocą Image.draw_image() wyodrębnia kanał przed skalowaniem. Bez tej wskazówki kanał jest wyodrębniany po skalowaniu.

image.APPLY_COLOR_PALETTE_FIRST: int#

Podczas stosowania palety kolorów za pomocą Image.draw_image() stosuje paletę przed skalowaniem. Bez tej wskazówki paleta jest stosowana po skalowaniu.

image.SCALE_ASPECT_KEEP: int#

Skaluje źródło tak, aby zmieściło się wewnątrz celu z zachowaniem proporcji (dodaje czarne pasy, gdy proporcje się różnią).

image.SCALE_ASPECT_EXPAND: int#

Skaluje źródło tak, aby wypełniło cel z zachowaniem proporcji (przycina, gdy proporcje się różnią).

image.SCALE_ASPECT_IGNORE: int#

Skaluje źródło tak, aby wypełniło cel, ignorując proporcje.

image.BLACK_BACKGROUND: int#

Informuje ścieżkę mieszania alfa, że cel jest znany jako czarny, dzięki czemu może pominąć odczyt zwrotny piksela celu. Przyspiesza efekty alfa na świeżo wyczyszczonych buforach.

image.ROTATE_90: int#

Skrót dla VFLIP | TRANSPOSE (obrót o 90 stopni zgodnie z ruchem wskazówek zegara).

image.ROTATE_180: int#

Skrót dla HMIRROR | VFLIP (obrót o 180 stopni).

image.ROTATE_270: int#

Skrót dla HMIRROR | TRANSPOSE (obrót o 270 stopni zgodnie z ruchem wskazówek zegara).

Podpróbkowanie JPEG#

Przekaż dowolną z poniższych wartości jako argument subsampling do Image.to_jpeg(), Image.compress() lub Image.save() podczas zapisu pliku JPEG.

image.JPEG_SUBSAMPLING_AUTO: int#

Automatycznie wybiera podpróbkowanie chrominancji na podstawie ustawienia jakości JPEG.

image.JPEG_SUBSAMPLING_444: int#

Wymusza podpróbkowanie chrominancji 4:4:4 (brak kompresji chrominancji).

image.JPEG_SUBSAMPLING_422: int#

Wymusza podpróbkowanie chrominancji 4:2:2. Zalecane podczas strumieniowania MJPEG do zewnętrznych odtwarzaczy wideo, które źle obsługują 4:2:0.

image.JPEG_SUBSAMPLING_420: int#

Wymusza podpróbkowanie chrominancji 4:2:0.

Dopasowywanie szablonów#

Przekaż jedną z poniższych wartości jako argument search do Image.find_template().

image.SEARCH_EX: int#

Wyszukiwanie wyczerpujące – ocenia każdą pozycję w ROI. Najwolniejsze, ale gwarantuje znalezienie najlepszego dopasowania.

image.SEARCH_DS: int#

Wyszukiwanie diamentowe – wyszukiwanie od zgrubnego do dokładnego, które jest znacznie szybsze niż SEARCH_EX, ale może pominąć globalne optimum w przypadku silnie samopodobnych szablonów.

Wykrywanie krawędzi#

Przekaż jedną z poniższych wartości jako argument algorithm do Image.find_edges().

image.EDGE_CANNY: int#

Detektor krawędzi Canny’ego – amplituda gradientu + tłumienie niemaksimów + histereza. Wyższa jakość, wolniejszy.

image.EDGE_SIMPLE: int#

Detektor krawędzi oparty na progowanym filtrze górnoprzepustowym. Szybszy, ale produkuje grubsze, bardziej zaszumione krawędzie niż EDGE_CANNY.

Detektory narożników ORB#

Przekaż jedną z poniższych wartości jako argument corner_detector do Image.find_keypoints().

image.CORNER_FAST: int#

Detektor narożników FAST. Szybszy niż CORNER_AGAST, ale mniej dokładny.

image.CORNER_AGAST: int#

Detektor narożników AGAST. Wolniejszy niż CORNER_FAST, ale produkuje bardziej stabilne punkty kluczowe.

Rodziny AprilTag#

Połącz dowolną kombinację poniższych wartości operacją bitową OR i przekaż jako argument families do Image.find_apriltags(). Każda rodzina jest sterowana własną opcją kompilacji w oprogramowaniu układowym; nieobsługiwane rodziny są nieobecne w czasie wykonywania, a nie zawsze zerowe.

image.TAG16H5: int#

Rodzina AprilTag 16h5 (30 unikalnych identyfikatorów, korekcja błędów 0-bitowa).

image.TAG25H9: int#

Rodzina AprilTag 25h9 (35 unikalnych identyfikatorów, korekcja błędów do 3 bitów).

image.TAG36H10: int#

Rodzina AprilTag 36h10 (2320 unikalnych identyfikatorów, korekcja błędów do 3 bitów).

image.TAG36H11: int#

Rodzina AprilTag 36h11 (587 unikalnych identyfikatorów, korekcja błędów do 4 bitów). Najczęściej używana rodzina.

image.TAGCIRCLE21H7: int#

Rodzina AprilTag Circle21h7.

image.TAGCIRCLE49H12: int#

Rodzina AprilTag Circle49h12.

image.TAGCUSTOM48H12: int#

Rodzina AprilTag Custom48h12.

image.TAGSTANDARD41H12: int#

Rodzina AprilTag Standard41h12.

image.TAGSTANDARD52H13: int#

Rodzina AprilTag Standard52h13.

Symboliki kodów kreskowych#

Wartości zgłaszane w BarCode.type dla wpisów zwracanych przez Image.find_barcodes().

image.EAN2: int#

Uzupełniający kod kreskowy EAN-2.

image.EAN5: int#

Uzupełniający kod kreskowy EAN-5.

image.EAN8: int#

Kod kreskowy EAN-8.

image.UPCE: int#

Kod kreskowy UPC-E.

image.ISBN10: int#

Kod kreskowy ISBN-10.

image.UPCA: int#

Kod kreskowy UPC-A.

image.EAN13: int#

Kod kreskowy EAN-13.

image.ISBN13: int#

Kod kreskowy ISBN-13.

image.I25: int#

Kod kreskowy Interleaved 2-of-5.

image.DATABAR: int#

Kod kreskowy GS1 DataBar.

image.DATABAR_EXP: int#

Kod kreskowy GS1 DataBar Expanded.

image.CODABAR: int#

Kod kreskowy Codabar.

image.CODE39: int#

Kod kreskowy Code 39.

image.PDF417: int#

Dwuwymiarowy warstwowy kod kreskowy PDF417. Stała istnieje dla kompletności, ale dekoder kodów kreskowych obecnie nie implementuje PDF417 – Image.find_barcodes() nie zwróci wykryć tego typu.

image.CODE93: int#

Kod kreskowy Code 93.

image.CODE128: int#

Kod kreskowy Code 128.