image — strojni vid

Modul image srce je OpenMV-ovog sustava za strojni vid. Izlaže klasu Image – međuspremnik piksela u memoriji nad kojim radi svaka rutina za crtanje, filtriranje, transformaciju i izvlačenje značajki – zajedno s pratećim objektima rezultata koje te rutine vraćaju (Blob, Line, Circle, Rect, QRCode, AprilTag, DataMatrix, BarCode, …) te pomoćnim klasama koje se koriste za njihovo konfiguriranje (Threshold, Histogram, Statistics, HaarCascade, Similarity, Percentile, Displacement, ImageIO).

Dohvaćanje slike

Postoje četiri načina da se Image dovede u RAM:

  • Snimanje uživo sa senzora kamere. Pozovite csi.CSI.snapshot() da uhvatite sljedeću sličicu izravno u međuspremnik slike; vraćeni Image referencira taj međuspremnik.

  • Iz datoteke. Proslijedite putanju konstruktoru Image (image.Image("/sd/photo.jpg")); podržani formati na disku su BMP, PPM/PGM, JPEG, PNG i OpenMV-ov format zapisa ImageIO.

  • Iz ndarray-a. Proslijedite float32 (h, w) ili (h, w, 3) ndarray konstruktoru Image. Pikseli se skaliraju iz raspona 0.0 -- 255.0 u sliku formata GRAYSCALE odnosno RGB565. Koristite ovo da izlaz tenzora iz ml (ili bilo kojeg ulab cjevovoda) vratite u sliku po kojoj se može crtati.

  • Prazan međuspremnik. Konstruirajte Image zadane veličine i formata piksela (image.Image(320, 240, image.RGB565)) za crtanje od nule ili kao radnu površinu za aritmetiku nad slikom.

Formati piksela

Svaka Image ima jedan od sljedećih formata piksela; izbor predstavlja kompromis između memorije, troška obrade i toga koji algoritmi mogu raditi nad njom. Koristite BINARY, GRAYSCALE, RGB565, BAYER, YUV422, JPEG ili PNG kao argument pixformat pri konstruiranju slike ili konfiguriranju senzora kamere:

  • BINARY (1 bpp) – jedan bit po pikselu. Najmanji format; koristi se interno u rutinama za pragiranje i morfologiju, ali se rijetko snima izravno sa senzora.

  • GRAYSCALE (8 bpp) – jedan bajt po pikselu (Y kanal formata YUV422). Najbrži format za većinu algoritama strojnog vida (AprilTag, detekcija rubova, optički tok).

  • RGB565 (16 bpp) – dva bajta po pikselu, 5-bitno crveno / 6-bitno zeleno / 5-bitno plavo. Zadani format boje.

  • BAYER (8 bpp) – sirovi podaci boje u Bayer uzorku izravno sa senzora. Korisno za prilagođeno de-mozaikiranje ili za pohranu više piksela u manje memorije prije debayeriranja po potrebi.

  • YUV422 (16 bpp) – 4:2:2 kromatski poduzorkovana boja, dva bajta po pikselu. Korisno kada želite algoritme specifične za krominanciju bez plaćanja punog troška RGB-a.

  • JPEG / PNG – komprimirani međuspremnici. Najbolji za pohranu i mrežni prijenos. Operacije na razini piksela najprije zahtijevaju Image.to_grayscale() ili Image.to_rgb565().

Rad s rezultatima

Metode za detekciju / izvlačenje značajki na Image vraćaju objekte po kojima možete iterirati i kombinirati ih – poziv Image.find_blobs() vraća popis Blob, poziv Image.find_apriltags() vraća popis AprilTag i tako dalje. Svaka klasa rezultata izlaže geometrijska svojstva detekcije (centroid, granični okvir, površina, vrijednost koda itd.) tako da možete izravno djelovati na njih ili ih proslijediti natrag metodama za crtanje (Image.draw_rectangle(), Image.draw_string(), …).

Pomoćnici za prostore boja

Modul također izlaže male čiste funkcije za pretvaranje pojedinačnih vrijednosti piksela između binarnog / sivotonskog / RGB / LAB / YUV prostora boja. Korisne su kada trebate u Pythonu pretvoriti vrijednosti praga ili stavke palete prije nego što ih proslijedite operacijama nad slikom – za pretvorbu cijele slike koristite to_* metode klase Image, koje su mnogo brže od pozivanja ovih pomoćnika u petlji.

Klase

Funkcije

Pomoćnici za pretvorbu prostora boja

Svaka od X_to_Y funkcija u nastavku obavlja pojedinačnu pretvorbu vrijednosti piksela. Sve uzimaju/vraćaju vrijednosti u kanonskim OpenMV rasponima:

  • binarno – int 0 – 1.

  • sivi tonovi – int 0 – 255.

  • RGB – (r, g, b) tuple 8-bitnih cijelih brojeva (svaki 0 – 255).

  • LAB – (l, a, b) tuple s L u rasponu 0 – 100 i A/B u rasponu -128 – 127.

  • YUV – (y, u, v) tuple s Y u rasponu 0 – 255 i U/V u rasponu -128 – 127.

Za pretvorbu cijele slike koristite to_* metode klase Image, koje su mnogo brže od pozivanja ovih pomoćnika u petlji.

image.binary_to_grayscale(value: int) → int

Pretvara binarnu vrijednost u sivotonsku vrijednost.

image.binary_to_rgb(value: int) → Tuple[int, int, int]

Pretvara binarnu vrijednost u RGB tuple.

image.binary_to_lab(value: int) → Tuple[int, int, int]

Pretvara binarnu vrijednost u LAB tuple.

image.binary_to_yuv(value: int) → Tuple[int, int, int]

Pretvara binarnu vrijednost u YUV tuple.

image.grayscale_to_binary(value: int) → int

Pretvara sivotonsku vrijednost u binarnu vrijednost.

image.grayscale_to_rgb(value: int) → Tuple[int, int, int]

Pretvara sivotonsku vrijednost u RGB tuple.

image.grayscale_to_lab(value: int) → Tuple[int, int, int]

Pretvara sivotonsku vrijednost u LAB tuple.

image.grayscale_to_yuv(value: int) → Tuple[int, int, int]

Pretvara sivotonsku vrijednost u YUV tuple.

image.rgb_to_binary(value: Tuple[int, int, int]) → int

Pretvara RGB tuple u binarnu vrijednost.

image.rgb_to_grayscale(value: Tuple[int, int, int]) → int

Pretvara RGB tuple u sivotonsku vrijednost.

image.rgb_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]

Pretvara RGB tuple u LAB tuple.

image.rgb_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]

Pretvara RGB tuple u YUV tuple.

image.lab_to_binary(value: Tuple[int, int, int]) → int

Pretvara LAB tuple u binarnu vrijednost.

image.lab_to_grayscale(value: Tuple[int, int, int]) → int

Pretvara LAB tuple u sivotonsku vrijednost.

image.lab_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]

Pretvara LAB tuple u RGB tuple.

image.lab_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]

Pretvara LAB tuple u YUV tuple.

image.yuv_to_binary(value: Tuple[int, int, int]) → int

Pretvara YUV tuple u binarnu vrijednost.

image.yuv_to_grayscale(value: Tuple[int, int, int]) → int

Pretvara YUV tuple u sivotonsku vrijednost.

image.yuv_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]

Pretvara YUV tuple u RGB tuple.

image.yuv_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]

Pretvara YUV tuple u LAB tuple.

Deskriptori značajki

image.HaarCascade(path: str, stages: int = -1) → Cascade

Učitava Haar Cascade i vraća rukovatelj Cascade za uporabu s Image.find_features().

path može biti:

  • doslovni niz "frontalface" ili "eye" za učitavanje jedne od dviju kaskada ugrađenih u ROM ugrađenog programa (firmware), ili

  • putanja u datotečnom sustavu do prilagođene binarne .cascade datoteke koju proizvode OpenMV-ovi alati za pretvorbu kaskada.

stages odabire koliko stupnjeva kaskade treba vrednovati pri detekciji. -1 koristi svaki stupanj pohranjen u datoteci. Smanjenje ove vrijednosti ubrzava detekciju po cijenu više lažnih pozitiva.

image.load_descriptor(path: str) → kp_desc | lbp_desc

Učitava deskriptor iz datoteke na putanji path i vraća ga. Interna oznaka tipa u datoteci odabire koja se klasa deskriptora rekonstruira:

image.save_descriptor(descriptor: kp_desc | lbp_desc, path: str) → None

Serijalizira descriptor (ORB deskriptor ključnih točaka ili LBP deskriptor) u datoteku na putanji path u OpenMV formatu datoteke deskriptora. Ista se datoteka kasnije može ponovno učitati pomoću image.load_descriptor().

image.match_descriptor(descriptor0, descriptor1, threshold: int = 85, filter_outliers: bool = False) → int | kptmatch

Uspoređuje dva deskriptora istog tipa.

  • Za dva LBP deskriptora – vraća cjelobrojnu Hammingovu udaljenost između njih (manje znači bliže podudaranje).

  • Za dva ORB deskriptora ključnih točaka – vraća kptmatch koji opisuje klaster podudarenih ključnih točaka, ili None ako nijedno podudaranje ne prolazi threshold.

threshold (0 – 100) postavlja koliko je strogo ORB podudaranje pri prihvaćanju para ključnih točaka. Niže vrijednosti pooštravaju podudaranje odbacujući slaba podudaranja najbližeg susjeda.

filter_outliers omogućuje odbacivanje stršećih vrijednosti u stilu RANSAC-a kroz skup podudarenih ključnih točaka. Koristite ga kada očekujete jednu krutu transformaciju između dvaju pogleda; isključite ga kada podudarene ključne točke obuhvaćaju više objekata.

Pomoćnici za geometriju mrlje

Ovi pomoćnici uzimaju Blob (kako ga vraća Image.find_blobs()) i po potrebi izračunavaju dodatna geometrijska svojstva. Smješteni su na razini modula – a ne na Blob – tako da osnovni find_blobs() put ne plaća njihovu cijenu osim ako to ne zatražite.

image.get_solidity(blob: blob) → float

Vraća čvrstoću (blob.pixels / convex_hull_area) za blob. Float, 0 – 1; 1.0 znači da mrlja u potpunosti ispunjava svoju konveksnu ljusku.

image.get_convexity(blob: blob) → float

Vraća konveksnost (convex_hull_perimeter / blob.perimeter) za blob. Float, 0 – 1; 1.0 je savršeno konveksna mrlja.

image.get_major_axis_line(blob: blob) → line

Vraća Line duž glavne osi za blob (dulje od dviju glavnih osi rotiranog pravokutnika minimalne površine).

image.get_minor_axis_line(blob: blob) → line

Vraća Line duž sporedne osi za blob (kraće od dviju glavnih osi rotiranog pravokutnika minimalne površine).

image.get_enclosing_circle(blob: blob) → circle

Vraća Circle koja obuhvaća blob.

image.get_enclosed_ellipse(blob: blob) → Tuple[int, int, int, int, int]

Vraća 5-člani tuple (cx, cy, a, b, rotation) koji opisuje elipsu upisanu u rotirani pravokutnik minimalne površine oko blob:

  • cx / cy – središte elipse u pikselima (cijeli broj).

  • a / b – duljine poluosi u pikselima (cijeli broj).

  • rotation – rotacija elipse u stupnjevima (cijeli broj).

Ovo je običan tuple, a ne attrtuple, pa su polja dostupna samo putem indeksa.

Konstante

Formati piksela

Proslijedite bilo koju od sljedećih vrijednosti kao argument pixformat konstruktoru Image ili metodi csi.CSI.pixformat().

image.BINARY: int

Bitmapa s 1 bitom po pikselu. Najmanji format – koristi se interno za pragiranje i morfologiju, rijetko se snima izravno sa senzora.

image.GRAYSCALE: int

Sivi tonovi s 8 bita po pikselu (jedan bajt po pikselu). Najbrži format za većinu algoritama strojnog vida (AprilTag, detekcija rubova, optički tok).

image.RGB565: int

Boja s 16 bita po pikselu pakirana kao 5 bita crvene / 6 bita zelene / 5 bita plave. Zadani format boje.

image.BAYER: int

Sirovi Bayer podaci s 8 bita po pikselu izravno sa senzora. Većina metoda obrade slike nije dostupna na Bayer slikama; koristite ovo kada želite debayerirati po potrebi ili pohraniti više piksela u manje memorije.

image.YUV422: int

4:2:2 kromatski poduzorkovana boja, dva bajta po pikselu, pakirana kao Y1, U, Y2, V po paru piksela. Samo neke metode obrade slike rade izravno na YUV422.

image.JPEG: int

Komprimirani JPEG međuspremnik. Operacije na razini piksela najprije zahtijevaju Image.to_grayscale() ili Image.to_rgb565().

image.PNG: int

Komprimirani PNG međuspremnik. Operacije na razini piksela najprije zahtijevaju Image.to_grayscale() ili Image.to_rgb565().

Palete boja

Proslijedite bilo koju od sljedećih vrijednosti metodama Image.to_rainbow(), Image.to_ironbow(), Image.draw_image() (color_palette=) ili csi.CSI.color_palette() za obojenje sivotonske slike.

image.PALETTE_RAINBOW: int

Glatki kotač duginih boja. Zadana OpenMV paleta za termalne snimke.

image.PALETTE_IRONBOW: int

Nelinearna „ironbow” paleta koja oponaša izgled tražila termalne kamere FLIR Lepton.

image.PALETTE_DEPTH: int

Paleta za dubinske slike. Dostupna samo na verzijama s podrškom za senzor dubine (ToF cjevovod – npr. OpenMV Cam AE3 ili bilo koja kamera s priključenim ToF Pmod).

image.PALETTE_EVT_DARK: int

Paleta za vizualizaciju sličica GENX320 event-kamere na tamnoj pozadini. Proslijedite je csi.CSI.color_palette kako bi GENX320 upravljački program emitirao obojene RGB565 sličice u histogramskom načinu rada, ili metodi Image.draw_image() putem color_palette= pri obojenju sivotonske event-slike.

Dostupno samo na verzijama s podrškom za GENX320 (OpenMV Cam AE3 i GENX320 Pmod).

image.PALETTE_EVT_LIGHT: int

Paleta za vizualizaciju sličica GENX320 event-kamere na svijetloj pozadini. Isto otpremanje i dostupnost kao PALETTE_EVT_DARK.

Načini skaliranja

Proslijedite bilo koju od sljedećih vrijednosti kao argument hint metodama Image.draw_image(), Image.scale() ili sličnim metodama skaliranja.

image.AREA: int

Skaler s usrednjavanjem područja. Koristi se pri smanjivanju; za povećavanje se koristi Nearest-Neighbor.

image.BILINEAR: int

Bilinearni skaler. Poduzorkuje pri smanjivanju.

image.BICUBIC: int

Bikubni skaler. Veće kvalitete od BILINEAR, ali sporiji. Poduzorkuje pri smanjivanju.

Naputci za crtanje / draw_image

Bitovno-ILI (Bit-OR) bilo koje od ovih i proslijedite kao argument hint metode Image.draw_image().

image.VFLIP: int

Okomito zrcali izvor tijekom crtanja.

image.HMIRROR: int

Vodoravno zrcali izvor tijekom crtanja.

image.TRANSPOSE: int

Transponira (zamjenjuje x/y) izvor tijekom crtanja.

image.CENTER: int

Centrira izvor na odredištu. Sva eksplicitna x/y odstupanja tada postaju odstupanja od središta umjesto od gornjeg lijevog kuta.

image.EXTRACT_RGB_CHANNEL_FIRST: int

Pri izvlačenju RGB kanala putem Image.draw_image(), izvlači kanal prije skaliranja. Bez ovog naputka kanal se izvlači nakon skaliranja.

image.APPLY_COLOR_PALETTE_FIRST: int

Pri primjeni palete boja putem Image.draw_image(), primjenjuje paletu prije skaliranja. Bez ovog naputka paleta se primjenjuje nakon skaliranja.

image.SCALE_ASPECT_KEEP: int

Skalira izvor da stane unutar odredišta uz zadržavanje omjera slike (dodaje crne rubove kada se omjeri razlikuju).

image.SCALE_ASPECT_EXPAND: int

Skalira izvor da ispuni odredište uz zadržavanje omjera slike (obrezuje kada se omjeri razlikuju).

image.SCALE_ASPECT_IGNORE: int

Skalira izvor da ispuni odredište, zanemarujući omjer slike.

image.BLACK_BACKGROUND: int

Govori putu alfa-stapanja da je odredište poznato kao crno pa može preskočiti učitavanje odredišnog piksela. Ubrzava alfa-efekte na svježe očišćenim međuspremnicima.

image.ROTATE_90: int

Prečac za VFLIP | TRANSPOSE (rotacija za 90 stupnjeva u smjeru kazaljke na satu).

image.ROTATE_180: int

Prečac za HMIRROR | VFLIP (rotacija za 180 stupnjeva).

image.ROTATE_270: int

Prečac za HMIRROR | TRANSPOSE (rotacija za 270 stupnjeva u smjeru kazaljke na satu).

JPEG poduzorkovanje

Proslijedite bilo koju od sljedećih vrijednosti kao argument subsampling metodama Image.to_jpeg(), Image.compress() ili Image.save() pri zapisivanju JPEG-a.

image.JPEG_SUBSAMPLING_AUTO: int

Automatski odabire kromatsko poduzorkovanje na temelju postavke kvalitete JPEG-a.

image.JPEG_SUBSAMPLING_444: int

Prisiljava 4:4:4 kromatsko poduzorkovanje (bez kompresije krominancije).

image.JPEG_SUBSAMPLING_422: int

Prisiljava 4:2:2 kromatsko poduzorkovanje. Preporučuje se pri strujanju MJPEG-a prema video reproduktorima trećih strana koji se loše ponašaju s 4:2:0.

image.JPEG_SUBSAMPLING_420: int

Prisiljava 4:2:0 kromatsko poduzorkovanje.

Podudaranje predložaka

Proslijedite bilo koju od sljedećih vrijednosti kao argument search metode Image.find_template().

image.SEARCH_EX: int

Iscrpno pretraživanje – vrednuje svaku poziciju u ROI-ju. Najsporije, ali zajamčeno pronalazi najbolje podudaranje.

image.SEARCH_DS: int

Dijamantno pretraživanje – pretraživanje od grubog prema finom koje je mnogo brže od SEARCH_EX, ali može propustiti globalni optimum na vrlo samosličnim predlošcima.

Detekcija rubova

Proslijedite bilo koju od sljedećih vrijednosti kao argument algorithm metode Image.find_edges().

image.EDGE_CANNY: int

Canny detektor rubova – magnituda gradijenta + potiskivanje ne-maksimuma + histereza. Veće kvalitete, sporiji.

image.EDGE_SIMPLE: int

Detektor rubova s pragiranim visokopropusnim filtrom. Brži, ali proizvodi deblje i šumovitije rubove od EDGE_CANNY.

ORB detektori kutova

Proslijedite bilo koju od sljedećih vrijednosti kao argument corner_detector metode Image.find_keypoints().

image.CORNER_FAST: int

FAST detektor kutova. Brži od CORNER_AGAST, ali manje precizan.

image.CORNER_AGAST: int

AGAST detektor kutova. Sporiji od CORNER_FAST, ali proizvodi stabilnije ključne točke.

AprilTag obitelji

Bitovno-ILI (Bit-OR) bilo koju kombinaciju sljedećih i proslijedite kao argument families metode Image.find_apriltags(). Svaka obitelj uvjetovana je vlastitom opcijom izgradnje u ugrađenom programu (firmware); nepodržane obitelji odsutne su tijekom izvođenja, umjesto da su uvijek nula.

image.TAG16H5: int

AprilTag obitelj 16h5 (30 jedinstvenih ID-ova, 0-bitni ispravak pogrešaka).

image.TAG25H9: int

AprilTag obitelj 25h9 (35 jedinstvenih ID-ova, do 3-bitni ispravak pogrešaka).

image.TAG36H10: int

AprilTag obitelj 36h10 (2320 jedinstvenih ID-ova, do 3-bitni ispravak pogrešaka).

image.TAG36H11: int

AprilTag obitelj 36h11 (587 jedinstvenih ID-ova, do 4-bitni ispravak pogrešaka). Najčešća obitelj.

image.TAGCIRCLE21H7: int

AprilTag obitelj Circle21h7.

image.TAGCIRCLE49H12: int

AprilTag obitelj Circle49h12.

image.TAGCUSTOM48H12: int

AprilTag obitelj Custom48h12.

image.TAGSTANDARD41H12: int

AprilTag obitelj Standard41h12.

image.TAGSTANDARD52H13: int

AprilTag obitelj Standard52h13.

Simbologije crtičnog koda

Vrijednosti prijavljene u BarCode.type za stavke koje vraća Image.find_barcodes().

image.EAN2: int

EAN-2 dopunski crtični kod.

image.EAN5: int

EAN-5 dopunski crtični kod.

image.EAN8: int

EAN-8 crtični kod.

image.UPCE: int

UPC-E crtični kod.

image.ISBN10: int

ISBN-10 crtični kod.

image.UPCA: int

UPC-A crtični kod.

image.EAN13: int

EAN-13 crtični kod.

image.ISBN13: int

ISBN-13 crtični kod.

image.I25: int

Interleaved 2-of-5 crtični kod.

image.DATABAR: int

GS1 DataBar crtični kod.

image.DATABAR_EXP: int

GS1 DataBar Expanded crtični kod.

image.CODABAR: int

Codabar crtični kod.

image.CODE39: int

Code 39 crtični kod.

image.PDF417: int

PDF417 2D složeni crtični kod. Konstanta postoji radi potpunosti, ali dekoder crtičnog koda trenutno ne implementira PDF417 – Image.find_barcodes() neće vraćati detekcije ovog tipa.

image.CODE93: int

Code 93 crtični kod.

image.CODE128: int

Code 128 crtični kod.