image — konenäkö#

image-moduuli on OpenMV:n konenäköpinon sydän. Se tarjoaa Image-luokan – muistissa olevan pikselipuskurin, jonka päällä jokainen piirto-, suodatus-, muunnos- ja piirteenpoimintarutiini toimii – yhdessä niiden rutiinien palauttamien tulosobjektien kanssa (Blob, Line, Circle, Rect, QRCode, AprilTag, DataMatrix, BarCode, …) sekä niiden määrittelyyn käytettävien apuluokkien kanssa (Threshold, Histogram, Statistics, HaarCascade, Similarity, Percentile, Displacement, ImageIO).

Kuvan hankkiminen#

On neljä tapaa saada Image RAM-muistiin:

  • Reaaliaikainen kaappaus kamerasensorilta. Kutsu csi.CSI.snapshot() kaapataksesi seuraavan kehyksen suoraan kehyspuskuriin; palautettu Image viittaa tuohon puskuriin.

  • Tiedostosta. Anna polku Image-konstruktorille (image.Image("/sd/photo.jpg")); tuetut levyformaatit ovat BMP, PPM/PGM, JPEG, PNG ja OpenMV:n ImageIO-tallennusmuoto.

  • Ndarray-objektista. Anna float32-tyyppinen (h, w)- tai (h, w, 3)-muotoinen ndarray Image-konstruktorille. Pikselit skaalataan välistä 0.0 -- 255.0 GRAYSCALE- tai vastaavasti RGB565-kuvaksi. Käytä tätä tuodaksesi ml-moduulin (tai minkä tahansa ulab-putken) tensorituloksen takaisin piirrettäväksi kuvaksi.

  • Tyhjä puskuri. Luo Image annetulla koolla ja pikseliformaatilla (image.Image(320, 240, image.RGB565)) piirtääksesi siihen tyhjästä tai käyttääksesi sitä apupintana kuvan aritmetiikassa.

Pikseliformaatit#

Jokaisella Image-objektilla on yksi seuraavista pikseliformaateista; valinta tasapainottaa muistinkäytön, prosessointikustannuksen ja sen, mitä algoritmeja sillä voi ajaa. Käytä arvoja BINARY, GRAYSCALE, RGB565, BAYER, YUV422, JPEG tai PNG pixformat-argumenttina kuvaa luotaessa tai kamerasensoria määriteltäessä:

  • BINARY (1 bpp) – yksi bitti pikseliä kohden. Pienin formaatti; sitä käyttävät sisäisesti kynnystys- ja morfologiarutiinit, mutta sitä kaapataan harvoin suoraan sensorilta.

  • GRAYSCALE (8 bpp) – yksi tavu pikseliä kohden (YUV422:n Y-kanava). Nopein formaatti useimmille konenäköalgoritmeille (AprilTag, reunantunnistus, optinen virtaus).

  • RGB565 (16 bpp) – kaksi tavua pikseliä kohden, 5-bittinen punainen / 6-bittinen vihreä / 5-bittinen sininen. Oletusväriformaatti.

  • BAYER (8 bpp) – raaka Bayer-kuviollinen väridata suoraan sensorilta. Hyödyllinen mukautettuun demosaikointiin tai useamman pikselin tallentamiseen pienempään muistiin ennen tarvittaessa tehtävää debayerointia.

  • YUV422 (16 bpp) – 4:2:2-krominanssialinäytteistetty väri, kaksi tavua pikseliä kohden. Hyödyllinen kun haluat krominanssikohtaisia algoritmeja maksamatta täyttä RGB-hintaa.

  • JPEG / PNG – pakatut puskurit. Parhaita tallennukseen ja verkkosiirtoon. Pikselitason operaatiot edellyttävät ensin Image.to_grayscale()- tai Image.to_rgb565()-kutsua.

Tulosten käsittely#

Image-luokan tunnistus- ja piirteenpoimintametodit palauttavat objekteja, joiden yli voit iteroida ja joita voit yhdistellä – Image.find_blobs()-kutsu palauttaa listan Blob-objekteja, Image.find_apriltags()-kutsu palauttaa listan AprilTag-objekteja jne. Jokainen tulosluokka tarjoaa tunnistuksen geometriset ominaisuudet (keskipisteen, rajauslaatikon, pinta-alan, koodiarvon jne.), joten voit toimia niiden pohjalta suoraan tai välittää ne takaisin piirtometodeille (Image.draw_rectangle(), Image.draw_string(), …).

Väriavaruuden apufunktiot#

Moduuli tarjoaa myös pieniä puhtaita funktioita yksittäisten pikseliarvojen muuntamiseen binääri- / harmaasävy- / RGB- / LAB- / YUV-väriavaruuksien välillä. Nämä ovat hyödyllisiä kun sinun täytyy muuntaa kynnysarvoja tai palettimerkintöjä Pythonissa ennen niiden välittämistä kuvaoperaatioihin – koko kuvan muuntamiseen käytä Image-luokan to_*-metodeja, jotka ovat paljon nopeampia kuin näiden apufunktioiden kutsuminen silmukassa.

Luokat#

Funktiot#

Väriavaruuden muunnoksen apufunktiot#

Jokainen alla olevista X_to_Y-funktioista suorittaa yhden pikseliarvon muunnoksen. Ne kaikki ottavat/palauttavat arvoja OpenMV:n kanonisilla väleillä:

  • binary – int 0 – 1.

  • grayscale – int 0 – 255.

  • RGB – (r, g, b)-monikko 8-bittisistä kokonaisluvuista (kukin 0 – 255).

  • LAB – (l, a, b)-monikko, jossa L on välillä 0 – 100 ja A/B välillä -128 – 127.

  • YUV – (y, u, v)-monikko, jossa Y on välillä 0 – 255 ja U/V välillä -128 – 127.

Koko kuvan muuntamiseen käytä Image-luokan to_*-metodeja, jotka ovat paljon nopeampia kuin näiden apufunktioiden kutsuminen silmukassa.

image.binary_to_grayscale(value: int) → int#

Muuntaa binääriarvon harmaasävyarvoksi.

image.binary_to_rgb(value: int) → Tuple[int, int, int]#

Muuntaa binääriarvon RGB-monikoksi.

image.binary_to_lab(value: int) → Tuple[int, int, int]#

Muuntaa binääriarvon LAB-monikoksi.

image.binary_to_yuv(value: int) → Tuple[int, int, int]#

Muuntaa binääriarvon YUV-monikoksi.

image.grayscale_to_binary(value: int) → int#

Muuntaa harmaasävyarvon binääriarvoksi.

image.grayscale_to_rgb(value: int) → Tuple[int, int, int]#

Muuntaa harmaasävyarvon RGB-monikoksi.

image.grayscale_to_lab(value: int) → Tuple[int, int, int]#

Muuntaa harmaasävyarvon LAB-monikoksi.

image.grayscale_to_yuv(value: int) → Tuple[int, int, int]#

Muuntaa harmaasävyarvon YUV-monikoksi.

image.rgb_to_binary(value: Tuple[int, int, int]) → int#

Muuntaa RGB-monikon binääriarvoksi.

image.rgb_to_grayscale(value: Tuple[int, int, int]) → int#

Muuntaa RGB-monikon harmaasävyarvoksi.

image.rgb_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Muuntaa RGB-monikon LAB-monikoksi.

image.rgb_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Muuntaa RGB-monikon YUV-monikoksi.

image.lab_to_binary(value: Tuple[int, int, int]) → int#

Muuntaa LAB-monikon binääriarvoksi.

image.lab_to_grayscale(value: Tuple[int, int, int]) → int#

Muuntaa LAB-monikon harmaasävyarvoksi.

image.lab_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Muuntaa LAB-monikon RGB-monikoksi.

image.lab_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Muuntaa LAB-monikon YUV-monikoksi.

image.yuv_to_binary(value: Tuple[int, int, int]) → int#

Muuntaa YUV-monikon binääriarvoksi.

image.yuv_to_grayscale(value: Tuple[int, int, int]) → int#

Muuntaa YUV-monikon harmaasävyarvoksi.

image.yuv_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Muuntaa YUV-monikon RGB-monikoksi.

image.yuv_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]#

Muuntaa YUV-monikon LAB-monikoksi.

Piirrekuvaajat#

image.HaarCascade(path: str, stages: int = -1) → Cascade#

Lataa Haar-kaskadi ja palauttaa Cascade-kahvan käytettäväksi Image.find_features()-metodin kanssa.

path voi olla joko:

  • kirjaimellinen merkkijono "frontalface" tai "eye" ladatakseen toisen kahdesta laiteohjelmiston ROM-muistiin sisäänrakennetusta kaskadista, tai

  • tiedostojärjestelmäpolku mukautettuun .cascade-binääritiedostoon, joka on tuotettu OpenMV:n kaskadinmuunnostyökaluilla.

stages valitsee, kuinka monta kaskadivaihetta arvioidaan tunnistushetkellä. -1 käyttää jokaista tiedostoon tallennettua vaihetta. Tämän arvon pienentäminen nopeuttaa tunnistusta useampien väärien positiivisten tulosten kustannuksella.

image.load_descriptor(path: str) → kp_desc | lbp_desc#

Lataa kuvaajan tiedostosta polussa path ja palauttaa sen. Tiedoston sisäinen tyyppimerkintä valitsee, mikä kuvaajaluokka rekonstruoidaan:

image.save_descriptor(descriptor: kp_desc | lbp_desc, path: str) → None#

Sarjallistaa argumentin descriptor (ORB-avainpiste- tai LBP-kuvaaja) tiedostoon polussa path OpenMV:n kuvaajatiedostomuodossa. Saman tiedoston voi myöhemmin ladata uudelleen image.load_descriptor()-metodilla.

image.match_descriptor(descriptor0, descriptor1, threshold: int = 85, filter_outliers: bool = False) → int | kptmatch#

Sovittaa kaksi samantyyppistä kuvaajaa.

  • Kahdelle LBP-kuvaajalle – palauttaa kokonaislukuna niiden välisen Hamming-etäisyyden (pienempi tarkoittaa lähempää osumaa).

  • Kahdelle ORB-avainpistekuvaajalle – palauttaa kptmatch-objektin, joka kuvaa sovitettujen avainpisteiden ryppään, tai None, jos mikään osuma ei ylitä arvoa threshold.

threshold (0 – 100) asettaa, kuinka tiukkaa ORB-sovitus on avainpisteparia hyväksyttäessä. Pienemmät arvot tiukentavat sovitusta hylkäämällä heikot lähimmän naapurin osumat.

filter_outliers ottaa käyttöön RANSAC-tyylisen poikkeavien arvojen hylkäyksen sovitettujen avainpisteiden joukossa. Käytä sitä, kun odotat yhtä jäykkää muunnosta kahden näkymän välillä; poista se käytöstä, kun sovitetut avainpisteet kattavat useita kohteita.

Blobin geometrian apufunktiot#

Nämä apufunktiot ottavat Blob-objektin (sellaisena kuin Image.find_blobs() sen palauttaa) ja laskevat lisää geometrisia ominaisuuksia tarvittaessa. Ne sijaitsevat moduulitasolla – eivät Blob-luokassa – joten perustason find_blobs()-polku ei maksa niistä, ellet sitä pyydä.

image.get_solidity(blob: blob) → float#

Palauttaa argumentin blob jähmeyden (blob.pixels / convex_hull_area). Liukuluku, 0 – 1; 1.0 tarkoittaa, että blob täyttää konveksin verhonsa kokonaan.

image.get_convexity(blob: blob) → float#

Palauttaa argumentin blob konveksisuuden (convex_hull_perimeter / blob.perimeter). Liukuluku, 0 – 1; 1.0 on täysin konveksi blob.

image.get_major_axis_line(blob: blob) → line#

Palauttaa Line-objektin argumentin blob pääakselia pitkin (pienimmän pinta-alan kierretyn suorakulmion kahdesta pääakselista pidemmän).

image.get_minor_axis_line(blob: blob) → line#

Palauttaa Line-objektin argumentin blob sivuakselia pitkin (pienimmän pinta-alan kierretyn suorakulmion kahdesta pääakselista lyhyemmän).

image.get_enclosing_circle(blob: blob) → circle#

Palauttaa Circle-objektin, joka ympäröi argumentin blob.

image.get_enclosed_ellipse(blob: blob) → Tuple[int, int, int, int, int]#

Palauttaa 5-monikon (cx, cy, a, b, rotation), joka kuvaa argumentin blob ympärille piirretyn pienimmän pinta-alan kierretyn suorakulmion sisään asetetun ellipsin:

  • cx / cy – ellipsin keskipiste pikseleinä (kokonaisluku).

  • a / b – puoliakselien pituudet pikseleinä (kokonaisluku).

  • rotation – ellipsin kierto asteina (kokonaisluku).

Tämä on tavallinen monikko, ei attrtuple, joten kenttiin pääsee käsiksi vain indeksin perusteella.

Vakiot#

Pikseliformaatit#

Anna mikä tahansa seuraavista pixformat-argumenttina Image-konstruktorille tai csi.CSI.pixformat()-metodille.

image.BINARY: int#

1 bitti pikseliä kohden -bittikartta. Pienin formaatti – sitä käyttävät sisäisesti kynnystys ja morfologia, sitä kaapataan harvoin suoraan sensorilta.

image.GRAYSCALE: int#

8 bittiä pikseliä kohden -harmaasävy (yksi tavu pikseliä kohden). Nopein formaatti useimmille konenäköalgoritmeille (AprilTag, reunantunnistus, optinen virtaus).

image.RGB565: int#

16 bittiä pikseliä kohden -väri pakattuna muotoon 5 bittiä punainen / 6 bittiä vihreä / 5 bittiä sininen. Oletusväriformaatti.

image.BAYER: int#

8 bittiä pikseliä kohden -raaka Bayer-data suoraan sensorilta. Useimmat kuvankäsittelymetodit eivät ole käytettävissä Bayer-kuville; käytä tätä kun haluat debayeroida tarvittaessa tai tallentaa useampia pikseleitä pienempään muistiin.

image.YUV422: int#

4:2:2-krominanssialinäytteistetty väri, kaksi tavua pikseliä kohden, pakattuna muotoon Y1, U, Y2, V pikseliparia kohden. Vain osa kuvankäsittelymetodeista toimii suoraan YUV422:n päällä.

image.JPEG: int#

Pakattu JPEG-puskuri. Pikselitason operaatiot edellyttävät ensin Image.to_grayscale()- tai Image.to_rgb565()-kutsua.

image.PNG: int#

Pakattu PNG-puskuri. Pikselitason operaatiot edellyttävät ensin Image.to_grayscale()- tai Image.to_rgb565()-kutsua.

Väripaletit#

Anna mikä tahansa seuraavista Image.to_rainbow()-, Image.to_ironbow()- tai Image.draw_image()-metodille (color_palette=) tai csi.CSI.color_palette()-metodille värittääksesi harmaasävykuvan.

image.PALETTE_RAINBOW: int#

Pehmeä sateenkaarivärikiekko. OpenMV:n oletuspaletti lämpökuville.

image.PALETTE_IRONBOW: int#

Epälineaarinen ”ironbow”-paletti, joka jäljittelee FLIR Lepton -lämpökameran etsimen ulkoasua.

image.PALETTE_DEPTH: int#

Syvyyskuvapaletti. Saatavilla vain käännöksissä, joissa on syvyyssensorituki (ToF-putki – esim. OpenMV Cam AE3 tai mikä tahansa kamera, johon on liitetty ToF Pmod).

image.PALETTE_EVT_DARK: int#

Paletti GENX320-tapahtumakamerakehysten visualisointiin tummalla taustalla. Anna se csi.CSI.color_palette-metodille saadaksesi GENX320-ajurin tuottamaan väritetyt RGB565-kehykset histogrammitilassa, tai Image.draw_image()-metodille color_palette= värittäessäsi harmaasävyisen tapahtumakuvan.

Saatavilla vain käännöksissä, joissa on GENX320-tuki (OpenMV Cam AE3 ja GENX320 Pmod).

image.PALETTE_EVT_LIGHT: int#

Paletti GENX320-tapahtumakamerakehysten visualisointiin vaalealla taustalla. Sama lähetyslogiikka ja saatavuus kuin PALETTE_EVT_DARK-paletilla.

Skaalaustilat#

Anna mikä tahansa seuraavista hint-argumenttina Image.draw_image()-, Image.scale()- tai vastaaville skaalausmetodeille.

image.AREA: int#

Pinta-alaa keskiarvoistava skaalain. Käytetään pienennettäessä; suurennettaessa käytetään lähimmän naapurin menetelmää.

image.BILINEAR: int#

Bilineaarinen skaalain. Alinäytteistää pienennettäessä.

image.BICUBIC: int#

Bikuubinen skaalain. Laadukkaampi kuin BILINEAR, mutta hitaampi. Alinäytteistää pienennettäessä.

Piirto- / draw_image-vihjeet#

Yhdistä bittitason TAI-operaatiolla mikä tahansa näistä ja anna Image.draw_image()-metodin hint-argumenttina.

image.VFLIP: int#

Kääntää lähteen pystysuunnassa piirron aikana.

image.HMIRROR: int#

Peilaa lähteen vaakasuunnassa piirron aikana.

image.TRANSPOSE: int#

Transponoi (vaihtaa x/y) lähteen piirron aikana.

image.CENTER: int#

Keskittää lähteen kohteeseen. Mahdollisista eksplisiittisistä x/y-siirtymistä tulee tällöin siirtymiä keskeltä eikä vasemmasta yläkulmasta.

image.EXTRACT_RGB_CHANNEL_FIRST: int#

Kun poimitaan RGB-kanava Image.draw_image()-metodilla, poimii kanavan ennen skaalausta. Ilman tätä vihjettä kanava poimitaan skaalauksen jälkeen.

image.APPLY_COLOR_PALETTE_FIRST: int#

Kun käytetään väripalettia Image.draw_image()-metodilla, soveltaa paletin ennen skaalausta. Ilman tätä vihjettä paletti sovelletaan skaalauksen jälkeen.

image.SCALE_ASPECT_KEEP: int#

Skaalaa lähteen mahtumaan kohteen sisään säilyttäen kuvasuhteen (lisää kirjekuoripalkit, kun suhteet eroavat).

image.SCALE_ASPECT_EXPAND: int#

Skaalaa lähteen täyttämään kohteen säilyttäen kuvasuhteen (rajaa, kun suhteet eroavat).

image.SCALE_ASPECT_IGNORE: int#

Skaalaa lähteen täyttämään kohteen kuvasuhdetta huomioimatta.

image.BLACK_BACKGROUND: int#

Kertoo alfasekoituspolulle, että kohteen tiedetään olevan musta, jolloin se voi ohittaa kohdepikselin takaisinluvun. Nopeuttaa alfatehosteita juuri tyhjennetyissä puskureissa.

image.ROTATE_90: int#

Pikakomento komennolle VFLIP | TRANSPOSE (kierto 90 astetta myötäpäivään).

image.ROTATE_180: int#

Pikakomento komennolle HMIRROR | VFLIP (kierto 180 astetta).

image.ROTATE_270: int#

Pikakomento komennolle HMIRROR | TRANSPOSE (kierto 270 astetta myötäpäivään).

JPEG-alinäytteistys#

Anna mikä tahansa seuraavista subsampling-argumenttina Image.to_jpeg()-, Image.compress()- tai Image.save()-metodille JPEG:tä kirjoitettaessa.

image.JPEG_SUBSAMPLING_AUTO: int#

Valitse krominanssin alinäytteistys automaattisesti JPEG-laatuasetuksen perusteella.

image.JPEG_SUBSAMPLING_444: int#

Pakota 4:4:4-krominanssin alinäytteistys (ei krominanssin pakkausta).

image.JPEG_SUBSAMPLING_422: int#

Pakota 4:2:2-krominanssin alinäytteistys. Suositeltavaa, kun MJPEG:tä striimataan kolmannen osapuolen videosoittimille, jotka käyttäytyvät virheellisesti 4:2:0:n kanssa.

image.JPEG_SUBSAMPLING_420: int#

Pakota 4:2:0-krominanssin alinäytteistys.

Mallisovitus#

Anna jompikumpi seuraavista search-argumenttina Image.find_template()-metodille.

image.SEARCH_EX: int#

Tyhjentävä haku – arvioi jokaisen sijainnin kohdealueella. Hitain mutta takaa parhaan osuman löytymisen.

image.SEARCH_DS: int#

Vinoneliöhaku – karkeasta hienoon etenevä haku, joka on paljon nopeampi kuin SEARCH_EX, mutta saattaa ohittaa globaalin optimin voimakkaasti itsensäkaltaisilla malleilla.

Reunantunnistus#

Anna jompikumpi seuraavista algorithm-argumenttina Image.find_edges()-metodille.

image.EDGE_CANNY: int#

Canny-reunantunnistin – gradientin suuruus + ei-maksimien vaimennus + hystereesi. Laadukkaampi, hitaampi.

image.EDGE_SIMPLE: int#

Kynnystetty ylipäästösuodatinpohjainen reunantunnistin. Nopeampi, mutta tuottaa paksumpia ja kohinaisempia reunoja kuin EDGE_CANNY.

ORB-kulmantunnistimet#

Anna jompikumpi seuraavista corner_detector-argumenttina Image.find_keypoints()-metodille.

image.CORNER_FAST: int#

FAST-kulmantunnistin. Nopeampi kuin CORNER_AGAST, mutta epätarkempi.

image.CORNER_AGAST: int#

AGAST-kulmantunnistin. Hitaampi kuin CORNER_FAST, mutta tuottaa vakaampia avainpisteitä.

AprilTag-perheet#

Yhdistä bittitason TAI-operaatiolla mikä tahansa yhdistelmä seuraavista ja anna families-argumenttina Image.find_apriltags()-metodille. Jokainen perhe on portitettu omalla käännösvalinnallaan laiteohjelmistossa; tukemattomat perheet puuttuvat ajonaikana sen sijaan, että ne olisivat aina nolla.

image.TAG16H5: int#

AprilTag 16h5 -perhe (30 uniikkia ID:tä, 0-bittinen virheenkorjaus).

image.TAG25H9: int#

AprilTag 25h9 -perhe (35 uniikkia ID:tä, jopa 3-bittinen virheenkorjaus).

image.TAG36H10: int#

AprilTag 36h10 -perhe (2320 uniikkia ID:tä, jopa 3-bittinen virheenkorjaus).

image.TAG36H11: int#

AprilTag 36h11 -perhe (587 uniikkia ID:tä, jopa 4-bittinen virheenkorjaus). Yleisin perhe.

image.TAGCIRCLE21H7: int#

AprilTag Circle21h7 -perhe.

image.TAGCIRCLE49H12: int#

AprilTag Circle49h12 -perhe.

image.TAGCUSTOM48H12: int#

AprilTag Custom48h12 -perhe.

image.TAGSTANDARD41H12: int#

AprilTag Standard41h12 -perhe.

image.TAGSTANDARD52H13: int#

AprilTag Standard52h13 -perhe.

Viivakoodisymboliikat#

Arvot, jotka raportoidaan kentässä BarCode.type Image.find_barcodes()-metodin palauttamille merkinnöille.

image.EAN2: int#

EAN-2-lisäviivakoodi.

image.EAN5: int#

EAN-5-lisäviivakoodi.

image.EAN8: int#

EAN-8-viivakoodi.

image.UPCE: int#

UPC-E-viivakoodi.

image.ISBN10: int#

ISBN-10-viivakoodi.

image.UPCA: int#

UPC-A-viivakoodi.

image.EAN13: int#

EAN-13-viivakoodi.

image.ISBN13: int#

ISBN-13-viivakoodi.

image.I25: int#

Interleaved 2-of-5 -viivakoodi.

image.DATABAR: int#

GS1 DataBar -viivakoodi.

image.DATABAR_EXP: int#

GS1 DataBar Expanded -viivakoodi.

image.CODABAR: int#

Codabar-viivakoodi.

image.CODE39: int#

Code 39 -viivakoodi.

image.PDF417: int#

PDF417 2D -pinottu viivakoodi. Vakio on olemassa täydellisyyden vuoksi, mutta viivakoodidekooderi ei tällä hetkellä toteuta PDF417:ää – Image.find_barcodes() ei palauta tämäntyyppisiä tunnistuksia.

image.CODE93: int#

Code 93 -viivakoodi.

image.CODE128: int#

Code 128 -viivakoodi.