image --- visi mesin

Modul image adalah inti dari tumpukan visi mesin OpenMV. Modul ini mengekspos kelas Image -- buffer piksel dalam memori yang menjadi tempat beroperasinya setiap rutinitas gambar, penyaringan, transformasi, dan ekstraksi fitur -- bersama dengan objek hasil pendukung yang dikembalikan oleh rutinitas tersebut (Blob, Line, Circle, Rect, QRCode, AprilTag, DataMatrix, BarCode, ...) dan kelas pembantu yang digunakan untuk mengkonfigurasinya (Threshold, Histogram, Statistics, HaarCascade, Similarity, Percentile, Displacement, ImageIO).

Mendapatkan Citra

Ada empat cara untuk mendapatkan Image ke dalam RAM:

  • Tangkapan langsung dari sensor kamera. Panggil csi.CSI.snapshot() untuk menangkap bingkai berikutnya langsung ke dalam buffer bingkai; Image yang dikembalikan merujuk ke buffer tersebut.

  • Dari sebuah berkas. Berikan path ke konstruktor Image (image.Image("/sd/photo.jpg")); format pada disk yang didukung adalah BMP, PPM/PGM, JPEG, PNG, dan format perekaman OpenMV ImageIO.

  • Dari ndarray. Berikan ndarray bertipe float32 berukuran (h, w) atau (h, w, 3) ke konstruktor Image. Piksel diskalakan dari 0.0 -- 255.0 menjadi citra GRAYSCALE atau RGB565. Gunakan ini untuk membawa keluaran tensor dari ml (atau pipeline ulab apapun) kembali menjadi citra yang dapat digambar.

  • Buffer kosong. Buat Image dengan ukuran dan format piksel tertentu (image.Image(320, 240, image.RGB565)) untuk digambar dari awal, atau digunakan sebagai permukaan sementara untuk aritmatika citra.

Format piksel

Setiap Image memiliki salah satu format piksel berikut; pilihan ini mengorbankan memori, biaya pemrosesan, dan algoritma apa yang dapat berjalan di atasnya. Gunakan BINARY, GRAYSCALE, RGB565, BAYER, YUV422, JPEG, atau PNG sebagai argumen pixformat saat membuat citra atau mengkonfigurasi sensor kamera:

  • BINARY (1 bpp) -- satu bit per piksel. Format paling kecil; digunakan secara internal oleh rutinitas ambang batas dan morfologi tetapi jarang ditangkap langsung dari sensor.

  • GRAYSCALE (8 bpp) -- satu byte per piksel (kanal Y dari YUV422). Format tercepat untuk sebagian besar algoritma computer vision (AprilTag, deteksi tepi, optical flow).

  • RGB565 (16 bpp) -- dua byte per piksel, merah 5-bit / hijau 6-bit / biru 5-bit. Format warna default.

  • BAYER (8 bpp) -- data warna pola Bayer mentah langsung dari sensor. Berguna untuk de-mosaicing kustom atau untuk menyimpan lebih banyak piksel dalam memori yang lebih sedikit sebelum melakukan debayering sesuai kebutuhan.

  • YUV422 (16 bpp) -- warna dengan chroma-subsampling 4:2:2, dua byte per piksel. Berguna ketika Anda menginginkan algoritma khusus kroma tanpa membayar biaya penuh RGB.

  • JPEG / PNG -- buffer terkompresi. Paling baik untuk penyimpanan dan transmisi jaringan. Operasi tingkat piksel memerlukan Image.to_grayscale() atau Image.to_rgb565() terlebih dahulu.

Bekerja dengan hasil

Metode deteksi / ekstraksi fitur pada Image mengembalikan objek yang dapat Anda iterasi dan gabungkan -- panggilan Image.find_blobs() mengembalikan daftar Blob, panggilan Image.find_apriltags() mengembalikan daftar AprilTag, dll. Setiap kelas hasil mengekspos properti geometris dari deteksi (centroid, kotak pembatas, area, nilai kode, dll.) sehingga Anda dapat bertindak langsung atau meneruskannya kembali ke metode penggambaran (Image.draw_rectangle(), Image.draw_string(), ...).

Pembantu ruang warna

Modul ini juga mengekspos fungsi murni kecil untuk mengkonversi nilai piksel individual antara ruang warna binary / skala abu-abu / RGB / LAB / YUV. Ini berguna ketika Anda perlu mengkonversi nilai ambang batas atau entri palet di Python sebelum meneruskannya ke operasi citra -- untuk konversi citra penuh gunakan metode to_* dari kelas Image, yang jauh lebih cepat daripada memanggil pembantu ini dalam sebuah loop.

Kelas

Fungsi

Pembantu konversi ruang warna

Setiap fungsi X_to_Y di bawah ini melakukan konversi nilai piksel tunggal. Semuanya mengambil/mengembalikan nilai dalam rentang kanonik OpenMV:

  • binary -- int 0 -- 1.

  • grayscale -- int 0 -- 255.

  • RGB -- tupel (r, g, b) dari bilangan bulat 8-bit (masing-masing 0 -- 255).

  • LAB -- tupel (l, a, b) dengan L dalam 0 -- 100 dan A/B dalam -128 -- 127.

  • YUV -- tupel (y, u, v) dengan Y dalam 0 -- 255 dan U/V dalam -128 -- 127.

Untuk konversi citra penuh gunakan metode to_* dari kelas Image, yang jauh lebih cepat daripada memanggil pembantu ini dalam sebuah loop.

image.binary_to_grayscale(value: int) → int

Konversi nilai binary ke nilai skala abu-abu.

image.binary_to_rgb(value: int) → Tuple[int, int, int]

Konversi nilai binary ke tupel RGB.

image.binary_to_lab(value: int) → Tuple[int, int, int]

Konversi nilai binary ke tupel LAB.

image.binary_to_yuv(value: int) → Tuple[int, int, int]

Konversi nilai binary ke tupel YUV.

image.grayscale_to_binary(value: int) → int

Konversi nilai skala abu-abu ke nilai binary.

image.grayscale_to_rgb(value: int) → Tuple[int, int, int]

Konversi nilai skala abu-abu ke tupel RGB.

image.grayscale_to_lab(value: int) → Tuple[int, int, int]

Konversi nilai skala abu-abu ke tupel LAB.

image.grayscale_to_yuv(value: int) → Tuple[int, int, int]

Konversi nilai skala abu-abu ke tupel YUV.

image.rgb_to_binary(value: Tuple[int, int, int]) → int

Konversi tupel RGB ke nilai binary.

image.rgb_to_grayscale(value: Tuple[int, int, int]) → int

Konversi tupel RGB ke nilai skala abu-abu.

image.rgb_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]

Konversi tupel RGB ke tupel LAB.

image.rgb_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]

Konversi tupel RGB ke tupel YUV.

image.lab_to_binary(value: Tuple[int, int, int]) → int

Konversi tupel LAB ke nilai binary.

image.lab_to_grayscale(value: Tuple[int, int, int]) → int

Konversi tupel LAB ke nilai skala abu-abu.

image.lab_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]

Konversi tupel LAB ke tupel RGB.

image.lab_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]

Konversi tupel LAB ke tupel YUV.

image.yuv_to_binary(value: Tuple[int, int, int]) → int

Konversi tupel YUV ke nilai binary.

image.yuv_to_grayscale(value: Tuple[int, int, int]) → int

Konversi tupel YUV ke nilai skala abu-abu.

image.yuv_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]

Konversi tupel YUV ke tupel RGB.

image.yuv_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]

Konversi tupel YUV ke tupel LAB.

Deskriptor fitur

image.HaarCascade(path: str, stages: int = -1) → Cascade

Muat Haar Cascade dan kembalikan handle Cascade untuk digunakan dengan Image.find_features().

path dapat berupa:

  • string literal "frontalface" atau "eye" untuk memuat salah satu dari dua cascade yang dimasukkan ke dalam ROM firmware, atau

  • path filesystem ke berkas biner .cascade kustom yang dihasilkan oleh alat pengkonversi cascade OpenMV.

stages memilih berapa banyak tahap cascade yang akan dievaluasi saat deteksi. -1 menggunakan setiap tahap yang tersimpan dalam berkas. Mengurangi nilai ini mempercepat deteksi dengan mengorbankan lebih banyak positif palsu.

image.load_descriptor(path: str) → kp_desc | lbp_desc

Muat deskriptor dari berkas di path dan kembalikan. Tag tipe internal berkas memilih kelas deskriptor mana yang direkonstruksi:

image.save_descriptor(descriptor: kp_desc | lbp_desc, path: str) → None

Serialisasi descriptor (titik kunci ORB atau deskriptor LBP) ke berkas di path dalam format berkas deskriptor OpenMV. Berkas yang sama dapat dimuat ulang nanti melalui image.load_descriptor().

image.match_descriptor(descriptor0, descriptor1, threshold: int = 85, filter_outliers: bool = False) → int | kptmatch

Cocokkan dua deskriptor dengan tipe yang sama.

  • Untuk dua deskriptor LBP -- mengembalikan jarak Hamming integer antara keduanya (lebih rendah berarti kecocokan lebih dekat).

  • Untuk dua deskriptor titik kunci ORB -- mengembalikan kptmatch yang mendeskripsikan kluster titik kunci yang cocok, atau None jika tidak ada kecocokan yang melewati threshold.

threshold (0 -- 100) mengatur seberapa ketat pencocokan ORB saat menerima pasangan titik kunci. Nilai lebih rendah memperketat pencocokan dengan menolak kecocokan tetangga terdekat yang lemah.

filter_outliers mengaktifkan penolakan outlier bergaya RANSAC di seluruh set titik kunci yang cocok. Gunakan ketika Anda mengharapkan satu transformasi kaku antara dua tampilan; nonaktifkan ketika titik kunci yang cocok mencakup beberapa objek.

Pembantu geometri blob

Pembantu ini mengambil Blob (seperti yang dikembalikan oleh Image.find_blobs()) dan menghitung properti geometris tambahan sesuai kebutuhan. Mereka berada di lingkup modul -- bukan di Blob -- sehingga path find_blobs() dasar tidak membayar untuk mereka kecuali Anda memintanya.

image.get_solidity(blob: blob) → float

Kembalikan soliditas (blob.pixels / convex_hull_area) dari blob. Float, 0 -- 1; 1.0 berarti blob sepenuhnya mengisi convex hull-nya.

image.get_convexity(blob: blob) → float

Kembalikan konveksitas (convex_hull_perimeter / blob.perimeter) dari blob. Float, 0 -- 1; 1.0 adalah blob yang sempurna cembung.

image.get_major_axis_line(blob: blob) → line

Kembalikan Line sepanjang sumbu utama dari blob (yang lebih panjang dari dua sumbu utama persegi panjang berputar dengan area minimum).

image.get_minor_axis_line(blob: blob) → line

Kembalikan Line sepanjang sumbu minor dari blob (yang lebih pendek dari dua sumbu utama persegi panjang berputar dengan area minimum).

image.get_enclosing_circle(blob: blob) → circle

Kembalikan Circle yang mengelilingi blob.

image.get_enclosed_ellipse(blob: blob) → Tuple[int, int, int, int, int]

Kembalikan 5-tupel (cx, cy, a, b, rotation) yang mendeskripsikan elips yang dituliskan dalam persegi panjang berputar dengan area minimum di sekitar blob:

  • cx / cy -- pusat elips dalam piksel (integer).

  • a / b -- panjang semi-sumbu dalam piksel (integer).

  • rotation -- rotasi elips dalam derajat (integer).

Ini adalah tupel biasa, bukan attrtuple, sehingga field hanya dapat diakses melalui indeks.

Konstanta

Format piksel

Berikan salah satu dari berikut ini sebagai argumen pixformat ke konstruktor Image atau ke csi.CSI.pixformat().

image.BINARY: int

Bitmap 1-bit-per-piksel. Format terkecil -- digunakan secara internal oleh ambang batas dan morfologi, jarang ditangkap langsung dari sensor.

image.GRAYSCALE: int

Skala abu-abu 8-bit-per-piksel (satu byte per piksel). Format tercepat untuk sebagian besar algoritma computer vision (AprilTag, deteksi tepi, optical flow).

image.RGB565: int

Warna 16-bit-per-piksel yang dikemas sebagai 5 bit merah / 6 bit hijau / 5 bit biru. Format warna default.

image.BAYER: int

Data Bayer mentah 8-bit-per-piksel langsung dari sensor. Sebagian besar metode pemrosesan citra tidak tersedia pada citra Bayer; gunakan ini ketika Anda ingin melakukan debayering sesuai kebutuhan atau menyimpan lebih banyak piksel dalam memori yang lebih sedikit.

image.YUV422: int

Warna dengan chroma-subsampling 4:2:2, dua byte per piksel, dikemas sebagai Y1, U, Y2, V per pasangan piksel. Hanya beberapa metode pemrosesan citra yang bekerja langsung pada YUV422.

image.JPEG: int

Buffer JPEG terkompresi. Operasi tingkat piksel memerlukan Image.to_grayscale() atau Image.to_rgb565() terlebih dahulu.

image.PNG: int

Buffer PNG terkompresi. Operasi tingkat piksel memerlukan Image.to_grayscale() atau Image.to_rgb565() terlebih dahulu.

Palet warna

Berikan salah satu dari berikut ini ke Image.to_rainbow(), Image.to_ironbow(), Image.draw_image() (color_palette=) atau ke csi.CSI.color_palette() untuk mewarnai citra skala abu-abu.

image.PALETTE_RAINBOW: int

Roda warna pelangi yang halus. Palet OpenMV default untuk citra termal.

image.PALETTE_IRONBOW: int

Palet "ironbow" non-linear yang meniru tampilan viewfinder termal FLIR Lepton.

image.PALETTE_DEPTH: int

Palet citra kedalaman. Hanya tersedia pada build dengan dukungan sensor kedalaman (pipeline ToF -- misalnya OpenMV Cam AE3 atau kamera apapun dengan ToF Pmod yang terpasang).

image.PALETTE_EVT_DARK: int

Palet untuk memvisualisasikan bingkai kamera event GENX320 pada latar belakang gelap. Berikan ke csi.CSI.color_palette agar driver GENX320 memancarkan bingkai RGB565 yang diwarnai dalam mode histogram, atau ke Image.draw_image() color_palette= saat mewarnai citra event skala abu-abu.

Hanya tersedia pada build dengan dukungan GENX320 (OpenMV Cam AE3 dan GENX320 Pmod).

image.PALETTE_EVT_LIGHT: int

Palet untuk memvisualisasikan bingkai kamera event GENX320 pada latar belakang terang. Dispatch dan ketersediaan yang sama dengan PALETTE_EVT_DARK.

Mode penskalaan

Berikan salah satu dari berikut ini sebagai argumen hint ke Image.draw_image(), Image.scale(), atau metode penskalaan serupa.

image.AREA: int

Skaler rata-rata area. Digunakan saat downscaling; Nearest-Neighbor digunakan untuk upscaling.

image.BILINEAR: int

Skaler bilinear. Melakukan subsampel saat downscaling.

image.BICUBIC: int

Skaler bicubic. Kualitas lebih tinggi dari BILINEAR tetapi lebih lambat. Melakukan subsampel saat downscaling.

Petunjuk menggambar / draw_image

Bit-OR semua dari berikut ini bersama-sama dan berikan sebagai argumen hint dari Image.draw_image().

image.VFLIP: int

Balik sumber secara vertikal saat menggambar.

image.HMIRROR: int

Cerminkan sumber secara horizontal saat menggambar.

image.TRANSPOSE: int

Transposisikan (tukar x/y) sumber saat menggambar.

image.CENTER: int

Pusatkan sumber pada destinasi. Offset x/y eksplisit kemudian menjadi offset dari pusat alih-alih dari kiri atas.

image.EXTRACT_RGB_CHANNEL_FIRST: int

Saat mengekstrak kanal RGB melalui Image.draw_image(), ekstrak kanal sebelum penskalaan. Tanpa petunjuk ini, kanal diekstrak setelah penskalaan.

image.APPLY_COLOR_PALETTE_FIRST: int

Saat menerapkan palet warna melalui Image.draw_image(), terapkan palet sebelum penskalaan. Tanpa petunjuk ini, palet diterapkan setelah penskalaan.

image.SCALE_ASPECT_KEEP: int

Skalakan sumber agar sesuai di dalam destinasi sambil mempertahankan rasio aspek (letterboxes ketika rasio berbeda).

image.SCALE_ASPECT_EXPAND: int

Skalakan sumber untuk mengisi destinasi sambil mempertahankan rasio aspek (memangkas ketika rasio berbeda).

image.SCALE_ASPECT_IGNORE: int

Skalakan sumber untuk mengisi destinasi, mengabaikan rasio aspek.

image.BLACK_BACKGROUND: int

Beritahu path alpha-blending bahwa destinasi diketahui hitam sehingga dapat melewati pembacaan balik piksel destinasi. Mempercepat efek alpha pada buffer yang baru saja dibersihkan.

image.ROTATE_90: int

Pintasan untuk VFLIP | TRANSPOSE (putar 90 derajat searah jarum jam).

image.ROTATE_180: int

Pintasan untuk HMIRROR | VFLIP (putar 180 derajat).

image.ROTATE_270: int

Pintasan untuk HMIRROR | TRANSPOSE (putar 270 derajat searah jarum jam).

Subsampling JPEG

Berikan salah satu dari berikut ini sebagai argumen subsampling ke Image.to_jpeg(), Image.compress(), atau Image.save() saat menulis JPEG.

image.JPEG_SUBSAMPLING_AUTO: int

Pilih chroma subsampling secara otomatis berdasarkan pengaturan kualitas JPEG.

image.JPEG_SUBSAMPLING_444: int

Paksa chroma subsampling 4:4:4 (tanpa kompresi kroma).

image.JPEG_SUBSAMPLING_422: int

Paksa chroma subsampling 4:2:2. Direkomendasikan saat streaming MJPEG ke pemutar video pihak ketiga yang berperilaku buruk dengan 4:2:0.

image.JPEG_SUBSAMPLING_420: int

Paksa chroma subsampling 4:2:0.

Pencocokan template

Berikan salah satu dari berikut ini sebagai argumen search ke Image.find_template().

image.SEARCH_EX: int

Pencarian menyeluruh -- mengevaluasi setiap posisi dalam ROI. Paling lambat tetapi dijamin menemukan kecocokan terbaik.

image.SEARCH_DS: int

Pencarian diamond -- pencarian kasar-ke-halus yang jauh lebih cepat dari SEARCH_EX tetapi mungkin melewatkan optimum global pada template yang sangat mirip diri.

Deteksi tepi

Berikan salah satu dari berikut ini sebagai argumen algorithm ke Image.find_edges().

image.EDGE_CANNY: int

Detektor tepi Canny -- magnitudo gradien + penekanan non-maks + histeresis. Kualitas lebih tinggi, lebih lambat.

image.EDGE_SIMPLE: int

Detektor tepi filter high-pass dengan ambang batas. Lebih cepat tetapi menghasilkan tepi yang lebih tebal dan lebih berisik daripada EDGE_CANNY.

Detektor sudut ORB

Berikan salah satu dari berikut ini sebagai argumen corner_detector ke Image.find_keypoints().

image.CORNER_FAST: int

Detektor sudut FAST. Lebih cepat dari CORNER_AGAST tetapi kurang akurat.

image.CORNER_AGAST: int

Detektor sudut AGAST. Lebih lambat dari CORNER_FAST tetapi menghasilkan titik kunci yang lebih stabil.

Keluarga AprilTag

Bit-OR kombinasi apapun dari berikut ini dan berikan sebagai argumen families ke Image.find_apriltags(). Setiap keluarga dibatasi oleh opsi build-nya sendiri di firmware; keluarga yang tidak didukung tidak ada pada runtime daripada selalu bernilai nol.

image.TAG16H5: int

Keluarga AprilTag 16h5 (30 ID unik, koreksi kesalahan 0-bit).

image.TAG25H9: int

Keluarga AprilTag 25h9 (35 ID unik, koreksi kesalahan hingga 3-bit).

image.TAG36H10: int

Keluarga AprilTag 36h10 (2320 ID unik, koreksi kesalahan hingga 3-bit).

image.TAG36H11: int

Keluarga AprilTag 36h11 (587 ID unik, koreksi kesalahan hingga 4-bit). Keluarga yang paling umum.

image.TAGCIRCLE21H7: int

Keluarga AprilTag Circle21h7.

image.TAGCIRCLE49H12: int

Keluarga AprilTag Circle49h12.

image.TAGCUSTOM48H12: int

Keluarga AprilTag Custom48h12.

image.TAGSTANDARD41H12: int

Keluarga AprilTag Standard41h12.

image.TAGSTANDARD52H13: int

Keluarga AprilTag Standard52h13.

Simbologi barcode

Nilai yang dilaporkan dalam BarCode.type untuk entri yang dikembalikan oleh Image.find_barcodes().

image.EAN2: int

Barcode suplemen EAN-2.

image.EAN5: int

Barcode suplemen EAN-5.

image.EAN8: int

Barcode EAN-8.

image.UPCE: int

Barcode UPC-E.

image.ISBN10: int

Barcode ISBN-10.

image.UPCA: int

Barcode UPC-A.

image.EAN13: int

Barcode EAN-13.

image.ISBN13: int

Barcode ISBN-13.

image.I25: int

Barcode Interleaved 2-of-5.

image.DATABAR: int

Barcode GS1 DataBar.

image.DATABAR_EXP: int

Barcode GS1 DataBar Expanded.

image.CODABAR: int

Barcode Codabar.

image.CODE39: int

Barcode Code 39.

image.PDF417: int

Barcode 2D bertumpuk PDF417. Konstanta ini ada untuk kelengkapan, tetapi decoder barcode saat ini tidak mengimplementasikan PDF417 -- Image.find_barcodes() tidak akan mengembalikan deteksi tipe ini.

image.CODE93: int

Barcode Code 93.

image.CODE128: int

Barcode Code 128.