image — ראייה ממוחשבת#

המודול image הוא לב מחסנית הראייה הממוחשבת של OpenMV. הוא חושף את המחלקה Image – חוצץ הפיקסלים שבזיכרון שעליו פועלת כל שגרת ציור, סינון, טרנספורמציה וחילוץ מאפיינים – יחד עם אובייקטי התוצאה התומכים שמוחזרים על ידי אותן שגרות (Blob, Line, Circle, Rect, QRCode, AprilTag, DataMatrix, BarCode, …) ומחלקות העזר המשמשות להגדרתן (Threshold, Histogram, Statistics, HaarCascade, Similarity, Percentile, Displacement, ImageIO).

קבלת תמונה#

ישנן ארבע דרכים להביא Image ל-RAM:

  • לכידה חיה מחיישן המצלמה. קרא ל-csi.CSI.snapshot() כדי ללכוד את הפריים הבא ישירות לתוך חוצץ הפריימים (frame buffer); ה-Image המוחזר מפנה אל אותו חוצץ.

  • מקובץ. העבר נתיב לבנאי של Image ‏(image.Image("/sd/photo.jpg")); הפורמטים הנתמכים בדיסק הם BMP, PPM/PGM, JPEG, PNG ופורמט ההקלטה ImageIO של OpenMV.

  • מ-ndarray. העבר ndarray מסוג float32 בצורת (h, w) או (h, w, 3) לבנאי של Image. הפיקסלים מותאמים מ-0.0 -- 255.0 לתמונת GRAYSCALE או RGB565 בהתאמה. השתמש בכך כדי להחזיר פלט טנזור מ-ml (או מכל צינור ulab) לתמונה ניתנת לציור.

  • חוצץ ריק. בנה Image עם גודל ופורמט פיקסל נתונים (image.Image(320, 240, image.RGB565)) כדי לצייר בו מאפס, או כדי להשתמש בו כמשטח עבודה לחישובים אריתמטיים על תמונות.

פורמטי פיקסל#

לכל Image יש אחד מפורמטי הפיקסל הבאים; הבחירה מאזנת בין זיכרון, עלות עיבוד ובין האלגוריתמים שיכולים לרוץ עליה. השתמש ב-BINARY, GRAYSCALE, RGB565, BAYER, YUV422, JPEG או PNG כארגומנט ה-pixformat בעת בניית תמונה או הגדרת חיישן המצלמה:

  • BINARY (1 bpp) – ביט אחד לפיקסל. הפורמט הקטן ביותר; משמש פנימית על ידי שגרות סף ומורפולוגיה אך נלכד ישירות מהחיישן לעיתים רחוקות.

  • GRAYSCALE (8 bpp) – בית אחד לפיקסל (ערוץ ה-Y של YUV422). הפורמט המהיר ביותר עבור רוב אלגוריתמי הראייה הממוחשבת (AprilTag, זיהוי קצוות, זרימה אופטית).

  • RGB565 (16 bpp) – שני בתים לפיקסל, 5 ביט אדום / 6 ביט ירוק / 5 ביט כחול. פורמט הצבע ברירת המחדל.

  • BAYER (8 bpp) – נתוני צבע גולמיים בתבנית Bayer ישירות מהחיישן. שימושי לדה-מוזאיקה מותאמת אישית או לאחסון יותר פיקסלים בפחות זיכרון לפני דה-בייאר לפי דרישה.

  • YUV422 (16 bpp) – צבע בדגימת כרומה 4:2:2, שני בתים לפיקסל. שימושי כשרוצים אלגוריתמים ספציפיים לכרומה מבלי לשלם את העלות המלאה של RGB.

  • JPEG / PNG – חוצצים דחוסים. מתאימים ביותר לאחסון ולשידור ברשת. פעולות ברמת הפיקסל דורשות תחילה Image.to_grayscale() או Image.to_rgb565().

עבודה עם תוצאות#

שיטות הזיהוי / חילוץ המאפיינים על Image מחזירות אובייקטים שניתן לעבור עליהם ולשלב – קריאה ל-Image.find_blobs() מחזירה רשימה של Blob, קריאה ל-Image.find_apriltags() מחזירה רשימה של AprilTag, וכן הלאה. כל מחלקת תוצאה חושפת את התכונות הגיאומטריות של הזיהוי (מרכז מסה, תיבה תוחמת, שטח, ערך קוד וכו«) כך שתוכל לפעול עליהן ישירות או להעביר אותן בחזרה לשיטות ציור (Image.draw_rectangle(), Image.draw_string(), …).

פונקציות עזר למרחב צבע#

המודול חושף גם פונקציות טהורות קטנות להמרת ערכי פיקסל בודדים בין מרחבי הצבע binary / grayscale / RGB / LAB / YUV. הן שימושיות כאשר צריך להמיר ערכי סף או רשומות פלטה ב-Python לפני העברתן לפעולות תמונה – להמרת תמונה שלמה השתמש בשיטות ה-to_* של Image, שהן מהירות בהרבה מקריאה לפונקציות העזר הללו בלולאה.

מחלקות#

פונקציות#

פונקציות עזר להמרת מרחב צבע#

כל אחת מהפונקציות X_to_Y שלהלן מבצעת המרת ערך-פיקסל יחידה. כולן מקבלות/מחזירות ערכים בטווחים הקנוניים של OpenMV:

  • binary – int 0 – 1.

  • grayscale – int 0 – 255.

  • RGB – טאפל (r, g, b) של מספרים שלמים בני 8 ביט (כל אחד 0 – 255).

  • LAB – טאפל (l, a, b) עם L בטווח 0 – 100 ו-A/B בטווח -128 – 127.

  • YUV – טאפל (y, u, v) עם Y בטווח 0 – 255 ו-U/V בטווח -128 – 127.

להמרת תמונה שלמה השתמש בשיטות ה-to_* של Image, שהן מהירות בהרבה מקריאה לפונקציות העזר הללו בלולאה.

image.binary_to_grayscale(value: int) → int#

המרת ערך binary לערך grayscale.

image.binary_to_rgb(value: int) → Tuple[int, int, int]#

המרת ערך binary לטאפל RGB.

image.binary_to_lab(value: int) → Tuple[int, int, int]#

המרת ערך binary לטאפל LAB.

image.binary_to_yuv(value: int) → Tuple[int, int, int]#

המרת ערך binary לטאפל YUV.

image.grayscale_to_binary(value: int) → int#

המרת ערך grayscale לערך binary.

image.grayscale_to_rgb(value: int) → Tuple[int, int, int]#

המרת ערך grayscale לטאפל RGB.

image.grayscale_to_lab(value: int) → Tuple[int, int, int]#

המרת ערך grayscale לטאפל LAB.

image.grayscale_to_yuv(value: int) → Tuple[int, int, int]#

המרת ערך grayscale לטאפל YUV.

image.rgb_to_binary(value: Tuple[int, int, int]) → int#

המרת טאפל RGB לערך binary.

image.rgb_to_grayscale(value: Tuple[int, int, int]) → int#

המרת טאפל RGB לערך grayscale.

image.rgb_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]#

המרת טאפל RGB לטאפל LAB.

image.rgb_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]#

המרת טאפל RGB לטאפל YUV.

image.lab_to_binary(value: Tuple[int, int, int]) → int#

המרת טאפל LAB לערך binary.

image.lab_to_grayscale(value: Tuple[int, int, int]) → int#

המרת טאפל LAB לערך grayscale.

image.lab_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]#

המרת טאפל LAB לטאפל RGB.

image.lab_to_yuv(value: Tuple[int, int, int]) → Tuple[int, int, int]#

המרת טאפל LAB לטאפל YUV.

image.yuv_to_binary(value: Tuple[int, int, int]) → int#

המרת טאפל YUV לערך binary.

image.yuv_to_grayscale(value: Tuple[int, int, int]) → int#

המרת טאפל YUV לערך grayscale.

image.yuv_to_rgb(value: Tuple[int, int, int]) → Tuple[int, int, int]#

המרת טאפל YUV לטאפל RGB.

image.yuv_to_lab(value: Tuple[int, int, int]) → Tuple[int, int, int]#

המרת טאפל YUV לטאפל LAB.

מתארי מאפיינים#

image.HaarCascade(path: str, stages: int = -1) → Cascade#

טען Haar Cascade והחזר ידית Cascade לשימוש עם Image.find_features().

path יכול להיות אחד מ:

  • המחרוזת המילולית "frontalface" או "eye" כדי לטעון אחד משני ה-cascades המוטמעים ב-ROM של הקושחה, או

  • נתיב במערכת הקבצים לקובץ בינארי .cascade מותאם אישית שנוצר על ידי כלי ממיר ה-cascade של OpenMV.

stages בוחר כמה שלבי cascade להעריך בזמן הזיהוי. -1 משתמש בכל שלב המאוחסן בקובץ. הקטנת ערך זה מאיצה את הזיהוי במחיר של יותר זיהויי שווא.

image.load_descriptor(path: str) → kp_desc | lbp_desc#

טען מתאר (descriptor) מהקובץ בנתיב path והחזר אותו. תג הסוג הפנימי של הקובץ בוחר איזו מחלקת מתאר תשוחזר:

image.save_descriptor(descriptor: kp_desc | lbp_desc, path: str) → None#

מסרל את descriptor (מתאר נקודת מפתח ORB או מתאר LBP) לקובץ בנתיב path בפורמט קובץ המתאר של OpenMV. ניתן לטעון מחדש את אותו קובץ מאוחר יותר באמצעות image.load_descriptor().

image.match_descriptor(descriptor0, descriptor1, threshold: int = 85, filter_outliers: bool = False) → int | kptmatch#

התאם בין שני מתארים מאותו סוג.

  • עבור שני מתארי LBP – מחזיר מרחק Hamming שלם ביניהם (ערך נמוך יותר משמעו התאמה קרובה יותר).

  • עבור שני מתארי נקודות מפתח ORB – מחזיר kptmatch המתאר את אשכול נקודות המפתח המותאמות, או None אם אף התאמה אינה עוברת את threshold.

threshold ‏(0 – 100) קובע עד כמה התאמת ORB מחמירה בעת קבלת זוג נקודות מפתח. ערכים נמוכים יותר מהדקים את ההתאמה על ידי דחיית התאמות שכן-קרוב חלשות.

filter_outliers מאפשר דחיית חריגים בסגנון RANSAC על פני קבוצת נקודות המפתח המותאמות. השתמש בו כשאתה מצפה לטרנספורמציה קשיחה יחידה בין שני המבטים; השבת אותו כשנקודות המפתח המותאמות פרושות על פני מספר אובייקטים.

פונקציות עזר לגיאומטריית רכיב/כתם (blob)#

פונקציות עזר אלה מקבלות Blob (כפי שמוחזר על ידי Image.find_blobs()) ומחשבות תכונות גיאומטריות נוספות לפי דרישה. הן ממוקמות ברמת המודול – ולא על Blob – כך שמסלול ה-find_blobs() הבסיסי אינו משלם עבורן אלא אם תבקש.

image.get_solidity(blob: blob) → float#

מחזיר את המוצקות (blob.pixels / convex_hull_area) של blob. ערך עשרוני, 0 – 1; הערך 1.0 משמעו שהכתם ממלא לחלוטין את הקליפה הקמורה שלו.

image.get_convexity(blob: blob) → float#

מחזיר את הקמירות (convex_hull_perimeter / blob.perimeter) של blob. ערך עשרוני, 0 – 1; הערך 1.0 משמעו כתם קמור באופן מושלם.

image.get_major_axis_line(blob: blob) → line#

מחזיר Line לאורך הציר הראשי של blob (הארוך מבין שני הצירים העיקריים של המלבן המסובב בעל השטח המינימלי).

image.get_minor_axis_line(blob: blob) → line#

מחזיר Line לאורך הציר המשני של blob (הקצר מבין שני הצירים העיקריים של המלבן המסובב בעל השטח המינימלי).

image.get_enclosing_circle(blob: blob) → circle#

מחזיר Circle שמקיף את blob.

image.get_enclosed_ellipse(blob: blob) → Tuple[int, int, int, int, int]#

מחזיר טאפל בן 5 איברים (cx, cy, a, b, rotation) המתאר את האליפסה החסומה במלבן המסובב בעל השטח המינימלי סביב blob:

  • cx / cy – מרכז האליפסה בפיקסלים (שלם).

  • a / b – אורכי חצאי הצירים בפיקסלים (שלם).

  • rotation – סיבוב האליפסה במעלות (שלם).

זהו טאפל רגיל, לא attrtuple, ולכן ניתן לגשת לשדות רק לפי אינדקס.

קבועים#

פורמטי פיקסל#

העבר כל אחד מהבאים כארגומנט ה-pixformat לבנאי של Image או ל-csi.CSI.pixformat().

image.BINARY: int#

מפת ביטים של ביט-אחד-לפיקסל. הפורמט הקטן ביותר – משמש פנימית על ידי שגרות סף ומורפולוגיה, נלכד ישירות מחיישן לעיתים רחוקות.

image.GRAYSCALE: int#

גווני אפור בני 8 ביט לפיקסל (בית אחד לפיקסל). הפורמט המהיר ביותר עבור רוב אלגוריתמי הראייה הממוחשבת (AprilTag, זיהוי קצוות, זרימה אופטית).

image.RGB565: int#

צבע בן 16 ביט לפיקסל ארוז כ-5 ביט אדום / 6 ביט ירוק / 5 ביט כחול. פורמט הצבע ברירת המחדל.

image.BAYER: int#

נתוני Bayer גולמיים בני 8 ביט לפיקסל ישירות מהחיישן. רוב שיטות עיבוד התמונה אינן זמינות על תמונות Bayer; השתמש בכך כשאתה רוצה לבצע דה-בייאר לפי דרישה או לאחסן יותר פיקסלים בפחות זיכרון.

image.YUV422: int#

צבע בדגימת כרומה 4:2:2, שני בתים לפיקסל, ארוז כ-Y1, U, Y2, V לכל זוג פיקסלים. רק חלק משיטות עיבוד התמונה פועלות ישירות על YUV422.

image.JPEG: int#

חוצץ JPEG דחוס. פעולות ברמת הפיקסל דורשות תחילה Image.to_grayscale() או Image.to_rgb565().

image.PNG: int#

חוצץ PNG דחוס. פעולות ברמת הפיקסל דורשות תחילה Image.to_grayscale() או Image.to_rgb565().

פלטות צבע#

העבר כל אחד מהבאים ל-Image.to_rainbow(), Image.to_ironbow(), Image.draw_image() ‏(color_palette=) או ל-csi.CSI.color_palette() כדי לצבוע תמונת גווני אפור.

image.PALETTE_RAINBOW: int#

גלגל צבעי קשת חלק. פלטת ברירת המחדל של OpenMV לדימות תרמי.

image.PALETTE_IRONBOW: int#

פלטת ”ironbow“ לא-לינארית המחקה את מראה כוונן התצוגה התרמי של FLIR Lepton.

image.PALETTE_DEPTH: int#

פלטת תמונת עומק. זמינה רק בבילדים עם תמיכה בחיישן עומק (צינור ה-ToF – למשל OpenMV Cam AE3 או כל מצלמה עם ToF Pmod מחובר).

image.PALETTE_EVT_DARK: int#

פלטה להצגת פריימים של מצלמת אירועים GENX320 על רקע כהה. העבר ל-csi.CSI.color_palette כדי שמנהל ההתקן GENX320 יפלוט פריימי RGB565 צבועים במצב היסטוגרמה, או ל-Image.draw_image() ‏color_palette= בעת צביעת תמונת אירועים בגווני אפור.

זמינה רק בבילדים עם תמיכת GENX320 (OpenMV Cam AE3 וה-GENX320 Pmod).

image.PALETTE_EVT_LIGHT: int#

פלטה להצגת פריימים של מצלמת אירועים GENX320 על רקע בהיר. אותו שיגור וזמינות כמו PALETTE_EVT_DARK.

מצבי שינוי קנה מידה#

העבר כל אחד מהבאים כארגומנט ה-hint ל-Image.draw_image(), Image.scale() או לשיטות שינוי קנה מידה דומות.

image.AREA: int#

סקיילר ממוצע-שטח. משמש בהקטנה; Nearest-Neighbor משמש בהגדלה.

image.BILINEAR: int#

סקיילר בילינארי. מבצע תת-דגימה בהקטנה.

image.BICUBIC: int#

סקיילר ביקובי. איכותי יותר מ-BILINEAR אך איטי יותר. מבצע תת-דגימה בהקטנה.

רמזים לציור / draw_image#

בצע Bit-OR על כל שילוב של אלה והעבר כארגומנט ה-hint של Image.draw_image().

image.VFLIP: int#

הפוך אנכית את המקור בעת הציור.

image.HMIRROR: int#

שקף אופקית את המקור בעת הציור.

image.TRANSPOSE: int#

שחלף (החלף x/y) את המקור בעת הציור.

image.CENTER: int#

מרכז את המקור על היעד. כל היסטי x/y מפורשים הופכים אז להיסטים מהמרכז במקום מהפינה השמאלית-עליונה.

image.EXTRACT_RGB_CHANNEL_FIRST: int#

בעת חילוץ ערוץ RGB באמצעות Image.draw_image(), חלץ את הערוץ לפני שינוי קנה המידה. ללא רמז זה, הערוץ מחולץ לאחר שינוי קנה המידה.

image.APPLY_COLOR_PALETTE_FIRST: int#

בעת החלת פלטת צבע באמצעות Image.draw_image(), החל את הפלטה לפני שינוי קנה המידה. ללא רמז זה, הפלטה מוחלת לאחר שינוי קנה המידה.

image.SCALE_ASPECT_KEEP: int#

שנה את קנה המידה של המקור כך שיתאים בתוך היעד תוך שמירה על יחס הגובה-רוחב (יוצר מסגרות שחורות כשהיחסים שונים).

image.SCALE_ASPECT_EXPAND: int#

שנה את קנה המידה של המקור כך שימלא את היעד תוך שמירה על יחס הגובה-רוחב (חותך כשהיחסים שונים).

image.SCALE_ASPECT_IGNORE: int#

שנה את קנה המידה של המקור כך שימלא את היעד, תוך התעלמות מיחס הגובה-רוחב.

image.BLACK_BACKGROUND: int#

הודע למסלול מיזוג האלפא שהיעד ידוע כשחור כך שיוכל לדלג על קריאת פיקסל היעד. מאיץ אפקטי אלפא על חוצצים שזה עתה נוקו.

image.ROTATE_90: int#

קיצור דרך עבור VFLIP | TRANSPOSE (סיבוב 90 מעלות עם כיוון השעון).

image.ROTATE_180: int#

קיצור דרך עבור HMIRROR | VFLIP (סיבוב 180 מעלות).

image.ROTATE_270: int#

קיצור דרך עבור HMIRROR | TRANSPOSE (סיבוב 270 מעלות עם כיוון השעון).

תת-דגימת JPEG#

העבר כל אחד מהבאים כארגומנט ה-subsampling ל-Image.to_jpeg(), Image.compress() או Image.save() בעת כתיבת JPEG.

image.JPEG_SUBSAMPLING_AUTO: int#

בחר תת-דגימת כרומה אוטומטית בהתבסס על הגדרת איכות ה-JPEG.

image.JPEG_SUBSAMPLING_444: int#

אלץ תת-דגימת כרומה 4:4:4 (ללא דחיסת כרומה).

image.JPEG_SUBSAMPLING_422: int#

אלץ תת-דגימת כרומה 4:2:2. מומלץ בעת הזרמת MJPEG לנגני וידאו צד-שלישי שמתנהגים בעייתי עם 4:2:0.

image.JPEG_SUBSAMPLING_420: int#

אלץ תת-דגימת כרומה 4:2:0.

התאמת תבנית#

העבר אחד מהבאים כארגומנט ה-search ל-Image.find_template().

image.SEARCH_EX: int#

חיפוש ממצה – מעריך כל מיקום באזור העניין (ROI). האיטי ביותר אך מובטח שימצא את ההתאמה הטובה ביותר.

image.SEARCH_DS: int#

חיפוש יהלום – חיפוש מגס-לעדין שמהיר בהרבה מ-SEARCH_EX אך עלול לפספס את האופטימום הגלובלי בתבניות בעלות דמיון-עצמי גבוה.

זיהוי קצוות#

העבר אחד מהבאים כארגומנט ה-algorithm ל-Image.find_edges().

image.EDGE_CANNY: int#

מזהה קצוות Canny – עוצמת גרדיאנט + דיכוי לא-מקסימום + היסטרזיס. איכותי יותר, איטי יותר.

image.EDGE_SIMPLE: int#

מזהה קצוות מבוסס מסנן מעביר-גבוהים עם סף. מהיר יותר אך מייצר קצוות עבים ורועשים יותר מ-EDGE_CANNY.

מזהי פינות ORB#

העבר אחד מהבאים כארגומנט ה-corner_detector ל-Image.find_keypoints().

image.CORNER_FAST: int#

מזהה פינות FAST. מהיר יותר מ-CORNER_AGAST אך פחות מדויק.

image.CORNER_AGAST: int#

מזהה פינות AGAST. איטי יותר מ-CORNER_FAST אך מייצר נקודות מפתח יציבות יותר.

משפחות AprilTag#

בצע Bit-OR על כל שילוב של הבאים והעבר כארגומנט ה-families ל-Image.find_apriltags(). כל משפחה מותנית באפשרות בילד משלה בקושחה; משפחות שאינן נתמכות נעדרות בזמן ריצה במקום להיות תמיד-אפס.

image.TAG16H5: int#

משפחת AprilTag ‏16h5 ‏(30 מזהים ייחודיים, תיקון שגיאות של 0 ביט).

image.TAG25H9: int#

משפחת AprilTag ‏25h9 ‏(35 מזהים ייחודיים, תיקון שגיאות של עד 3 ביט).

image.TAG36H10: int#

משפחת AprilTag ‏36h10 ‏(2320 מזהים ייחודיים, תיקון שגיאות של עד 3 ביט).

image.TAG36H11: int#

משפחת AprilTag ‏36h11 ‏(587 מזהים ייחודיים, תיקון שגיאות של עד 4 ביט). המשפחה הנפוצה ביותר.

image.TAGCIRCLE21H7: int#

משפחת AprilTag ‏Circle21h7.

image.TAGCIRCLE49H12: int#

משפחת AprilTag ‏Circle49h12.

image.TAGCUSTOM48H12: int#

משפחת AprilTag ‏Custom48h12.

image.TAGSTANDARD41H12: int#

משפחת AprilTag ‏Standard41h12.

image.TAGSTANDARD52H13: int#

משפחת AprilTag ‏Standard52h13.

סימבולוגיות ברקוד#

הערכים המדווחים ב-BarCode.type עבור רשומות שמוחזרות על ידי Image.find_barcodes().

image.EAN2: int#

ברקוד משלים EAN-2.

image.EAN5: int#

ברקוד משלים EAN-5.

image.EAN8: int#

ברקוד EAN-8.

image.UPCE: int#

ברקוד UPC-E.

image.ISBN10: int#

ברקוד ISBN-10.

image.UPCA: int#

ברקוד UPC-A.

image.EAN13: int#

ברקוד EAN-13.

image.ISBN13: int#

ברקוד ISBN-13.

image.I25: int#

ברקוד Interleaved 2-of-5.

image.DATABAR: int#

ברקוד GS1 DataBar.

image.DATABAR_EXP: int#

ברקוד GS1 DataBar Expanded.

image.CODABAR: int#

ברקוד Codabar.

image.CODE39: int#

ברקוד Code 39.

image.PDF417: int#

ברקוד דו-ממדי מוערם PDF417. הקבוע קיים לשם שלמות, אך מפענח הברקוד אינו מיישם כיום את PDF417 – Image.find_barcodes() לא יחזיר זיהויים מסוג זה.

image.CODE93: int#

ברקוד Code 93.

image.CODE128: int#

ברקוד Code 128.