v4.8.0

v4.8.0 เป็นรุ่นที่มีฟีเจอร์หลักสำคัญ ไฮไลต์ได้แก่: โมดูลกล้อง csi แบบคลาสใหม่พร้อมรองรับหลายกล้อง, บอร์ด OpenMV N6 (STM32N6) พร้อม Neural-ART NPU, แบ็กเอนด์การอนุมานด้วย NPU, โหมด RAW event ของกล้อง GenX320, โมดูล crc ใหม่, ไลบรารี ML post-processing ที่จัดใหม่, และ MicroPython 1.26 นอกจากนี้ยังลบ API เดิมบางส่วน ได้แก่ โมดูล buzzer และการควบคุม FLIR Lepton ในโมดูล fir — โปรดอ่านการเปลี่ยนแปลงที่ทำให้โค้ดเดิมใช้ไม่ได้ด้านล่าง

ไฮไลต์

  • โมดูลกล้อง csi ใหม่ — API แบบคลาส csi.CSI พร้อมรองรับกล้องหลายตัวพร้อมกัน นำเสนอควบคู่กับโมดูล sensor เดิม

  • OpenMV N6 — บอร์ด STM32N6 พร้อม Neural-ART NPU, triple buffering, Soft-CSI และโมดูล ToF

  • การอนุมานด้วย NPU — แบ็กเอนด์ ST Neural-ART (STAI) สำหรับการอนุมานโมเดลที่เร่งด้วยฮาร์ดแวร์

  • โหมด event ของ GenX320 — เอาต์พุต RAW event พร้อม draw_event_histogram() สำหรับการเรนเดอร์กล้อง event

  • ML post-processing ที่จัดใหม่ — แพ็กเกจย่อยของผู้จำหน่าย (ml.postprocessing.ultralytics, mediapipe, edgeimpulse, darknet) พร้อมตัวตรวจจับ BlazeFace / BlazePalm / มือและจุดสำคัญบนใบหน้าใหม่

  • โมดูล crc ใหม่ — CRC-16 / CRC-32 เร่งด้วยฮาร์ดแวร์

  • MicroPython อัปเดตเป็น 1.26.0

  • การเปลี่ยนแปลงที่ทำให้โค้ดเดิมใช้ไม่ได้: โมดูล buzzer และการควบคุม Lepton ในโมดูล fir ถูกลบออก (Lepton กลายเป็นกล้องปกติแล้ว) ดู การเปลี่ยนแปลง fir/Lepton และ การลบ buzzer

ฟีเจอร์ใหม่

  • โมดูลกล้อง csi ใหม่ — ออบเจกต์ csi.CSI แบบคลาสพร้อมรองรับกล้องพร้อมกันหลายตัว (สูงสุดสามตัวบน N6), สแนปช็อตแบบ non-blocking, ขนาดเฟรม (w, h) กำหนดเองได้, และ print() / repr ที่ให้ข้อมูลครบถ้วน นำเสนอควบคู่กับโมดูล sensor เดิม (ไม่ใช่ตัวแทนแบบ drop-in)

  • crc — crc.crc16() และ crc.crc32() เร่งด้วยฮาร์ดแวร์พร้อม software fallback บน OpenMV N6 และ AE3

  • image.Image.draw_image() ได้รับคีย์เวิร์ด transform= ใหม่ (เมทริกซ์ ndarray float 2 มิติสำหรับการบิดเบือนแบบ affine/perspective เร่งด้วย GPU บน STM32 และ Alif) โดย transform เดียวกันนี้ใช้ได้ในการแปลงภาพด้วย

  • draw_event_histogram() — เรนเดอร์ฮิสโตแกรมของกล้อง event

  • โหมด RAW event ของ GenX320 — csi.IOCTL_GENX320_SET_MODE พร้อม csi.GENX320_MODE_HISTO / csi.GENX320_MODE_EVENT, csi.IOCTL_GENX320_READ_EVENTS, csi.IOCTL_GENX320_CALIBRATE, ค่าคงที่ประเภท event และสคริปต์ตัวอย่างใหม่

  • ML — แบ็กเอนด์ NPU ST Neural-ART (STAI); ml.Model ได้รับคีย์เวิร์ด postprocess= (post-processor ทำงานอัตโนมัติภายใน predict() แม้ไม่มี callback); ml.postprocessing ถูกจัดใหม่เป็นแพ็กเกจย่อยของผู้จำหน่าย ได้แก่ ml.postprocessing.ultralytics (YoloV5, YoloV8), ml.postprocessing.darknet (YoloV2, YoloLC), ml.postprocessing.edgeimpulse (Fomo), และ ml.postprocessing.mediapipe (BlazeFace, BlazePalm, HandLandmarks, FaceLandmarks) — ชื่อแบบ snake_case เดิมยังคงเป็น alias; เพิ่ม ml.utils.draw_keypoints() และ ml.utils.draw_skeleton(); โมเดล ROMFS ที่รวมมาเพิ่มขึ้น (BlazeFace, YOLO-LC, YOLOv8n, landmark ของฝ่ามือ/มือ/ใบหน้า)

  • audio — อินพุตไมโครโฟนดิจิทัล MDF บน STM32N6

  • จอแสดงผล — ไดรเวอร์ SSD1351 OLED และตัวอย่าง; คอนโทรลเลอร์ SPIDisplay สามารถแทนที่คำสั่ง init ได้; ตัวสร้าง SPI display ได้รับคีย์เวิร์ด hmirror / vflip

  • Profiler บนอุปกรณ์ — ตัวนับรอบ/เหตุการณ์ SysTick + Armv8.1-M PMU พร้อม instrumentation ระดับฟังก์ชัน อ่านได้ผ่านลิงก์ debug (pyopenmv ได้รับการรองรับ profiling และสัญลักษณ์ ELF)

  • รองรับ sensor ใหม่ — PixArt PS5520; FLIR BOSON บน OpenMV H7 Plus; GenX320 auto-detect

การเปลี่ยนแปลงและการปรับปรุงอื่น ๆ

  • MicroPython อัปเดตเป็น 1.26.0

  • การเริ่มต้นกล้อง — นาฬิกา sensor ถูกแยกออกจากสถานะ CSI, การตรวจจับกล้องตอนบูตเร็วขึ้น (ลองการกำหนดค่าที่ใช้บ่อยที่สุดก่อน) และนาฬิกาเริ่มต้นของ OpenMV 3 OV7725 ได้รับการแก้ไขแล้ว

  • คุณภาพภาพ — การแก้ไข gamma ด้วย software ISP (Alif และ STM32) และการแก้ไขพิกเซลเสีย (STM32) เปิดใช้งานโดยค่าเริ่มต้น; sensor PAG7936 และ PS5520 ได้รับการควบคุม auto-white-balance

  • ประสิทธิภาพ — image.Image.to_ndarray() เร่งด้วย Helium SIMD และ FOMO post-processor ถูก vectorize ด้วย ulab

  • ไดรเวอร์ FLIR Lepton เขียนใหม่ เพื่อรับเฟรมแบบ asynchronous ในเบื้องหลัง — การหมุน/transpose ใช้งานได้แล้ว, การวาดขยายแบบ bilinear และการ reset เร็วขึ้น

  • ปริมาณงาน Capture — i.MX RT1062 CSI ใช้ DMA offload เต็มรูปแบบแล้ว และ STM32 N6 มี draw_image() ด้วย hardware-GPU

การแก้ไขบัก

กล้องและ sensor:

  • แก้ไขโหมด RGB565 / GRAYSCALE / BAYER / YUV422 บน sensor STM32, PAJ6100 บน OpenMV H7 / H7 Plus, OpenMV 2 QVGA RGB565 และการกำหนดค่า mono / RGB-YUV ของ N6 CSI; กล้องทดสอบซอฟต์แวร์ตอนนี้ reset ได้อย่างแน่นอน

  • Auto-white-balance ไม่ทำให้ภาพเป็นสีเขียวอีกต่อไปที่อัตราเฟรมต่ำหรือแปรผัน (ค่าเฉลี่ยเคลื่อนที่ 250 มิลลิวินาทีแทนการสุ่มตัวอย่างทุก 100 เฟรม) และแก้ไขการกะพริบของความสว่าง PS5520 แล้ว

การประมวลผลภาพ:

  • แก้ไขข้อบกพร่องในการเรนเดอร์เส้น; image.Image.flush() ตอนนี้ flush บัฟเฟอร์ JPEG ของภาพที่ถูกเรียก; Normalization ตอนนี้ใช้ mean/stdev กับ float input; การจัดสรรภาพจากไฟล์ได้รับการแก้ไขแล้ว

การ capture ของกล้อง:

  • แก้ไขความเสียหายของภาพร้ายแรงบนการถ่ายโอนแบบ non-JPEG (frame interrupt เปิดใช้งานเฉพาะในโหมด JPEG เท่านั้น), รองรับ JPEG mode-3 และการล็อกของ DMA line-size และ small-buffer บน STM32; การซิงค์ VOSPI / Lepton เชื่อถือได้มากขึ้น โดยเฉพาะบน N6

เบ็ดเตล็ด:

  • omv.board_id() คืนค่า UID ที่ถูกต้องบน RT1060; YoloV2 ไม่ crash เมื่อสร้างโดยไม่ระบุ anchors อีกต่อไป

ฮาร์ดแวร์และการรองรับบอร์ด

  • OpenMV N6 — STM32N6 พร้อม Neural-ART NPU, triple buffering, SPI LCD/TV output, Soft-CSI, โมดูล tof และโมเดล ROMFS ที่รวมมา

  • Arduino GIGA — เอาต์พุตจอแสดงผล MIPI DSI

  • Sensor ใหม่ — PixArt PS5520; FLIR BOSON บน OpenMV H7 Plus; GenX320 auto-detect

  • OpenMV Pure Thermal — FLIR Lepton กลายเป็น sensor กล้อง (รอง) ปกติแล้ว

  • Alif AE3 — การแก้ไข gamma ด้วย software ISP, โมดูล crc และการแก้ไข SPI

การเปลี่ยนแปลง API ที่ทำให้โค้ดเดิมใช้ไม่ได้

การเปลี่ยนแปลง API ที่ผู้ใช้มองเห็นได้ระหว่าง v4.7.0 และ v4.8.0 ขอบเขต: C-module ของ Python ใน modules/ และไลบรารี Python ใน scripts/libraries/

การเปลี่ยนแปลงแต่ละรายการถูกแท็กด้วยผลกระทบ:

  • major — สคริปต์ส่วนใหญ่ที่ใช้มันต้องแก้ไข

  • minor — API แคบ; ส่งผลเฉพาะสคริปต์ที่ใช้งาน

  • behavior — API เดิม ผลลัพธ์ต่างกัน; ตรวจสอบสคริปต์ที่ปรับแต่งแล้วอีกครั้ง

  • tooling — ส่งผลเฉพาะเครื่องมือ host / การ build จากซอร์ส

การเปลี่ยนแปลงถูกจัดกลุ่มตามผลกระทบตามลำดับนั้น — major ก่อน, จากนั้น minor, behavior และ tooling หากต้องการย้ายโค้ดเท่านั้น ข้ามไปที่ รายการตรวจสอบการย้าย ที่ท้ายสุดสำหรับรายการสรุป แต่ละ commit hash เชื่อมโยงไปยัง diff บน GitHub

FLIR Lepton ย้ายออกจากโมดูล fir (major)

FLIR Lepton ตอนนี้ถูกขับเคลื่อนเป็น sensor กล้องปกติแทนที่จะผ่านโมดูล fir การควบคุม Lepton ถูกลบออกจาก fir: ประเภท FIR_LEPTON และเมธอด radiometric(), register_vsync_cb(), register_frame_cb(), get_frame_available() และ trigger_ffc() ถูกลบออก ให้ capture Lepton เหมือนกล้องอื่น ๆ (ปรากฏเป็น sensor รองบน OpenMV Pure Thermal); ตัวอย่าง Pure Thermal ถูกเขียนใหม่เป็น API ใหม่ sensor fir ที่ไม่ใช่ Lepton (Grid-EYE, MLX, AMG8833) ไม่มีการเปลี่ยนแปลง

Commits: bacfb7aeb, 117710566, 592a22902, 1a614202e

โมดูล buzzer ถูกลบออก (minor)

โมดูล buzzer ถูกลบออกจาก port STM32 และ i.MX RT ให้ขับ buzzer ด้วย machine.PWM แทน; เพิ่มตัวอย่าง buzzer Pure Thermal โดยใช้ PWM

Commits: ccb947924, 444120f2d

omv.disable_fb() ถูกลบออก (minor)

ฟังก์ชัน omv.disable_fb() ถูกลบออก; การสตรีมบัฟเฟอร์เฟรมถูกควบคุมผ่าน camera API แล้ว สคริปต์ desktop RPC เดิมที่อาศัยมันก็ถูกลบออกด้วย

Commits: 84c3db58a, 6fe99051c

csi เป็นโมดูลใหม่ — API ยังไม่ถูกตรึง (minor)

โมดูล csi ถูกนำเสนอใน v4.8.0 และ API มีการพัฒนาระหว่างการออกรุ่น: csi.fb() ถูกลบออก และ csi.CSI.snapshot() (image=...) ตอนนี้ต้องการภาพที่ แก้ไขได้ และวาด/ปรับขนาดเฟรมที่ capture ลงในภาพนั้นแทนการ deep copy แบบ raw ผู้ที่รับรุ่นใหม่ของโมดูลนี้ก่อนใครควรทดสอบใหม่; sensor API เดิมไม่ได้รับผลกระทบ

Commits: 0bc0385eb, 8cd7a309f

โหมดสตรีมและ close() ของ image.ImageIO (minor)

image.ImageIO — อาร์กิวเมนต์ mode ตอนนี้รับเฉพาะตัวพิมพ์เล็ก 'r' / 'w' (ตัวพิมพ์ใหญ่จะถูกปฏิเสธพร้อมข้อความแสดงข้อผิดพลาดที่อัปเดต) และการเปิดด้วย 'w' จะ truncate/สร้างไฟล์ใหม่เสมอแทนที่จะรักษาสตรีมที่มีอยู่ ImageIO.close() ตอนนี้ทำงานแบบ idempotent (การปิดสตรีมที่ปิดแล้วจะไม่ raise) และคืนค่า None แทนออบเจกต์สตรีม

Commits: 715c4cbba, 21ceec422

ค่าที่ส่งกลับของ BlazeFace / BlazePalm (minor)

post-processor BlazeFace และ BlazePalm (ใหม่ในรุ่นนี้) ตอนนี้คืนรายการกรอบล้อมรอบเดียวแทนรายการต่อคลาสเต็ม — ผู้เรียกจะ index ผลลัพธ์โดยตรงแทน [0]

Commit: 75e16b573

ML post-processor callback รับ raw tensor (behavior)

callback post-process ของ ml.Model predict() ตอนนี้รับการอ้างอิง output-tensor แบบ raw (quantized) แทน ndarray float ที่แปลงล่วงหน้า — เพื่อหลีกเลี่ยงการใช้หน่วยความจำหมดบนโมเดลขนาดใหญ่ หากไม่มี callback ระบุ ndarray float ยังคงถูกส่งกลับ callback กำหนดเองต้อง dequantize tensor เอง (post-processor ในตัวทำสิ่งนี้อยู่แล้ว)

Commit: 84e6ee650

นาฬิกา sensor แยกจากสถานะ CSI (behavior)

นาฬิกา sensor ตอนนี้เป็นอิสระจากสถานะ CSI set_clock / set_frequency กำหนดค่านาฬิกาใหม่เฉพาะเมื่อความถี่ที่ร้องขอต่างจากค่าที่ยอมรับได้ และ get_clk_frequency รับ boolean เพื่อคืนความถี่ที่แน่นอน (แทนค่าที่กำหนด) นาฬิกาเริ่มต้นคือ 24 MHz บน OpenMV N6 และ AE3 ดังนั้นไม่จำเป็นต้องเรียก set_clock() ตอนบูต สคริปต์ที่สลับนาฬิกาสำหรับการ capture ที่ไวต่อเวลาควรตรวจสอบสมมติฐานใหม่

Commits: 2040a0a00, 09c0052df, 66ade9aea, 7e0a251bc, e6f43f3ca

โปรโตคอล USB debug และ firmware target (tooling)

ไม่มีสิ่งใดนี้ส่งผลต่อสคริปต์ MicroPython คำสั่ง USBDBG ที่ล้าสมัย (SCRIPT_SAVE, TEMPLATE_SAVE, DESCRIPTOR_SAVE, ATTR_READ, ATTR_WRITE, TX_INPUT, SET_TIME) ถูกลบออก และคำสั่งที่ไม่รองรับจาก IDE รุ่นเก่าตอนนี้ถูก flush แทนการ crash บอร์ด TinyUSB เมื่อเชื่อมต่อ; firmware target UVC STM32 เดิมถูกลบออก เครื่องมือ host เก่าควรอัปเดต; ดูประวัติ firmware repository สำหรับรายละเอียด

Commits: 90bd11e93, 657c9a632, 35182f035

รายการตรวจสอบการย้าย

สำหรับการย้ายไปยัง v4.8.0 อย่างสะอาด งานทั่วไปคือ:

  1. หากคุณใช้ FLIR Lepton ผ่าน fir ให้เปลี่ยนไปใช้การ capture เป็น sensor กล้อง (การเปลี่ยนแปลง fir/Lepton)

  2. แทนที่การใช้ buzzer ด้วย machine.PWM (การลบ buzzer)

  3. ลบการเรียก omv.disable_fb() (การลบ omv.disable_fb())

  4. สำหรับ image.ImageIO: ใช้ตัวพิมพ์เล็ก 'r'/'w' และคาดหวังว่า 'w' จะ truncate (การเปลี่ยนแปลง ImageIO)

  5. สำหรับ callback ML post-process กำหนดเอง: dequantize การอ้างอิง raw tensor เอง หรืออาศัยเส้นทาง float เริ่มต้น (การเปลี่ยนแปลง callback)

  6. ตรวจสอบสคริปต์ใด ๆ ที่ขับนาฬิกา sensor สำหรับการ capture ที่ไวต่อเวลาอีกครั้ง (การเปลี่ยนแปลงนาฬิกา)