v5.0.0#

v5.0.0 is een grote release. De belangrijkste punten: de opnieuw opgebouwde OpenMV Protocol V2 hostverbinding, een op klassen gebaseerde csi-camera-API die opschaalt naar borden met meerdere camera’s, een uitvoerbare simulator-target, MoveNet single-pose-schatting, MicroPython 1.28 en een grote reeks camera-, ML- en ToF-fixes. Het bevat ook een aantal breaking API-wijzigingen — elke voor de gebruiker zichtbare wijziging sinds v4.8.1 staat hieronder vermeld, samen met precies hoe je migreert.

Hoogtepunten#

  • OpenMV Protocol V2. De host/IDE-verbinding is volledig opnieuw opgebouwd: opgedeeld in frames, gesequenced, CRC-gecontroleerd, met gemultiplexte kanalen voor stdio, de stream-preview en gebruikersdata. Een nieuwe protocol-module laat scripts hun eigen transports en datakanalen maken. Zie de wijzigingen in de protocol-module.

  • Op klassen gebaseerde csi camera-API. import sensor wordt import csi / csi.CSI, met native ondersteuning voor meerdere camera’s. Zie de csi-migratie.

  • Simulator-target. De firmware bouwt en draait nu onder de Arm FVP / QEMU-simulator (MPS2/MPS3), inclusief NPU-, ROMFS- en PSRAM-emulatie — vision- en ML-scripts kunnen draaien zonder dat er hardware is aangesloten.

  • MoveNet pose-schatting. Een nieuwe MoveNet-postprocessor plus een meegeleverd movenet_singlepose_192.tflite-model op de OpenMV AE3 en N6.

  • MicroPython 1.28 en ulab 6.12.0, ST Edge AI 4.0-tooling en de geëxternaliseerde OpenMV SDK (zie de build-/tooling-wijzigingen).

Nieuwe functies#

Overige wijzigingen en verbeteringen#

  • MicroPython bijgewerkt naar 1.28.0 vanaf de v4.8.1-basis. Voegt high-speed SD-kaartmodus toe op H5/H7/N6, AHB5-klokken in low-power-modus en bestuurbare JTAG-pinnen als GPIO’s op de OPENMV_AE3.

  • ulab bijgewerkt naar 6.12.0 — native %-operator op ndarrays (de ml.utils.mod()-helper is verwijderd; zie de wijzigingen in de ML-bibliotheek).

  • ST Edge AI-tooling bijgewerkt naar 4.0 — beïnvloedt on-device ST-modelcompilatie en -deployment.

  • ml.Model — het load_to_fb-keyword-argument is verwijderd; modelgeheugen wordt automatisch beheerd door de unified allocator.

  • image.Image.scale() in place — een afbeelding in place opschalen (bijvoorbeeld img.scale(x_scale=2.0, y_scale=2.0)) laat de framebuffer nu groeien om te passen in plaats van te falen.

  • Grotere stdio-buffer — de standaard tekstbuffer naar de IDE groeide van 512 naar 1024 bytes op OpenMV 2/3/4, Nicla Vision, AE3 en N6, zodat grotere print()-bursts niet worden afgekapt.

  • Soepelere host-event-flow — stdout-NOTIFY-events naar de host worden begrensd tot ten hoogste één per host-lezing in plaats van één per print() die de watermarkering van de ringbuffer overschrijdt.

  • Onderbreekbare langlopende bewerkingen — langlopende wachtlussen voor afbeelding-tekenen, GPU (Nema/Dave2D) en NPU verwerken events nu op een deterministisch interval, zodat scripts responsief blijven voor de Stop-knop van de IDE tijdens zwaar werk.

Bugfixes#

Camera en sensoren:

  • find_apriltags() corrumpeert resultaten niet langer op D-cache-/GPU-borden (N6, AE3), en werkt nu op de AE3.

  • Bayer-afbeeldingsuitvoer van de STM32 N6 ISP na het wisselen van pixelformaten gerepareerd.

  • Groene auto-white-balance-overbelichting bij heldere scènes gerepareerd, evenals een niet-geïnitialiseerd AWB-stats-geval bij het eerste frame; de gamma-clamp van de STM32 ISP verhoogd (32 naar 63) voor een groter gamma-/contrast-/helderheidsbereik.

  • PS5520-auto-belichting oscilleert niet langer bij fel licht; het PAG7936 AEC/AGC-gedrag is herzien (gecombineerde besturing, gecorrigeerd versteringsplafond).

  • OV5640-autofocus-firmware-upload hersteld op Portenta/Nicla (MIMXRT I2C SUSPEND-fix).

  • Een camera-capture-deadlock gerepareerd wanneer een framerate-limiet wordt gecombineerd met JPEG-capture (STM32).

  • GenX320 csi.IOCTL_GENX320_READ_EVENTS_RAW-lezingen verstoren de IDE-preview niet langer.

  • FLIR Lepton csi.IOCTL_LEPTON_SET_MODE via csi.CSI.ioctl() werkt nu wanneer aangeroepen met een enkel argument.

Beeldverwerking:

  • draw_image() / blend() alpha-blending gerepareerd wanneer een masker wordt meegegeven.

  • 1-bit (BINARY) PNG-encode/decode-bitvolgorde en grijswaarden-uit-1-bit-decodering gerepareerd.

  • mjpeg.Mjpeg-opnameduur/FPS-metadata gerepareerd.

  • Een stack-overflow bij software-JPEG-decodering op borden met een kleine stack (OpenMV M7) gerepareerd.

  • JPEG/PNG-bestandsformaat-autodetectie op niet-ARM-hosts (simulator) gerepareerd.

Time-of-Flight:

ML en systeem:

  • De NPU wordt correct opgeruimd wanneer inferentie wordt onderbroken op de N6.

  • Deep-sleep-/standby-ontwaken hersteld op de N6; de AE3 jump-to-bootloader-hang is gerepareerd.

  • Geheugenlekken bij soft-reset (STM32 Nema GPU) en een voortijdig opgeruimde hulp-framebuffer gerepareerd.

  • Aangepaste Python-protocolkanalen overleven nu een soft-reboot, het USB-transport herstelt van busreset / vastgelopen endpoints, en USB-SOF-interruptoverstroming is gerepareerd.

Hardware- en bordondersteuning#

  • OpenMV N6 — Ethernet ingeschakeld (bedrade netwerken); NPU AXI SRAM (1,75 MB) samengevoegd in een gedeelde transient pool voor meer RAM tussen inferenties; deep-sleep-/standby-ontwaken; meegeleverde TFLite-modellen en Haar Cascades in ROMFS.

  • OpenMV AE3 — meegeleverde modellen en cascades in ROMFS; cbor2 bevroren in de firmware.

  • Alif (AE3, N6) — low-power machine.RTC-ontwaken.

  • AprilTags met hoge resolutie — find_apriltags() op volledige sensorresolutie op de AE3, Arduino Giga en Arduino Portenta H7.

  • Simulator-targets — MPS2_AN500 / MPS3_AN547 (Arm FVP / QEMU), met NPU-, ROMFS- en PSRAM-emulatie.

Breaking API-wijzigingen#

Voor de gebruiker zichtbare API-breaks tussen v4.8.1 en v5.0.0. Scope: Python C-modules in modules/ en Python-bibliotheken in scripts/libraries/.

Elke wijziging is getagd met de impact ervan:

  • major — de meeste scripts hebben aanpassingen nodig.

  • minor — smalle API; betreft alleen scripts die hem gebruikten.

  • behavior — dezelfde API, andere resultaten; controleer afgestelde scripts opnieuw.

  • tooling — betreft alleen het bouwen vanaf de broncode / downstream-forks.

Wijzigingen zijn in die volgorde gegroepeerd op impact — eerst major, dan minor, behavior en tooling. Als je alleen je code wilt porten, ga dan naar de migratiechecklist aan het eind voor een beknopte takenlijst. Elke commit-hash linkt naar de bijbehorende diff op GitHub.

sensor vervangen door csi (major)#

Elk officieel voorbeeld is herschreven om import sensor te laten vallen ten gunste van import csi. De verouderde functionele API op moduleniveau (sensor.reset(), sensor.set_pixformat(), …) wordt vervangen door de op klassen gebaseerde csi.CSI-API, die natuurlijk opschaalt naar borden met meerdere camera’s (csi0, csi1, …) en vereist is voor alle nieuwe functies (de stream=-kwarg, multi-sensor-streaming, …).

De sensor-qstr is nog steeds aangesloten in modules/py_csi.c voor achterwaarts compatibele firmware-builds, maar krijgt geen nieuwe functies, en alle voorbeelden, documentatie en bibliotheekcode gaan nu uit van csi.

Commits: 945c5853c, 61f835b7e

Module naar klasse

Voorheen (sensor):

import sensor
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)
img = sensor.snapshot()

Daarna (csi):

import csi
csi0 = csi.CSI()
csi0.reset()
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.QVGA)
csi0.snapshot(time=2000)
img = csi0.snapshot()

Setter/getter-paren samengevoegd tot gecombineerde accessors

In de nieuwe API geeft een methode die zonder argumenten wordt aangeroepen de huidige waarde terug; aangeroepen met een waarde stelt deze in. De set_*/get_*-prefixen zijn weg. Methodenamen verloren ook het ing-achtervoegsel waar dat overbodig was (windowing → window). De kolom met de nieuwe API linkt naar de referentiedocumentatie.

sensor (oud)

csi.CSI (nieuw)

set_pixformat(fmt) / get_pixformat()

pixformat([fmt])

set_framesize(sz) / get_framesize()

framesize([sz])

set_framerate(fps) / get_framerate()

framerate([fps])

set_windowing(roi) / get_windowing()

window([roi])

set_framebuffers(n) / get_framebuffers()

framebuffers([n])

set_gainceiling(g)

gainceiling([g])

set_brightness(v)

brightness([v])

set_contrast(v)

contrast([v])

set_saturation(v)

saturation([v])

set_quality(v)

quality([v])

set_colorbar(b)

colorbar([b])

set_special_effect(e)

special_effect([e])

set_lens_correction(...)

lens_correction(...)

set_hmirror(b) / get_hmirror()

hmirror([b])

set_vflip(b) / get_vflip()

vflip([b])

set_transpose(b) / get_transpose()

transpose([b])

set_auto_rotation(b) / get_auto_rotation()

auto_rotation([b])

set_auto_gain(b, [db, ceiling]) / get_gain_db()

auto_gain(...) / gain_db()

set_auto_exposure(b, [us]) / get_exposure_us()

auto_exposure(...) / exposure_us()

set_auto_whitebal(b, [rgb]) / get_rgb_gain_db()

auto_whitebal(...) / rgb_gain_db()

set_auto_blc(b, [regs]) / get_blc_regs()

auto_blc(...) / blc_regs()

set_color_palette(p) / get_color_palette()

color_palette([p])

set_frame_callback(cb)

frame_callback(cb)

set_vsync_callback(cb)

vsync_callback(cb)

get_id()

cid()

Functies zonder direct equivalent

sensor (verwijderd)

Wat in plaats daarvan te gebruiken

sensor.alloc_extra_fb(w, h, pixfmt) / sensor.dealloc_extra_fb()

image.Image (w, h, pixfmt) — een gewone, op de heap toegewezen afbeelding. De framebuffer wordt niet langer opgedeeld voor gebruikersbuffers.

sensor.skip_frames(time=..., frames=...)

csi.CSI.snapshot() — skip-frames is gevouwen in snapshot via de time= / frames=-argumenten.

sensor.disable_delays(...) / sensor.disable_full_flush(...)

Verplaatst naar de csi.CSI-constructor: csi.CSI(delays=False) / csi.CSI(fflush=False).

sensor.get_frame_available()

csi.CSI.readable()

sensor.get_fb()

Verwijderd. De afbeelding die door csi.CSI.snapshot() wordt teruggegeven is het canonieke handle.

sensor.set_framebuffers(n, expand=True)

csi.CSI.framebuffers() — het expand-argument is verwijderd (zie de csi-vervolgwijzigingen).

Nieuw op csi.CSI

  • csi.CSI(stream=True|False) — een selector tijdens de constructie die kiest welke CSI de preview-framebuffer voedt (vervangt de update=-kwarg per snapshot, zie de csi-vervolgwijzigingen).

  • csi.CSI(cid=N) / csi.devices() — multi-CSI-ondersteuning voor borden met meer dan één beeldsensor.

image-module — herziening van de handtekeningen (major)#

De image-module onderging na csi de grootste API-wijziging — teken-handtekeningen, resultaatobjecten en verschillende detectoren veranderden allemaal.

Coördinaatargumenten moeten tuples zijn

modules/py_image.c is herschreven bovenop mp_arg_parse_all. Alle teken-/pixelmethoden die voorheen afzonderlijke x, y, ...-positionele argumenten namen, vereisen nu dat die coördinaten in een enkele tuple worden verpakt.

Commits: d18bbc472, 0c60c94b9 (PR #3061)

Voorheen

Daarna

img.draw_arrow(x0, y0, x1, y1, color=...)

img.draw_arrow((x0, y0, x1, y1), color=...)

img.draw_line(x0, y0, x1, y1, ...)

img.draw_line((x0, y0, x1, y1), ...)

img.draw_cross(x, y, ...)

img.draw_cross((x, y), ...)

img.draw_circle(x, y, r, ...)

img.draw_circle((x, y, r), ...)

img.draw_rectangle(x, y, w, h, ...)

img.draw_rectangle((x, y, w, h), ...)

img.draw_string(x, y, "txt", ...)

img.draw_string((x, y), "txt", ...)

img.draw_ellipse(x, y, rx, ry, rot, ...)

img.draw_ellipse((x, y, rx, ry, rot), ...)

img.flood_fill(x, y, ...)

img.flood_fill((x, y), ...)

img.get_pixel(x, y, rgbtuple=...)

img.get_pixel((x, y), rgbtuple=...)

img.set_pixel(x, y, color)

img.set_pixel((x, y), color)

Het zijn allemaal methoden van image.Image.

Resultaatobjecten omgezet naar attrtuple

Deze types zijn nu MicroPython attrtuple-objecten: similarity, statistics, percentile, threshold, line, circle, rect, qrcode, apriltag, datamatrix, barcode, displacement, kptmatch. Attribuuttoegang zonder haakjes is nu de canonieke vorm.

Commit: 3399d302e

Voorheen (methode-stijl):

img.draw_cross(match.cx(), match.cy())
img.draw_rectangle(blob.rect())

Daarna (attribuut-stijl):

img.draw_cross((match.cx, match.cy))
img.draw_rectangle(blob.rect)

blob en histogram zijn ongewijzigd — ze behouden hun bestaande types en ()-accessors (een attrtuple kan de lazy berekende waarden van een blob of de argument-nemende accessors van een histogram niet uitdrukken).

find_features haar-parameter hernoemd

image.Image.find_features() — scale_factor= is hernoemd naar scale=.

Commit: be4c5cd73

get_regression — nu altijd robuust, target_size toegevoegd

image.Image.get_regression() gebruikt nu altijd de robuuste (Theil-Sen) regressie. Het oude snelle least-squares-pad is verwijderd, dus het robust=-keyword is weg — wat voorheen robust=True vereiste is nu het enige gedrag. Een nieuwe target_size=(w, h)-kwarg (standaard (80, 60)) schaalt het aandachtsgebied (ROI) qua oppervlak omlaag vóór de O(N^2) Theil-Sen-fit zodat deze altijd op een verstandige afbeeldingsgrootte draait; de eindpunten van de gefitte lijn worden teruggemapt naar broncoördinaten. Het voorbeeld linear_regression_robust.py is verwijderd en linear_regression_fast.py is hernoemd naar linear_regression.py.

Commits: c7c2e69a0, 0ff2afa72

find_line_segments — nieuw algoritme

image.Image.find_line_segments() — de oude LSD-detector is vervangen door ED-Lines, en hij kreeg een nieuwe threshold=50-kwarg. De uitvoer van eerder afgestelde scripts zal verschillen.

Commits: 87da2a7b7, 2c47b5735

AprilTag-bibliotheek vervangen

image.Image.find_apriltags() — de AprilTag-detector is vervangen door een nieuwe implementatie. De familieset is veranderd:

Verwijderd

Toegevoegd

image.TAG25H7, image.ARTOOLKIT

image.TAGCIRCLE21H7, image.TAGCIRCLE49H12, image.TAGCUSTOM48H12, image.TAGSTANDARD41H12, image.TAGSTANDARD52H13

Commit: e813bada7

csi-module vervolg (minor)#

Kleinere csi-vervolgwijzigingen bovenop de csi-migratie.

snapshot(update=…) verwijderd

De update-kwarg op csi.CSI.snapshot() is weg. Om te voorkomen dat een CSI-apparaat de preview-framebuffer voedt, kies je bij de constructie ervoor om af te zien:

csi0 = csi.CSI(stream=False)                  # was: csi0.snapshot(update=False)
csi1.snapshot(blocking=False, image=fir_img)  # was: ...(update=False, ...)

Commits: 9a8077827, 26b79a2c5

framebuffers() expand-argument verwijderd

csi.CSI.framebuffers() — het derde positionele argument (expand) is weg; de handtekening is nu framebuffers([count]).

Commit: 86cb3a5de

protocol-module (minor)#

Betreft alleen scripts die de hostverbinding rechtstreeks aanstuurden. Zie protocol.

timer_ms hernoemd naar poll_ms

protocol.init() — het timer_ms-argument is hernoemd naar poll_ms.

protocol.init(..., poll_ms=10)   # was: timer_ms=10

Commits: 8a0635e8c, 95a290607

protocol.poll() verwijderd

De protocoltaak wordt nu intern gepland. Aanroepen van protocol.poll() werpen een AttributeError.

Commit: 8a0635e8c

soft_reboot config-argument verwijderd

protocol.init() — het soft_reboot-argument is weg. Alle huidige transports tolereren soft-reboots, dus het gedrag is nu onvoorwaardelijk.

Commit: 0bf766aa2

display-modules (minor)#

TV-uitvoer gaat nu via een display.TVDisplay-object in plaats van de losstaande tv-module. display kreeg ook een generieke ioctl().

Commits: f0accb389, 1a5a87121, 920c097a0, 9eac55098

tof-module (behavior)#

Dezelfde API als voorheen; de standaardwaarden en foutafhandeling zijn veranderd. Zie tof.

Standaard-timeout gewijzigd

tof.read_depth() en tof.snapshot() (aangeroepen met timeout=-1) gaan nu standaard uit van 100 ms in plaats van onbepaald te wachten. Geef een expliciet grotere waarde mee als je het oude gedrag nodig hebt.

Commit: b6772b80d

Automatisch herstel

De driver hard-reset nu de I2C-bus en de sensor bij afstandsmeet-/timeoutfouten. Voorbeelden roepen tof.reset() niet langer aan in hun exception-handlers — gebruikerscode die handmatig herstel deed moet dit verwijderen (het zal botsen met het nieuwe auto-herstel).

Commits: b6772b80d, 80ffaa5c3

ML-bibliotheek (behavior)#

Dezelfde API, andere getallen — controleer elke afgestelde ML-pipeline opnieuw.

Voorbewerking rekt nu uit in plaats van letterboxen

Normalization gebruikt nu image.SCALE_ASPECT_IGNORE (uitrekken) in plaats van image.SCALE_ASPECT_EXPAND (letterbox). NMS-postprocessing schakelde ook over op onafhankelijke x/y-schaling.

Notitie

Impact. YOLO-achtige detectoren en sleutelpunt-regressors verbeteren over het algemeen. De voorbeelden BlazeFace, BlazePalm, FaceLandmarks en HandLandmarks vereisen nu een handmatige vierkante crop op het invoer-aandachtsgebied (ROI) — de voorbeeldscripts zijn bijgewerkt; aangepaste gebruikerscode moet hetzelfde doen.

Commit: 68dc29a33

ml.utils.mod()-helper verwijderd

ulab 6.12.0 ondersteunt % op ndarrays native. Code die mod importeerde uit ml.utils moet a % b gebruiken.

Commits: 35ece5728, 82fbd858c

Build / tooling (tooling)#

Niets hiervan beïnvloedt MicroPython-scripts. Firmware bouwen vanaf de broncode vereist nu de externe OpenMV SDK (1.6.0, voorheen in-tree). Verschillende in-tree-buildtools zijn verwijderd en de N6 is overgestapt op de TinyUSB-stack; downstream-forks zouden de geschiedenis van de firmware-repository moeten doornemen — met name de file_open()-handtekening die het buffered-argument laat vallen.

Migratiechecklist#

Voor een schone port naar v5.0.0 is het typische werk:

  1. Vervang import sensor door import csi; csi0 = csi.CSI() en vertaal elke set_*/get_*-aanroep naar de bijbehorende csi.CSI-accessor (de csi-migratie).

  2. Verpak coördinaatargumenten aan img.draw_*, get_pixel() en set_pixel() in tuples (de wijzigingen in de image-module).

  3. Laat () weg bij attrtuple-resultaataccessors als je de nieuwe idiomatische vorm wilt, of laat de oude stijl met rust aangezien attrtuples nog steeds aanroepbare accessors ondersteunen (de wijzigingen in de image-module).

  4. Controleer find_line_segments(), get_regression() en elke keuze in de find_apriltags()-familie (de wijzigingen in de image-module).

  5. Hernoem timer_ms → poll_ms in protocol.init()-aanroepen; verwijder protocol.poll() en soft_reboot= (de wijzigingen in de protocol-module).

  6. Voor ML-workflows: bekijk elk model opnieuw dat letterboxed invoer nodig had (de wijzigingen in de ML-bibliotheek).