v4.7.0#

v4.7.0 är en större funktionssläpp. I rampljuset: det nya kortet OpenMV AE3 (Alif Ensemble, Cortex-M55 + Ethos-U55 NPU) med en tvåkärnig openamp-programmeringsmodell, ett skrivskyddat ROMFS-filsystem (/rom) med medföljande modeller och kaskader, stöd för VL53L8CX 8x8 time-of-flight, nya YOLOv8- / YOLO-LC-efterbehandlare och MicroPython 1.25. Den ändrar även hur inbyggda modeller och Haar-kaskader läses in, så läs de brytande ändringarna nedan.

Höjdpunkter#

  • OpenMV AE3-kort — Alif Ensemble-kortet (Cortex-M55 + Ethos-U55 NPU), med en fullständig port, startladdare och ROMFS.

  • Tvåkärnig openamp-modul — avlasta arbete till den andra Alif-kärnan över RPMsg (dekoratorn @async_remote, Endpoint/ EndpointIO).

  • ROMFS — ett skrivskyddat /rom-filsystem med inbyggda TFLite-modeller och Haar-kaskader, plus en ny värdbyggare tools/mkromfs.py.

  • VL53L8CX stöd för 8x8 multizon-time-of-flight-sensor.

  • Nya ML-efterbehandlare — yolo_v8_postprocess och yolo_lc_postprocess.

  • MicroPython uppdaterad till 1.25.0.

  • Brytande: inbyggda modeller och Haar-kaskader läses nu in från /rom via sökväg (se ändringen av ml.Model och ändringen av Haar-kaskader).

Nya funktioner#

  • OpenMV AE3 — nytt Alif Ensemble-kort (Cortex-M55-applikationskärna + Ethos-U55 NPU), med port, startladdare, kortkonfiguration, RGB-LED och ROMFS-stöd.

  • openamp — en ny modul för Alif:s tvåkärniga (Open-AMP / RPMsg) RPC-modell: Endpoint, EndpointIO, new_service_callback och dekoratorn @async_remote för att avlasta marshallade funktioner till den andra kärnan. HE/HP-kärnorna levereras med en standardmässig asyncio-baserad _boot.py-uppgiftskörare.

  • audio — Alif-porten lägger till audiomodulen (PDM-mikrofon) med ett återanropsbaserat strömmnings-API (audio.init(channels=, frequency=, gain_db=, buffers=, samples=, overflow=, highpass=)) på AE3.

  • ROMFS — ett skrivskyddat /rom-filsystem med inbyggda tillgångar (TFLite-modeller, Haar-kaskader, …) paketerade per kort, ett nytt värdverktyg tools/mkromfs.py (tflite, tflite+vela, Haar-kaskad, text, binär) och en hjälpmodul scripts/libraries/romfs.py som exponerar ls_romfs().

  • ML-efterbehandling — nya klasser yolo_v8_postprocess (YOLOv8) och yolo_lc_postprocess (lättviktig tiny-YOLOv2-variant med inbäddningsoptimerade standardankare), var och en tar threshold, nms_threshold och nms_sigma.

  • GenX320 antiflimmer — en ny ioctl IOCTL_GENX320_SET_AFK för att aktivera och konfigurera händelsesensorns antiflimmerfilter (min/max flimmerfrekvens i Hz), med ett exempel genx320_grayscale_set_afk.py.

  • VL53L8CX — stöd för 8x8 multizon-time-of-flight-sensorn via tof-modulen (autodetekterad, 8x8 vid 15 Hz).

Övriga ändringar och förbättringar#

  • MicroPython uppdaterad till 1.25.0 (STM32- och i.MX RT-portar), med den uppströms Alif-porten tillagd och äldre BT-HCI-drivrutiner borttagna från STM32- / i.MX RT-portarna.

  • GenX320 — en ny ISSD-sekvens fördubblar den interna pixelklockan (24 → 48 MHz) för högre bildfrekvenser.

  • STM32N6 / ST Edge AI — grundarbete för distribution av STM32N6 Neural-ART-modeller (ST Edge AI-verktyg och ROMFS-stöd).

  • PAG7936 — CSI PHY-bithastigheten ställs nu in, vilket förbättrar driften av den sensorn.

Buggfixar#

Kamera och sensorer:

  • Korrigerade IMU:n över I2C — kort som kopplar LSM6DSx-IMU:n på I2C initierar och läser nu korrekt (I2C-vägen använde tidigare en trasig läsväg och fel konstanter).

  • FLIR Boson-initiering gör nu upp till 10 nya försök för äldre sensorer (< IDD 4.x) som tar ~10 s att starta, och fabriksinställningarna återställs vid återställning så att externt inlästa inställningar inte kan bryta videoutgången.

  • Korrigerade att GenX320 psee_ehc_activate_override skrev fel (noll) ackumuleringstid.

  • På STM32-kort utan FastMode+-maskinvara är begäran om I2C-snabbläge nu korrekt skyddad i stället för att tyst felkonfigurera bussen.

Maskininlärning:

  • Korrigerade insamling av begränsningsrutor och hantering av np.nonzero i YOLOv2- / YOLOv5-efterbehandlarna, vilket förbättrar tillförlitligheten i detektering.

Maskinvara och kortstöd#

  • OpenMV AE3 — nytt Alif Ensemble-kort (Cortex-M55 + Ethos-U55 NPU).

  • VL53L8CX — 8x8 multizon-time-of-flight-sensor; AE3:ns ToF-sensor byttes från VL53L5CX till VL53L8CX.

  • STM32N6 — grundarbete för distribution av ST Edge AI-modeller (Neural-ART).

Brytande API-ändringar#

Användarsynliga API-brytningar mellan v4.6.20 och v4.7.0. Omfattning: Python-C-moduler i modules/ och Python-bibliotek i scripts/libraries/.

Varje ändring är märkt med sin påverkan:

  • major — de flesta skript som använde den behöver redigeras.

  • minor — smalt API; påverkar bara skript som använde det.

  • behavior — samma API, andra resultat; kontrollera trimmade skript igen.

Ändringarna är grupperade efter påverkan i den ordningen. Om du bara vill porta din kod, hoppa till migreringschecklistan i slutet för en komprimerad att-göra-lista. Varje commit-hash länkar till sin diff på GitHub.

Inbyggda modeller läses in via sökväg, inte namn (major)#

ml.Model läser inte längre in en inbyggd modell från en ren namnsträng. Modeller läses nu in från filsystemet / ROMFS via sökväg:

model = ml.Model("/rom/person_detect.tflite")   # was: ml.Model("person_detect")

C-sidans attribut model.labels togs bort; etiketter läses nu in av Python-omslaget ml.Model från en sidofil <model>.txt (None om den saknas). Alla medföljande exempel och ml/apps.py uppdaterades till /rom/*.tflite-sökvägar.

Commits: 978fa436c, 3f55d956c, 416bc4613

Haar-kaskader läses in från ROMFS (minor)#

image.HaarCascade() läser nu in inbyggda kaskader via VFS / ROMFS. Standardkaskadfilen för frontal ansiktsdetektering döptes om från haarcascade_frontalface_default.xml till haarcascade_frontalface.xml, och ett inläsningsfel ger nu RuntimeError (”Failed to load Haar cascade”) i stället för OSError.

Commit: 9de1220d8

tof.reset() / tof.deinit()-semantik (behavior)#

I tof-modulen var reset() tidigare ett alias för init() och det fanns ingen riktig deinit. tof.reset() utför nu en verklig sensoråterställning och tof.deinit() stänger ned sensorn korrekt (med stöd för VL53L5CX-avstängning). Kod som förlitade sig på att reset() återinitierar sensorn bör kontrolleras igen.

Commits: 20d6b53f8, c743cab6a

GenX320 timing och begränsningar för händelseläge (behavior)#

Den nya GenX320 ISSD-sekvensen ändrar sensorns tidsbas: argument för bildfrekvens och exponering uttrycks nu i 1 MHz-enheter i stället för att vara klockskalade, och HSYNC-blankning justeras dynamiskt efter den begärda bildfrekvensen. Skript som hårdkodade GenX320-timingvärden måste trimmas om. Infångning i händelseläge ger nu ett fel när bildtransponering är aktiverad (det stöds inte i den konfigurationen).

Commits: 660a783d6, 7a718c6af

Migreringschecklista#

För en ren portning till v4.7.0 är det typiska arbetet:

  1. Ändra inläsning av inbyggda modeller från en namnsträng till en /rom/<name>.tflite-sökväg, och tillhandahåll etiketter via en sidofil <name>.txt (ändringen av ml.Model).

  2. Uppdatera haarcascade_frontalface_default.xml till haarcascade_frontalface.xml och fånga RuntimeError (inte OSError) vid fel på kaskadinläsning (ändringen av Haar-kaskader).

  3. Ta bort kod som förlitade sig på att tof.reset() återinitierar sensorn (tof-ändringen).

  4. Trimma om eventuella hårdkodade GenX320-värden för bildfrekvens / exponering till 1 MHz-enheter, och aktivera inte transponering i händelseläge (GenX320-ändringen).