v4.5.6

v4.5.6 to duże wydanie poświęcone uczeniu maszynowemu. Moduł C tf dla TensorFlow został zastąpiony nowym, niezależnym od silnika pakietem ml opartym na TensorFlow Lite Micro (TFLM), konwersja obraz→tensor została przeniesiona do image.to_ndarray(), a płytki dwurdzeniowe przeszły na Open-AMP. Wprowadzono kilka zmian łamiących zgodność — przeczytaj je poniżej przed aktualizacją skryptów ML.

Najważniejsze zmiany

  • Nowy pakiet ml — stary moduł tf został przepisany na niezależny od silnika pakiet ml (ml.Model, ml.preprocessing, ml.utils, ml.apps); tf pozostaje jako alias.

  • Backend TFLM — przestarzała biblioteka libtf została zastąpiona przez TensorFlow Lite Micro oparty na wersji upstream: ~20% szybsze wnioskowanie i mniejsze biblioteki.

  • Open-AMP dwurdzeniowy — GIGA i Portenta H7 używają teraz Open-AMP/RPMsg do komunikacji międzyrdzeniowej M7/M4 (stary mechanizm CM4 został usunięty).

  • Wbudowany Bluetooth — oprogramowanie układowe Bluetooth CYW43 włączone na Nicla Vision, Portenta H7 i GIGA.

  • MicroPython 1.23.0, ulab 6.5.2 (z obsługą 4-wymiarowych ndarray).

  • Zmiana łamiąca zgodność: API ML zmieniło się znacząco, a kaskady Haara są domyślnie wyłączone na większości płytek — zobacz zmiany łamiące zgodność.

Nowe funkcje

  • Pakiet ml — ml.Model z predict() (roi, callback, lista wielu wejść), atrybutami kształtu/dtype/scale/zero-point dla każdego tensora, ml.preprocessing.Normalization, ml.utils (NMS) oraz ml.apps (napisany w czystym Pythonie detektor słów kluczowych MicroSpeech z listen() i nieblokującym strumieniowaniem timeout=-1, a także draw_predictions()).

  • System modeli wbudowanych — modele wymienione w models/index.txt są warunkowo osadzane w zależności od płytki (FOMO na wszystkich płytkach ML, modele audio na płytkach z mikrofonami).

  • image.to_ndarray(dtype, buffer=...) — konwertuje obraz na ndarray biblioteki ulab (opcjonalnie w miejscu).

  • Image() z surowych tablic — nowe argumenty słowne shape=, strides=, scale= budują obrazy w skali szarości / RGB565 z surowych list pikseli.

  • Wygładzane draw_circle().

  • Moduł ssl wbudowany w oprogramowanie układowe na GIGA, Nicla Vision, Portenta H7, Nano RP2040 Connect, OpenMV 4/4P/PRO/PT, RT1060 i Pico.

  • Audio — audio.init() zyskało argument słowny samples= (próbki PDM na kanał); gain_db działa teraz na mikrofonach DFSDM (np. Nicla Vision).

  • Protokół debugowania — nowe polecenie GET_STATE zwraca w jednym pakiecie flagi run/text/JPEG, geometrię ramki i tekst, ograniczając liczbę zapytań do hosta.

  • Przykład vuart dla Open-AMP do komunikacji międzyrdzeniowej.

Inne zmiany i usprawnienia

  • MicroPython zaktualizowany do 1.23.0; ulab do 6.5.2 z obsługą 4-wymiarowych ndarray.

  • Szybsze wnioskowanie — backend ML utrzymuje trwały stan/pamięć pomiędzy wywołaniami (~20% szybciej, obsługuje modele typu LSTM).

  • get_similarity() zostało zaimplementowane od nowa na backendzie draw_image (szersza obsługa formatów/operacji).

  • morph() oraz rodzina filtrów mean() przeszły na parsowanie argumentów słownych; mask= akceptuje teraz mutowalny obraz.

  • Przeprojektowany układ pamięci — regiony DMA wyrównane do potęgi 2, bloki GC z możliwością zmiany kolejności, wiele stert; mniejsza wczesna fragmentacja sterty na płytkach z małą ilością RAM; RT1060 zyskuje dodatkową stertę GC.

  • WiFi (CYW43) jest teraz deinicjalizowane przy miękkim resecie; wyświetlacz SPI-TV opróżnia z pamięci podręcznej tylko region bufora ramki dla płynniejszych aktualizacji.

Poprawki błędów

Kamera i sensory:

  • Naprawiono przypadkowe unieważnianie pamięci podręcznej CPU w ścieżce bufora ramki/sensora na STM32 i i.MX RT, które mogło uszkadzać dane obrazu.

  • Naprawiono odczyty termiczne I2C MLX90640/MLX90641 na płytkach i.MX RT (duże transfery są teraz dzielone na fragmenty).

Uczenie maszynowe:

  • Naprawiono obsługę load_to_fb w ml.Model, ustalanie rozmiaru wejściowej bytearray, sprawdzanie ndim w ndarray oraz walidację formatu/kształtu obrazu w Normalization.

Obraz / system:

  • Dodano brakującą stałą podpowiedzi rysowania image.BLACK_BACKGROUND oraz kontrolę poprawności długości bufora obrazu/tensora.

  • Naprawiono wskaźniki korzeni GC dla FIR i audio, które mogły pozwolić kolektorowi zwolnić używane bufory.

  • Przykład Servo Shield używa teraz SoftI2C, dzięki czemu działa na płytkach OpenMV RT.

Sprzęt i obsługa płytek

  • Arduino GIGA — obsługa sensorów HM01B0 / HM0360; dwurdzeniowy Open-AMP.

  • Bluetooth — oprogramowanie układowe BT CYW43 na Nicla Vision, Portenta H7 i GIGA.

  • Portenta H7 — RPMsg M7/M4 przez Open-AMP.

  • OpenMV RT1060 — dodatkowe bloki sterty GC (więcej pamięci dla Pythona).

Zmiany API łamiące zgodność

Widoczne dla użytkownika zmiany API łamiące zgodność pomiędzy v4.5.5 a v4.5.6. Zakres: moduły C Pythona w modules/ oraz biblioteki Pythona w scripts/libraries/.

Każda zmiana jest oznaczona swoim wpływem:

  • duży — większość skryptów, które tego używały, wymaga zmian.

  • mały — wąskie API; dotyczy tylko skryptów, które tego używały.

  • zachowanie — to samo API, inne wyniki; ponownie sprawdź dostrojone skrypty.

  • narzędzia — dotyczy mechanizmów dwurdzeniowych / płytkowych, a nie API Pythona.

Zmiany są pogrupowane według wpływu w tej kolejności. Jeśli chcesz tylko przenieść swój kod, przejdź do listy kontrolnej migracji na końcu. Każdy skrót commita prowadzi do jego diffa na GitHubie.

Moduł tf zastąpiony pakietem ml (duży)

Moduł C tf dla TensorFlow został przepisany na niezależny od silnika pakiet ml (tf jest zachowany jako wstecznie kompatybilny alias, ale nowy kod powinien używać ml). Funkcje na poziomie modułu tf.load, tf.load_builtin_model oraz metody detect()/segment()/klasyfikacji zostały usunięte — utwórz ml.Model i wywołaj predict(). ml.Model(path) zwraca teraz tylko model (bez krotki (labels, model)); etykiety są atrybutem model.labels. predict() zwraca teraz ndarraye biblioteki ulab (a nie krotki float), obsługuje modele wielowejściowe (przekaż listę), a NMS przeniesiono do ml.utils; normalizacja wejścia została przeniesiona do ml.preprocessing.Normalization. Stary ml.py to teraz ml.apps.

Commity: c7228cbb4, 6c212409c, 3e37f46db, 9a186f4e2, 70b89f474, 3f8491cb0, 4506682c2, 8b38f3837

image.unpack() usunięte — użyj to_ndarray() (duży)

Krótko istniejące image.unpack() zostało usunięte; zamiast tego konwertuj obraz na tensor za pomocą image.to_ndarray(dtype, buffer=...) i stosuj normalizację scale/mean/stdev za pomocą ml.preprocessing.Normalization, a nie starej wbudowanej ścieżki skalowania obrazu.

Commity: 9848eed12, de0d46fa6

Argument scale surowej tablicy w Image() (mały)

Podczas tworzenia Image z surowej tablicy pikseli argument scale przyjmuje teraz zakres (min, max) zamiast (scale, add).

Commit: 7b79fb4c7

Kaskady Haara domyślnie wyłączone na większości płytek (zachowanie)

Aby zwolnić miejsce w pamięci flash, wykrywanie twarzy oparte na kaskadach Haara (find_features() / image.HaarCascade()) jest teraz domyślnie wyłączone na Arduino GIGA, Nicla Vision, Portenta H7, OpenMV 3, OpenMV 4 / 4 Plus / PRO oraz OpenMV Pure Thermal. Skrypty używające kaskad Haara na tych płytkach muszą ponownie zbudować oprogramowanie układowe z włączoną tą funkcją.

Commit: 6ce27c910

Przerywanie skryptu i skalowanie tensora (zachowanie)

Debuger USB przerywa teraz działający skrypt za pomocą funkcji VM-abort MicroPythona zamiast wymuszonego skoku PendSV (czystsze rozwiązanie, ale punkt przerwania jest inny). Skalowanie wejścia SCALE_S128_127 zostało poprawione tak, aby mapować 0–255 na −128–127 bez błędnego wzmocnienia — modele opierające się na starym (błędnym) skalowaniu dadzą inne wyniki.

Commity: e758a0f95, a4d97c572

Koprocesor CM4 zastąpiony przez Open-AMP (narzędzia)

Przestarzały mechanizm oprogramowania układowego koprocesora CM4 na GIGA / Nicla Vision / Portenta H7 został usunięty i zastąpiony przez Open-AMP/RPMsg. Kod dwurdzeniowy musi przejść na model Open-AMP (dostarczono przykład vuart).

Commity: 3cc57fea4, 93f2d4c41

Lista kontrolna migracji

Dla czystego przeniesienia na v4.5.6 typowa praca to:

  1. Przenieś kod ML na ml: utwórz ml.Model(path), wywołaj predict(), odczytaj model.labels, oczekuj wyjść typu ndarray oraz przenieś normalizację do ml.preprocessing.Normalization, a NMS do ml.utils (zmiana pakietu ml).

  2. Zastąp image.unpack() przez image.to_ndarray() (usunięcie unpack).

  3. Zaktualizuj wszelkie argumenty scale surowej tablicy w Image() na zakres (min, max) (zmiana skali Image).

  4. Jeśli używasz kaskad Haara na płytce, której to dotyczy, zbuduj ponownie oprogramowanie z włączoną tą funkcją (zmiana kaskad Haara).

  5. Zwaliduj ponownie modele, które zależały od SCALE_S128_127 (zmiana skalowania).

  6. Przenieś kod dwurdzeniowy na Open-AMP (zmiana CM4).