Multispektrální termální (OV5640)

Varianta OV5640 modulu Multispectral Thermal Camera Module kombinuje 5MP barevný senzor s rolling shutter a termální jádro FLIR Lepton, takže OpenMV Cam dokáže souběžně provozovat barevné vidění ve vysokém rozlišení i termální pipeline.

Multispektrální termální (OV5640)

Kompletní datasheet, fotografie a informace o objednání najdete na produktové stránce Multispectral Thermal.

Poznámka

Podporováno pouze na OpenMV Cam RT1062.

Hlavní vlastnosti

  • OV5640: 5MP rolling shutter pro vyšší rozlišení barvy

  • Přijímá termální jádra FLIR Lepton 1.x / 2.x / 3.x

  • Současné zpracování termálního i barevného obrazu na jednom modulu

  • Vidí v úplné tmě, podporuje měření teploty

  • Autofokus a clona F2.0 na barevném senzoru

Použití

Barevný senzor a FLIR Lepton mají každý vlastní instanci csi.CSI. První volání se ve výchozím nastavení váže na primární senzor (OV5640); druhé se připojí k Leptonu předáním cid= csi.LEPTON. Proveďte hardwarový reset barevného senzoru pomocí csi.CSI.reset (hard=True) pro zapnutí napájecí větve a Lepton nakonfigurujte s hard=False, aby jeho ovladač pouze přeprogramoval čip bez opětovného přepnutí resetu.

csi.CSI.framesize ( csi.QVGA ) sladí výstup Leptonu s barevnou kamerou, takže každý snapshot() vrací snímek 320x240. Ovladač Leptonu interně převzorkuje jeho nativní snímek 80x60 (1.x/2.x) nebo 160x120 (3.x) na požadovanou velikost — při QVGA pokrývá každý pixel Leptonu buňku 4x4 nebo 2x2 na barevném snímku.

Dva pomocné buffery zůstávají v průběhu smyčky snímků konstantní — alfa paleta 256x1 uložená jako image.Image, díky níž se chladné pixely Leptonu stanou průhlednými a horké pixely neprůhlednými (kvadratická rampa potlačuje detaily pozadí, aniž by potlačila střední pásmo), a frame buffer Leptonu předalokovaný pomocí image.Image, takže csi.CSI.snapshot (blocking=False, image=...) jej může v každé iteraci naplnit na místě bez opětovné alokace:

import time
import csi
import image
import math

alpha_pal = image.Image(256, 1, image.GRAYSCALE)
for i in range(256):
    alpha_pal[i] = int(math.pow((i / 255), 2) * 255)

# Setup the color camera sensor.
csi0 = csi.CSI()
csi0.reset(hard=True)  # force hardware reset.
csi0.pixformat(csi.RGB565)
csi0.framesize(csi.QVGA)

csi1 = csi.CSI(cid=csi.LEPTON)
csi1.reset(hard=False)  # no hardware reset - just configure lepton
csi1.pixformat(csi.GRAYSCALE)
csi1.framesize(csi.QVGA)

# Optional temperature range controls for the LEPTON.
# csi1.ioctl(csi.IOCTL_LEPTON_SET_MODE, True, False)
# csi1.ioctl(csi.IOCTL_LEPTON_SET_RANGE, 20.0, 40.0)

clock = time.clock()

img1 = image.Image(csi1.width(), csi1.height(), csi1.pixformat())

while True:
    clock.tick()
    img0 = csi0.snapshot()
    csi1.snapshot(blocking=False, image=img1)
    img0.draw_image(img1, 0, 0, color_palette=image.PALETTE_IRONBOW,
                    alpha_palette=alpha_pal,
                    hint=image.BILINEAR)
    print(clock.fps())

Každá iterace pořídí blokující barevný snímek a neblokující snímek Leptonu — Lepton běží na 9 Hz, takže blokování na něm by zpomalilo barevnou pipeline. Image.draw_image poté oba snímky složí: color_palette= image.PALETTE_IRONBOW mapuje stupně šedi Leptonu na teplou barevnou rampu ve stylu FLIR, alpha_palette= mísí každý pixel pomocí kvadratické alfa mapy a hint= image.BILINEAR vyhladí převzorkování.

OV5640 má autofokusovou čočku ovládanou voice-coil aktuátorem. Spusťte jeden průchod autofokusu na barevné kameře pomocí csi.CSI.ioctl s csi.IOCTL_TRIGGER_AUTO_FOCUS — senzor jednou projede zaostřovacím motorkem a zafixuje se na to, co má před sebou:

csi0.ioctl(csi.IOCTL_TRIGGER_AUTO_FOCUS)

Vydejte ioctl znovu pokaždé, když se scéna změní — autofokus je jednorázový, nikoli kontinuální.

Měření teploty

Radiometrické Leptony (Lepton 2.5 / 3.5) poskytují kalibrovaná teplotní data pro každý pixel. Zapněte režim měření pomocí csi.CSI.ioctl s csi.IOCTL_LEPTON_SET_MODE a poté omezte teplotní okno pomocí csi.IOCTL_LEPTON_SET_RANGE (min_celsius, max_celsius). Ovladač Leptonu lineárně mapuje hodnotu pixelu ve stupních šedi 0 na min_celsius a 255 na max_celsius, takže každý pixel se stává vyhledáním teploty v rámci nakonfigurovaného okna. Pixely chladnější než min_celsius saturují na 0, pixely teplejší než max_celsius saturují na 255.

csi.IOCTL_LEPTON_SET_MODE přijímá dva příznaky. První zapíná měření; druhý vybírá teplotní rozsah senzoru:

  • Nízký rozsah — (True, False) — rozsah senzoru -10 °C až +140 °C (scény velikosti místnosti). Omezte okno na oblast zájmu, např. (20.0, 40.0) pro sledování tělesného tepla:

    csi1.ioctl(csi.IOCTL_LEPTON_SET_MODE, True, False)
csi1.ioctl(csi.IOCTL_LEPTON_SET_RANGE, 20.0, 40.0)

  • Vysoký rozsah — (True, True) — rozsah senzoru typicky -10 °C až ~+450 °C (~+400 °C při pokojové teplotě) pro horké objekty. Omezte např. na (0.0, 400.0) pro sledování pece nebo horkých prvků:

    csi1.ioctl(csi.IOCTL_LEPTON_SET_MODE, True, True)
csi1.ioctl(csi.IOCTL_LEPTON_SET_RANGE, 0.0, 400.0)

Pro převod pixelu ve stupních šedi zpět na stupně Celsia:

def p_to_temp(p, min_t, max_t):
    return (p * (max_t - min_t)) / 255.0 + min_t

Toto funguje na jednotlivých pixelech nebo na agregovaných statistikách (např. stats.mean() z Image.get_statistics) uvnitř ROI při lokalizaci horkých/chladných oblastí pomocí Image.find_blobs.