4.20. Conclusão#

Você percorreu as partes da pilha de imageamento da câmera que surgem toda vez que um script captura um quadro:

  • A óptica diante do sensor – um furo de alfinete (pinhole) como o elemento formador de imagem mais simples, depois as lentes, que captam muito mais luz e ainda assim focalizam, com distância focal, abertura, profundidade de campo e campo de visão como os ajustes que a aplicação escolhe. Lentes reais vêm com distorção, vinhetagem e efeitos de ângulo do raio principal (chief-ray-angle) que o sensor e o ISP compensam posteriormente.

  • A grade do sensor – um conjunto bidimensional de fotodiodos que transforma fótons em carga, com o tempo de exposição e o ganho analógico trocando brilho por desfoque de movimento e ruído. Os obturadores rolante e global determinam como as linhas do conjunto são lidas, e um pequeno conjunto de calibrações no chip – FPN de coluna, nível de preto, pixel defeituoso, sombreamento da lente – limpa os dados antes que eles deixem o chip. Dois barramentos conectam o chip ao MCU: um barramento de controle I2C lento para registradores e um barramento paralelo ou MIPI rápido para pixels.

  • Cor e o ISP – um conjunto de filtros de cor Bayer dá a cada pixel uma entre vermelho, verde ou azul; o debayering interpola os dois canais ausentes. O processador de sinal de imagem (ISP) costura o restante do pipeline – extração de estatísticas, balanço de branco automático, debayering, correção por matriz de cor, gama, escalonamento, recorte e um empacotamento final no formato de pixel solicitado.

  • Formatos de pixel – Bayer bruto, RGB888, RGB565, YUV422, escala de cinza, BINARY e as saídas comprimidas JPEG / PNG trocam tamanho de memória por fidelidade de cor e compatibilidade com algoritmos posteriores. RGB565 é o padrão para cor finalizada porque se alinha com a largura de palavra do MCU e reduz pela metade o custo de memória em relação ao RGB888.

  • A API CSI – cinco linhas de configuração mais um laço de snapshot é a forma a partir da qual todo script começa. Os pools de framebuffer (simples, duplo, triplo, FIFO de vídeo ou disparado) decidem como a aplicação e a câmera compartilham os quadros; um canal de preview separado alimenta qualquer programa de depuração conectado sem competir pelos buffers da aplicação; os ajustes do sensor cobrem orientação, exposição, ganho, balanço de branco, limite de taxa de quadros e um padrão de teste de barras de cor.

  • Múltiplos sensores e pools de memória – placas com dois sensores instanciam um CSI por chip e executam cada um em sua própria taxa. Por baixo, o pool de framebuffer, a região de preview, o heap do MicroPython e as alocações menores de memória rápida vivem em regiões distintas da RAM, posicionadas de modo que as partes que precisam de velocidade a obtêm e as partes que só precisam de tamanho obtêm isso.

Isso é suficiente para tirar um quadro do sensor com o formato, o tamanho de quadro e a exposição corretos para a cena; escolher um modo de framebuffer que combine com o tempo de processamento da aplicação; expor um preview ao vivo para o que estiver conectado; e ler a Image de volta para o Python, pronta para ser operada.

4.20.1. Usando esta referência mais tarde#

Trate os capítulos de imageamento como material de referência, não como uma leitura de uma só passagem. Voltar para relembrar os modos de framebuffer, os formatos de pixel ou o significado de um determinado ajuste do sensor é o uso pretendido. A página de referência csi.CSI lista todos os métodos em um só lugar quando a pergunta é apenas “qual é o nome exato dessa chamada mesmo”.

4.20.2. Para onde ir a partir daqui#

Processamento de imagem é o próximo tópico natural. Com o buffer em mãos e a API csi compreendida, o que resta é o que fazer com os pixels: limiares, detecção de bordas, busca de blobs, detecção de linhas e formas, códigos QR, AprilTags, inferência de aprendizado de máquina. O conjunto de ferramentas muda para o módulo image e seu catálogo de métodos sobre o objeto Image. Tudo desta seção é levado adiante; a forma do laço, o modo de framebuffer, o formato de pixel – tudo isso é sobre o que os métodos de processamento de imagem operam.