5.20. Regressão e similaridade

Duas medições adicionais na classe Image resumem a imagem como algo diferente de uma distribuição de valores de pixel. A regressão linear de pixels com limiar fornece a uma aplicação uma linha sobre a qual pode agir – a entrada clássica para um robô seguidor de linha. A medição de similaridade fornece a uma aplicação um único número que descreve o grau de semelhança entre duas imagens – a entrada natural para um teste de regressão de imagem de referência ou para um detetor de alterações grosseiras.

5.20.1. Regressão linear

Quando os pixels de primeiro plano de uma imagem formam uma linha através do fotograma – a fita numa pista que um robô está a seguir, a linha de um horizonte, a orla de uma estrada ou de um corredor – a aplicação normalmente não quer cada pixel de primeiro plano individualmente. Quer a linha de melhor ajuste através de todos eles, parametrizada de modo a poder decidir como a linha está orientada e onde cruza o fotograma.

get_regression() realiza esse ajuste. Recebe o mesmo formato de tuplo de limiar que binary() e find_blobs() usam, identifica cada pixel que corresponde ao limiar e devolve um único resultado line que descreve a linha de melhor ajuste através desses pixels:

line = img.get_regression([(0, 60)])
if line:
    img.draw_line((line.x1(), line.y1(),
                   line.x2(), line.y2()),
                  color=(255, 0, 0))

O ajuste usa a regressão linear Theil-Sen – um método robusto que tolera valores atípicos melhor do que o ajuste por mínimos quadrados mais familiar. Um pequeno conjunto de pixels afastados da linha verdadeira não distorce o resultado da forma como o fariam com os mínimos quadrados, o que corresponde à realidade ruidosa de um primeiro plano com limiar real.

O resultado line contém os pontos extremos recortados ao retângulo da imagem (x1, y1, x2, y2), o comprimento e a magnitude da linha (length, magnitude), e a descrição geométrica da linha em forma polar (theta, rho) – o ângulo da linha relativamente à horizontal e a sua distância perpendicular à origem. A forma polar é o que um ciclo de controlo normalmente precisa: theta diz ao robô para que lado a linha está inclinada, rho diz-lhe onde a linha cruza a imagem, e um ciclo de retroação sobre os dois mantém o robô centrado na linha.

Alguns argumentos de palavra-chave ajustam a robustez e o custo. x_stride e y_stride saltam pixels durante o ajuste – strides maiores tornam a regressão mais económica ao custo de ajustar menos pixels. area_threshold e pixels_threshold rejeitam linhas que não têm pixels correspondentes suficientes. target_size redimensiona a entrada para um tamanho menor antes do ajuste – a regressão corre mais rapidamente num substituto de 80 por 60 da imagem sem grande perda de precisão na direção da linha.

Se não for possível ajustar nenhuma linha aceitável – se o limiar não correspondeu a nenhum pixel, ou correspondeu a um padrão que não se parece com uma linha – o método devolve None. O código real de seguimento de linha protege cada chamada a get_regression() com uma verificação de None antes de aceder aos atributos da linha.

5.20.2. Similaridade de imagens

Um tipo diferente de medição: em vez de perguntar «o que contém a imagem?», pergunta-se «qual é o grau de semelhança entre estas duas imagens?». A operação a utilizar é get_similarity(), que calcula o Índice de Similaridade Estrutural (SSIM) entre a imagem de origem e uma imagem de referência.

s = img.get_similarity(reference)
print(s.mean, s.stdev)

O SSIM é a métrica padrão de similaridade de imagens utilizada em todo o processamento de imagem porque se comporta da forma como a intuição humana sobre similaridade funciona – um pequeno deslocamento ou uma pequena variação de brilho reduz ligeiramente a pontuação, enquanto uma grande alteração estrutural (objeto em falta, cena diferente) a reduz drasticamente. A pontuação varia entre -1 e +1: +1 significa que as duas imagens são idênticas, 0 significa que não têm relação, e -1 significa que são estruturalmente opostas. O objeto similarity devolvido expõe o SSIM médio ao longo da imagem, mais o desvio padrão, o mínimo e o máximo das pontuações por tile.

Para o tipo de comparação em que um número pequeno é melhor do que um grande – um teste de regressão que deve reportar zero para «nada mudou» e aumentar à medida que as alterações se acumulam – a opção dssim=True devolve a dissimilaridade estrutural: o SSIM médio subtraído de 1, pelo que o valor de retorno é 0.0 para imagens idênticas e aumenta à medida que diferem.

5.20.3. Casos de uso para SSIM

As duas aplicações mais comuns:

Testes de regressão com imagem de referência. Uma estrutura de testes captura um fotograma de referência em condições conhecidamente boas e guarda-o como imagem de referência. As execuções de teste subsequentes capturam nas mesmas condições e comparam com a imagem de referência usando SSIM. Uma pontuação acima de um determinado limiar (0.95 ou 0.98 consoante a tolerância) é aprovação; abaixo é reprovação. A estrutura de testes não precisa de saber o que mudou – a pontuação SSIM é o sinal.

Deteção de alterações grosseiras. Uma aplicação que pretende uma versão mais grosseira da diferença entre fotogramas – uma que ignora pequenas variações de brilho mas reage a grandes alterações estruturais – pode usar o SSIM contra um fotograma de referência em vez do difference() por pixel seguido de um limiar. O SSIM é menos sensível à deriva de iluminação do que a diferença por pixel, o que o torna a melhor escolha quando o objetivo é detetar «a cena parece materialmente diferente» em vez de «algum pixel individual mudou.»

Ambas as aplicações usam a mesma chamada – img.get_similarity(reference) – e disparam sobre um limiar da pontuação devolvida. A diferença é apenas se o limiar é alto (teste de regressão, à procura de uma correspondência quase idêntica) ou baixo (deteção de alterações, à procura de qualquer grande alteração estrutural).

5.20.4. A forma de transformar e comparar

Uma subtileza útil: get_similarity() aceita os mesmos parâmetros x, y, x_scale, y_scale, roi, rgb_channel, alpha, color_palette, alpha_palette, hint e transform que draw_image(). A imagem de referência é posicionada, dimensionada e transformada por esses parâmetros antes de a comparação SSIM ser executada.

Isto significa que uma aplicação pode perguntar «quão semelhante é esta cena a um fotograma de referência após um deslocamento / rotação / escala conhecidos» sem preparar uma imagem de referência pré-transformada. É a forma económica de construir um rastreador que pesquisa um espaço de parâmetros e reporta qual transformação da referência melhor corresponde ao fotograma atual.