Como medir uma busca facial 1:N: FNIR, FPIR e o limiar que você escolhe

Quem avalia biometria facial recebe, quase sempre, um número só: uma acurácia com muitos noves. O número costuma vir de um teste de verificação, um rosto contra um rosto, e a compra costuma ser para outra coisa bem diferente: procurar um rosto dentro de uma base inteira de usuários já cadastrados. São dois problemas com matemática distinta, e trocar as métricas de um pelo outro é o caminho mais curto para comprar um número bonito e receber uma fila de revisão cheia de gente honesta.

A diferença está no denominador. Na verificação, a pergunta envolve um par: a selfie desta sessão pertence à mesma pessoa da foto deste documento? Na identificação, a pergunta envolve uma galeria: este rosto já existe em algum lugar entre os meus N cadastros? Cada consulta 1:N é, por dentro, um monte de comparações, e uma taxa de erro pequena por comparação deixa de ser pequena quando multiplicada por milhões delas. É por isso que a detecção de contas duplicadas precisa de régua própria.

Este texto é sobre essa régua: as métricas que descrevem uma busca 1:N, o efeito do tamanho da base sobre o limiar, o erro que o índice comete sozinho e quem decide o ponto de corte.

O que muda quando a galeria entra na conta

Na verificação, o vocabulário é o de falsa aceitação e falsa rejeição: a proporção de pares de pessoas diferentes que o sistema aceitou como iguais e a proporção de pares da mesma pessoa que ele recusou. São duas taxas medidas sobre pares, e fazem sentido enquanto a comparação for uma só.

Na identificação, esse vocabulário não descreve o que acontece. O sistema não devolve sim ou não sobre um par, devolve uma lista de candidatos ordenada por similaridade, e a lista pode estar certa na posição errada, pode conter o candidato correto abaixo do limiar, pode trazer três pessoas parecidas e nenhuma delas ser a procurada. Uma métrica de par não consegue expressar nada disso.

Há ainda uma assimetria que a métrica precisa capturar: na maioria das buscas de antifraude, a resposta correta é "esta pessoa não está na base". O erro que dói tem forma específica, que é apontar um vizinho para quem não tem nenhum.

FNIR e FPIR: as duas taxas da identificação

O NIST, o instituto de padrões dos Estados Unidos, mantém desde 2000 o FRVT, programa público de avaliação de reconhecimento facial, hoje rebatizado FRTE, com uma trilha dedicada à identificação em grandes bases. Antes dele, nos anos noventa, o programa era o FERET. Nessa trilha, as métricas de referência são duas.

• FNIR, a taxa de identificação falso-negativa: entre as consultas cuja pessoa realmente está na galeria, a fração em que o sistema não a devolveu dentro do limiar e do número de posições examinadas. É o erro de deixar a duplicata passar.
• FPIR, a taxa de identificação falso-positiva: entre as consultas cuja pessoa não está na galeria, a fração em que o sistema devolveu algum candidato acima do limiar. É o erro de acusar quem não tem par.

O relatório NIST IR 8271, que apresenta a parte de identificação do FRVT, publica resultados exatamente nesse formato: FNIR medido a um FPIR fixo, para tamanhos de galeria distintos. Ler os dois juntos é obrigatório, porque cada um sozinho é trivial de otimizar. Um limiar altíssimo zera o FPIR e joga o FNIR para o teto: o sistema nunca acusa ninguém, e nunca encontra nada. Fornecedor que cita uma taxa sem dizer a que valor da outra ela foi medida não está informando, está escolhendo o lado favorável da curva.

Por que o limiar não sobrevive ao crescimento da base

Aqui está o ponto que mais surpreende quem vem da verificação: mantido o mesmo limiar, o FPIR piora conforme a galeria cresce. A razão é aritmética simples, não defeito do modelo. Cada consulta nova é confrontada com mais candidatos, e cada candidato é mais uma oportunidade de aparecer alguém suficientemente parecido por acaso. Dobrar a base é dobrar as chances de sorteio ruim, e as avaliações de identificação do NIST reportam justamente por isso os resultados separados por tamanho de galeria.

A consequência operacional é direta. Um limiar calibrado quando o produto tinha dez mil rostos não descreve mais o sistema quando ele chega a um milhão, e o sintoma é uma fila de revisão que engorda sem que ninguém tenha mexido no código. O limiar é um parâmetro vivo: recalibrado quando a base muda de ordem de grandeza, quando o modelo é trocado e quando o perfil demográfico dos cadastros muda. Guardar em cada decisão a versão do modelo, o limiar vigente e a data é o que permite comparar o passado com o presente sem se enganar.

Acurácia do modelo não é recall do índice

Um sistema 1:N tem duas peças que erram de formas independentes, e quase toda avaliação mede só a primeira.

A primeira peça é o modelo, que transforma um rosto num vetor e erra quando aproxima pessoas diferentes ou afasta fotos da mesma pessoa. É dele que falam as avaliações do NIST.

A segunda peça é o índice, que responde à pergunta "quais vetores da base estão mais próximos deste?" sem percorrer a base inteira. A estrutura hoje dominante para isso é o grafo HNSW, descrito por Yu. A. Malkov e D. A. Yashunin em Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs, publicado na IEEE Transactions on Pattern Analysis and Machine Intelligence em 2018 e disponível também em versão de pré-publicação. O adjetivo importante está no título: a busca é aproximada. Ela troca uma fração da exatidão por velocidade, e essa fração tem nome, recall, e depende de parâmetros de construção do grafo e de parâmetros de busca. Com o valor errado, o índice simplesmente não visita a região onde estava o candidato certo, e o resultado é indistinguível de um modelo ruim: nenhum candidato voltou.

Daí a única medição honesta ser a de ponta a ponta, com a base no tamanho real, contando quantas duplicatas conhecidas o sistema inteiro encontrou e quantos alertas produziu sobre gente sem par. Nenhum benchmark de modelo responde por esse número.

O limiar é decisão de negócio, e o desfecho é humano

Escolher o ponto de corte não é tarefa do modelo, é política de risco escrita por gente. A curva oferece um contínuo entre dois prejuízos assimétricos: de um lado, duplicatas que passam e viram bônus pago duas vezes; do outro, clientes legítimos travados por semelhança. Como esse segundo custo é silencioso, ele costuma ser subestimado, e vale reler o que o falso positivo em verificação faz com a conversão antes de apertar o limiar por precaução. Gêmeos, irmãos e parentes muito parecidos existem em qualquer base grande.

O desenho da decisão ajuda tanto quanto o número. Separar a similaridade biométrica crua do julgamento de negócio, como fazemos na UNIFOKAL ao manter as duas grandezas em campos distintos, evita que uma recalibração de limiar apague o histórico de comparações. E o desfecho de um acerto positivo deveria ser sempre o mesmo: uma pessoa olhando as evidências lado a lado, com o roteiro do que fazer quando aparece uma conta duplicada já definido antes do primeiro caso. Encontrar candidato semelhante é indício, não prova, e é assim que sistemas de detecção de múltiplas contas precisam apresentar o resultado.

Há também o lado jurídico. A Lei 13.709/2018, a LGPD, assegura ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses, no seu artigo 20. Bloqueio automático disparado por vizinhança vetorial é exatamente o tipo de decisão que atrai esse dever, e responder a um pedido de revisão sem ter guardado a evidência, o limiar e a versão do modelo é uma conversa que ninguém quer ter.

Fontes citadas

• NIST, avaliação de reconhecimento facial na trilha de identificação 1:N (FRVT/FRTE), citada por nome no texto.
• NIST IR 8271, relatório da parte de identificação do FRVT, citado por nome e número no texto.
• Yu. A. Malkov e D. A. Yashunin, Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018 (pré-publicação).
• Lei 13.709/2018 (LGPD), artigo 20, sobre revisão de decisões automatizadas, citada por nome e número no texto.