Prova de conceito de KYC: como desenhar uma POC que decide alguma coisa

Quase toda avaliação de fornecedor de verificação de identidade passa por uma prova de conceito, ou POC, sigla em inglês para proof of concept. E quase toda POC termina igual: o time integrou o fluxo, subiu uma selfie, o documento foi lido, o rosto casou, e ninguém saiu sabendo nada que já não soubesse. A reunião de fechamento vira discussão de preço, a única variável que a POC mediu.

O problema não é a ferramenta, é o desenho do experimento. Uma POC que só roda caso feliz não pode falhar, e teste que não pode falhar não produz informação. Este é um roteiro para quem compra KYC, sigla em inglês para conheça seu cliente, e precisa sair da POC com um sim ou um não defensável.

O conjunto de casos se define antes

A falha mais cara é começar sem saber quais casos vão passar pelo teste. O conjunto acaba se formando com o que está à mão: colegas de escritório, documento em bom estado, luz de janela, celular novo. Isso mede o caminho feliz, que já funciona, e não separa um fornecedor do outro.

A ISO/IEC 19795-1:2021, Biometric performance testing and reporting, Part 1: Principles and framework, segunda edição de maio de 2021 com versão corrigida em setembro de 2024, diz no resumo que especifica requisitos sobre protocolos de teste para reduzir viés decorrente de coleta de dados inadequada e para melhorar o entendimento dos limites de aplicabilidade dos resultados. Limite de aplicabilidade é o que interessa: um resultado só vale para a população em que foi medido.

Na prática, o conjunto adverso é escrito antes e congelado. Documento gasto, plastificado, com reflexo. Captura em celular de entrada, luz fraca, mão trêmula. Idade distante da foto do documento. Nome com grafia divergente. Casos que você espera ver recusados, misturados com os que espera ver aprovados, sem que quem opera saiba qual é qual.

Taxa de aprovação sozinha não decide nada

Um sistema que aprova tudo tem 100 por cento de aprovação e zero utilidade. O número só ganha sentido emparelhado com o erro correspondente no mesmo ponto de operação.

É assim que o Instituto Nacional de Padrões e Tecnologia dos Estados Unidos, o NIST, publica resultado. Na Face Recognition Technology Evaluation (FRTE) 1:1 Verification, a taxa de falso não casamento, FNMR, é a proporção de comparações genuínas abaixo de um limiar ajustado para atingir a taxa de falso casamento, FMR, especificada. Na FRTE 1:N Identification, a taxa de falso negativo de identificação, FNIR, é a proporção de buscas com par verdadeiro que falham em retornar o par acima do limiar, e as tabelas reportam FNIR com o limiar fixado para limitar em 0,003 a taxa de falso positivo de identificação, FPIR.

Nunca um número solto: sempre um erro condicionado ao outro. Seu critério de aceite precisa da mesma forma, qual aprovação você exige no ponto em que o erro do outro lado está no teto aceito. Por que números de fornecedores diferentes não se comparam está em taxa de aprovação de KYC.

Essa régua tem limite declarado: o resumo da ISO/IEC 19795-1:2021 põe fora de escopo a medição de erro para quem tenta deliberadamente subverter o sistema, por exemplo por ataque de apresentação. Fraude tem régua separada, a ISO/IEC 30107-3:2023, Biometric presentation attack detection, Part 3: Testing and reporting, de janeiro de 2023, sobre avaliação de mecanismos de detecção desse ataque e classificação dos tipos conhecidos. O que ela prova está em certificação de PAD.

Os dois erros não custam o mesmo

Aprovar um fraudador e recusar um cliente legítimo têm preços diferentes, e é essa assimetria que define onde o limiar fica. O falso aceite tem preço direto e datado: a perda da operação fraudada, a investigação, a exposição regulatória, e o efeito de rede quando um caminho aberto vira instrução repassada entre fraudadores. O falso rejeite tem preço difuso: a aquisição gasta no cliente que não entrou, o suporte, a receita que nunca começou.

Essa conta precisa estar escrita antes da primeira captura, senão ler o resultado vira preferência de quem está na sala.

O dado de teste é restrição de desenho

Não se monta conjunto de teste biométrico com rosto e documento de gente real sem base legal, e isso muda o desenho.

A Lei 13.709/2018, a Lei Geral de Proteção de Dados Pessoais, classifica no art. 5º, II, o dado biométrico vinculado a uma pessoa natural como dado pessoal sensível. Dado sensível não se apoia nas hipóteses do art. 7º: o art. 11 abre lista própria. O art. 11, I, exige consentimento específico e destacado, para finalidades específicas. Sem consentimento, o art. 11, II, lista hipóteses fechadas, entre elas a alínea "g", de garantia da prevenção à fraude e à segurança do titular, nos processos de identificação e autenticação de cadastro em sistemas eletrônicos.

Repare no recorte da alínea "g": ela fala do processo de identificação e autenticação de cadastro, e um banco de imagens montado para avaliar fornecedor não é o cadastro daquelas pessoas. Restam três caminhos:

• Voluntários com consentimento específico e destacado para a finalidade de teste. É a rota mais limpa, mas o grupo é pequeno e enviesado, incapaz de sustentar taxa de erro com intervalo estreito.
• Tráfego real em fatia, dentro do fluxo de cadastro. Aí o tratamento acontece no processo de identificação e autenticação. Exige contrato e cadeia em ordem, assunto de base legal para biometria.
• Material sintético e artefatos fabricados. Único caminho para o conjunto adverso de ataque, porque instrumento de ataque se constrói, não se colhe de vítima.

A consequência é desconfortável: a POC de laboratório mede comportamento e ergonomia com poucos casos, e a taxa de erro com precisão só aparece no piloto em tráfego real.

O que fixar por escrito antes de começar

Seis itens, assinados antes da primeira chamada de API. Quem não escreve isso antes discute cada um deles depois, com o resultado já na mesa.

1. Critério de aceite numérico, em par: aprovação mínima no ponto em que o erro adversário está no teto aceito.
2. Conjunto congelado, com contagem de casos felizes e adversos, e gabarito guardado por quem não opera o teste.
3. Definição de transação: o que conta como tentativa, o que conta como sessão, como recaptura e abandono entram.
4. Tratamento de falha de captura. Contar como recusa ou tirar do denominador muda o resultado sem mudar o software.
5. Prazo com data de encerramento. POC sem data vira integração não contratada.
6. Quem decide, nome próprio. Comitê sem dono empata e renova a POC.

O que a POC não responde

Três perguntas ficam de fora por construção.

Volume e pico: centenas de casos nada dizem sobre a curva de latência quando a campanha de marketing chega, o que é assunto de teste de carga contra número contratado.

Disponibilidade: poucas semanas de janela não amostram indisponibilidade de forma útil, e isso é cláusula de contrato com medição e crédito.

A fila de revisão ao longo de meses: casos indecisos, tempo de análise, consistência entre analistas e rotatividade só aparecem depois, e é ali que mora o custo operacional de verdade, como em fila de revisão humana. POC que ignora a fila estima o custo do fornecedor e esquece o do seu time. Para o que se decide na mesa, serve a comparação.

Perguntas frequentes

Posso usar documentos e selfies da minha própria equipe?

Com consentimento específico e destacado para essa finalidade, nos termos do art. 11, I, da Lei 13.709/2018, sim, porque dado biométrico vinculado a pessoa natural é sensível pelo art. 5º, II. O limite seguinte não é jurídico, é estatístico: o grupo é pequeno e enviesado, então serve para observar comportamento, não para medir taxa.

O resultado do NIST substitui a minha POC?

Não, e o inverso também não. O NIST avalia algoritmos submetidos por desenvolvedores sobre conjuntos que ele controla, em avaliações que desde agosto de 2023 se chamam FRTE e FATE, após a divisão do antigo FRVT. O que essa régua não contém é o seu público, o seu aparelho, a sua luz e a sua regra de decisão, justamente o que a POC existe para observar.

Fontes citadas

• Lei nº 13.709, de 14 de agosto de 2018 (LGPD), art. 5º, II, art. 7º e art. 11: planalto.gov.br
• ISO/IEC 19795-1:2021, Biometric performance testing and reporting, Part 1: Principles and framework, edição 2, 2021-05, corrigida 2024-09, estágio 60.60, pela ficha oficial em iso.org
• ISO/IEC 30107-3:2023, Biometric presentation attack detection, Part 3: Testing and reporting, edição 2, 2023-01, estágio 60.60, pela ficha oficial em iso.org
• NIST, FRTE 1:1 Verification, FMR e FNMR: pages.nist.gov
• NIST, FRTE 1:N Identification, FNIR e FPIR, e o aviso de 2023-08-18 sobre a divisão do FRVT em FRTE e FATE: pages.nist.gov