O método inteiro da nossa prova de vida, aberto, e como ler o número de qualquer fornecedor.
Número sem método é propaganda. Aqui vão os dois.
Estes números são a nossa medição, feita com o nosso conjunto de amostras, no nosso ambiente, e isso está dito na frente porque muda como se lê o resultado. O que a página entrega em troca é o que quase nenhum material de venda entrega: o comando que gerou o relatório, as decisões de método que mudam o número, o denominador de cada taxa e o veredito quando a amostra não sustenta afirmação nenhuma. Laudo de laboratório contratado é outra coisa, e é real, e nós não temos um. Publicar o método inteiro é a rota que escolhemos, e é a que deixa você conferir em vez de acreditar.
O que é medido
A referência do assunto é a família ISO/IEC 30107, sobre detecção de ataque de apresentação em sistemas biométricos. A parte 1 define o vocabulário; a parte 3, chamada Testing and reporting, define como se testa e como se reporta, e está na segunda edição, de 2023. Três termos dela resolvem quase toda conversa com fornecedor. Um quarto, a sigla ACER, aparece muito e não deveria: a norma diz desde 2017 que somar APCER e BPCER numa média não é conformante com ela. Se alguém te mostrar um ACER, o que você recebeu não é o número da norma.
- APCERattack presentation classification error rate
A fração de ataques que o sistema aceitou como pessoa viva. Na definição da norma ela é, por construção, a fração dentro de UMA espécie de artefato: um APCER solto, sem dizer de qual espécie, não é sequer um objeto que a norma define. Reportar espécie por espécie é obrigatório; usar o pior caso como número de segurança é recomendado, e existe porque o fraudador escolhe o artefato que funciona, não a média.
- BPCERbona fide presentation classification error rate
A fração de pessoas de verdade que o sistema rejeitou como ataque. Sozinha, a APCER é fácil: basta reprovar todo mundo. As duas só significam alguma coisa juntas, e a segunda é a que o seu usuário sente. Quem lê uma taxa de ataque sem ler o BPCER ao lado está lendo metade.
- PAIpresentation attack instrument
O artefato apresentado ao sensor: foto impressa, tela com vídeo, máscara de papel. Uma espécie é um conjunto de artefatos feitos pela mesma receita a partir de pessoas diferentes. A norma separa espécie por espécie porque a defesa contra papel não é a mesma contra tela, e porque prova de vida é um subconjunto da detecção de ataque de apresentação, não um sinônimo dela.
Como é medido
O harness é um comando do repositório, não uma planilha. Ele lê um conjunto versionado de apresentações, roda o analisador de produção sobre cada uma, e devolve a tabela por espécie com o veredito. Cinco escolhas de método fazem a diferença entre um número e uma peça de propaganda.
No limiar que está em produção
A medição usa o mesmo limiar de aprovação que decide as verificações reais, lido do analisador construído, não um número escolhido para o teste. Medir em limiar mais permissivo infla a APCER; medir em limiar mais estrito desinfla o BPCER e promete uma fricção que o usuário não vai encontrar.
Erro de leitura nunca conta como acerto
Se o arquivo de um ataque estiver corrompido e o analisador estourar, essa amostra sai do denominador e entra na coluna de erros. O caminho fácil seria tratar a exceção como ataque detectado, e dez arquivos ruins comprariam uma taxa de zero na espécie que mais dói. Acima de um teto de erro, a espécie inteira é invalidada e a rodada reprova.
Não conseguir olhar não é ter olhado
Quando o detector não encontra rosto ou a nitidez fica abaixo do piso, o sistema pede recaptura em vez de dar veredito. Isso é falha de aquisição e sai das duas taxas, contado à parte. Somar falha de aquisição a ataque detectado é comprar taxa zero com imagem ruim.
Abaixo do piso de amostra, o veredito é não medimos
Com poucas apresentações, uma rodada sem penetração nenhuma não significa defesa: significa que não houve tentativa suficiente. O harness devolve amostra insuficiente, nunca aprovado, e amostra derivada por software não conta para o piso. Apresentação repetida também não: o piso conta ARTEFATOS distintos, dos dois lados. Uma foto apresentada cinquenta vezes é uma foto, não cinquenta pessoas, e é por isso que a contagem de capturas distintas aparece ao lado da contagem de apresentações.
Zero observado não é zero real
Com n apresentações e nenhuma penetração, o limite superior de 95% da taxa ainda é cerca de 3 dividido por n, pela regra de três. Com 30 apresentações isso é 10%, ou seja, zero em trinta é estatisticamente indistinguível de um sistema que cede uma vez a cada dez. Só perto de trezentas é que um zero começa a significar abaixo de um por cento. Dois fornecedores que publicam zero em trinta e zero em mil não estão fazendo a mesma afirmação, e é por isso que o tamanho da amostra anda junto do número em toda saída daqui.
Amostra pequena prova falha, não prova defesa
A assimetria está na própria norma: estabelecer que um tipo de ataque funciona de forma reprodutível não exige um número muito grande de apresentações. Estabelecer que ele não funciona, exige. Por isso um resultado ruim em poucas amostras já é sinal, e um resultado bom em poucas amostras não é nada.
O comando que produz esta página
python3 -m app.eval.run_pad --corpus <conjunto>A saída carrega data, versão do conjunto, hash do conjunto e o tamanho da amostra. O relatório publicado aqui é o arquivo que esse comando escreveu.
O relatório de hoje
- Apresentações de ataque reais
- 1
- Apresentações genuínas reais
- 1
- Artefatos de ataque distintos
- 1
- Capturas genuínas distintas
- 1
- Espécies de PAI reais medidas
- 0
- APCER do pior caso, entre as espécies reais
- -
- BPCER, pessoas reais rejeitadas
- -
Veredito: amostra insuficiente para medir Fora dessas contas há 1 apresentação genuína derivada por software, que não entra em taxa nenhuma.
| Espécie de PAI | Procedência | Apresentações | Artefatos | Recaptura | Erros | APCER | Teto 95% | Estado |
|---|---|---|---|---|---|---|---|---|
| Impressão (derivada por software) impressao_derivada | derivada por software | 1 | 1 | 0 | 0 | - | - | medida |
| Replay em tela de celular replay_tela_celular | artefato real | 1 | 1 | 0 | 0 | - | - | amostra insuficiente para publicar taxa |
| Replay de tela (derivado por software) replay_tela_derivado | derivada por software | 1 | 1 | 0 | 0 | - | - | medida |
Como ler esta tabela. Recaptura é a apresentação que caiu na banda ambígua: o sistema não a aceitou, mas também não a reprovou, e por isso ela aparece em coluna própria. Uma defesa que mandasse tudo para recaptura teria APCER zero sem ter detectado nada, e é para isso que a coluna existe. Teto 95% é o limite superior da taxa daquela espécie calculado sobre o n daquela espécie: com poucas apresentações, um zero convive com um teto alto. E linha marcada como derivada por software nunca traz taxa, mesmo quando o critério é atendido: ela está aqui porque o conjunto tem que aparecer inteiro, e sem taxa porque não houve apresentação diante de sensor nenhum. Essas linhas também não entram no veredito.
Ressalva que acompanha estes números
Amostra insuficiente para medição: 1 apresentação de ataque real sobre 1 artefato distinto, e 1 apresentação genuína sobre 1 captura distinta, contra o piso de 150 e 50. Os números desta saída são ILUSTRAÇÃO do método, não medição de desempenho, e não devem ser citados como laudo. Nenhum laboratório independente avaliou este resultado.
- apresentações de ataque reais abaixo do piso de amostra
- apresentações genuínas reais abaixo do piso de amostra
- espécies de artefato reais abaixo do piso
- artefatos de ataque distintos abaixo do piso, repetição do mesmo arquivo não conta
- capturas genuínas distintas abaixo do piso, uma foto repetida N vezes não é N pessoas
Quando a taxa aparece, e quando não aparece
Duas regras seguram a publicação de uma taxa, e as duas são deliberadas. A primeira é sobre o denominador; a segunda é sobre segurança, e continua valendo em qualquer tamanho de amostra. Fornecedor que publica taxa por espécie sem esbarrar em nenhuma das duas está te dizendo algo sobre o rigor dele.
Quando o denominador não sustenta a afirmação
Abaixo do piso de artefatos distintos o harness devolve amostra insuficiente, e a coluna de taxa sai vazia. Não é cautela de redação, é regra de código: a rodada inteira reprova antes de publicar um número que a amostra não sustenta. É a diferença entre um resultado e um número bonito, e é por isso que a contagem de artefatos distintos aparece ao lado da contagem de apresentações em toda saída desta página.
Sempre, porque taxa por espécie é mapa de ataque
Mesmo com amostra suficiente, publicar que uma espécie específica penetra em alguma fração é dizer ao fraudador qual artefato comprar. A regra do harness é publicar taxa por espécie apenas quando o critério do nível é atendido em todas elas. Fora disso saem as contagens e o veredito, que é o que sustenta a leitura sem virar manual.
A prova que o titular faz muda com o risco da sessão
Fluxo com atrito fixo cobra de todo mundo o preço do pior caso. Aqui a exigência é escolhida por sessão: quem chega sem nada contra si atravessa pela prova passiva, e o desafio ativo entra onde a sessão pede. O ganho é dos dois lados da mesma moeda, e é por isso que ele importa na conta: menos gente legítima desistindo no meio, sem baixar a guarda de quem precisa de guarda.
Cada decisão diz qual prova aquele titular fez
O payload carrega o bloco que nomeia a prova cumprida naquela verificação, e ele sai em toda decisão, aprovada ou não. Não é telemetria nossa: é o registro que deixa a sua auditoria responder, caso a caso, o que foi exigido de quem, sem depender da nossa palavra. A estrutura completa está na documentação.
O menor atrito não é o padrão de um desconhecido
A passagem mais leve é um destino que se alcança, nunca o ponto de partida de uma sessão sobre a qual não se sabe nada. E o motivo de cada escolha não aparece para quem está do outro lado da câmera, pelo mesmo princípio que segura a taxa por espécie acima: quem descobre por que passou descobre como passar de novo.
Uma norma de ensaio não é um selo
A ISO/IEC 30107-3, na segunda edição, de 2023, descreve como testar e como reportar. Ela não emite selo, não credencia laboratório, não define nível e não certifica fornecedor nenhum. Os níveis que o mercado cita, com penetração zero num e um por cento no outro, são a régua publicada pela iBeta, que é um laboratório comercial acreditado, e não da norma. E é a própria iBeta que escreve, na página de metodologia dela, que o documento entregue no fim do teste does not translate to a certification of the vendor product
, acrescentando que a palavra certificação chegou a ser usada e foi corrigida numa auditoria do NVLAP em 2019. Quem tem essa carta tem prova de terceiro de verdade, e nós não temos. O que ela não é, pela definição de quem a emite, é certificação.
Dois detalhes que quase nunca aparecem no material de venda de quem tem o laudo. O primeiro é que o critério de aprovação tem dois lados, e o segundo lado costuma ficar de fora: junto da taxa de ataque existe um teto de rejeição de gente legítima, e ele é de 15%. Passar com penetração zero convive, na mesma régua, com rejeitar cerca de uma pessoa de verdade a cada sete. Vale para nós também: o nosso harness adota esse mesmo teto de 15%, porque é a régua com que o mercado compara, e é justamente por isso que o BPCER aparece ao lado do resto nesta página em vez de ficar só no relatório. O segundo é que ataque de injeção, aquele em que o vídeo entra por uma câmera virtual sem passar por lente nenhuma, está explicitamente fora do escopo desta norma: ela trata do que acontece diante do sensor. Quem cobre injeção é outro documento, a especificação técnica europeia CEN/TS 18099, publicada em 2024 e ainda em aplicação provisória.
Vale repetir a ressalva que acompanha qualquer resultado desses, o nosso e o dos outros. Um relatório de detecção de ataque de apresentação só diz o que aconteceu com os tipos de ataque, as espécies de artefato e as condições que foram efetivamente testados. Sobre o que não foi testado, ele não informa nada. A própria norma imprime essa ressalva junto do resultado, na cláusula sobre reporte de métricas de classificação.
E sobre avaliação pública e independente: o NIST mantém a trilha FATE PAD, que mede detecção passiva em imagem 2D com as métricas desta norma, em pages.nist.gov/frvt. Ela rodou uma janela única entre janeiro e fevereiro de 2023, avaliou 82 algoritmos de 45 desenvolvedores, publicou o relatório em setembro daquele ano e está fechada para novas submissões desde então. Vale saber ao comparar fornecedor: um resultado do NIST em PAD é necessariamente daquela janela de 2023, medido no algoritmo que existia naquele mês, e hoje a porta está fechada para todo mundo. Injeção o NIST não avalia em trilha nenhuma.
Para continuar lendo
Crie a conta, monte um flow e rode a prova de vida no sandbox com o que você quiser apresentar: foto impressa, tela com vídeo, máscara de papel. O comportamento na sua mão, na sua tentativa, vale mais que a palavra de qualquer fornecedor.
