Calcular o ROI de um controle antifraude sem enganar a si mesmo

Toda proposta de controle antifraude chega com a mesma promessa implícita: ele custa alguma coisa e evita mais do que custa. A parte que custa vem numa fatura. A parte que evita não vem em lugar nenhum, e é aí que o cálculo do ROI, o retorno sobre o investimento (return on investment), costuma desandar.

A primeira armadilha é de desenho. É fácil somar a perda evitada e esquecer o custo do cliente legítimo que o controle barrou. Um controle pode subir o número de fraudes bloqueadas, aparecer excelente no relatório e ter retorno negativo, porque a conversão perdida custou mais do que a perda impedida.

A segunda é epistêmica. Perda evitada é a diferença entre o que aconteceu e o que teria acontecido sem o controle. O segundo termo não está em banco de dados nenhum, porque ele não aconteceu. É um contrafactual: estima-se, não se lê. Quem trata perda evitada como número medido já começou errado, e nenhum rigor na casa decimal conserta isso depois.

As três linhas da conta

Chame de C o custo do controle no período, de E a perda evitada estimada no mesmo período e de F o custo dos clientes legítimos que o controle reprovou. O retorno líquido é E menos C menos F. Só C sai pronto de um extrato.

C é maior que o preço unitário. Ele soma o preço por verificação vezes o volume que de fato passou pelo controle, que não é o volume total de cadastros quando o acionamento é seletivo; o custo de integração e manutenção, amortizado no período; e as horas de análise que o controle gera quando devolve "revisar" em vez de aprovar ou reprovar. Esse último item escala com o volume de cadastro, não com o de fraude, e é uma das parcelas descritas em a conta completa do custo da fraude.

F é o produto de três fatores: quantos cadastros legítimos foram reprovados, que fração deles não voltou por outro caminho, e quanto vale um cliente dentro do horizonte que você usa para decidir. A régua do terceiro fator não é o ticket da primeira compra, é a margem esperada mais o custo de aquisição já pago.

E é a linha do contrafactual, e merece o resto do artigo.

Três formas de inflar a perda evitada

Contar toda reprovação como fraude evitada. Reprovação não é fraude confirmada. É a saída de um sistema que erra nas duas direções. Somar o valor de todas as reprovações dentro de E coloca o falso positivo do lado do benefício com o sinal trocado: o mesmo cadastro que entrou em E como ganho deveria estar em F como custo.

Comparar o antes e o depois no calendário. A perda caiu depois que o controle entrou, logo o controle causou a queda. A comparação entre dois períodos carrega junto a sazonalidade, a mudança de mix de canal, a campanha que trocou o público e a reação do fraudador, que pode ter migrado para outro produto da casa sem sair do seu resultado consolidado.

Usar o valor nominal da tentativa. A tentativa barrada não viraria necessariamente perda integral: parte seria interceptada por outra camada adiante, parte não se converteria em prejuízo. Tratar valor pedido como valor perdido infla E por construção, e o erro cresce quando o controle fica no começo do funil.

Como se estima E com teste controlado

A estimativa defensável vem de comparar dois grupos que diferem apenas pelo controle. Cinco exigências de desenho, e nenhuma delas é opcional.

• Aleatorizar por sujeito. Sorteio por cadastro ou por titular, nunca por horário, região ou canal. Dividir por horário mistura o efeito do controle com o perfil de quem se cadastra de madrugada.
• Usar modo sombra no grupo de comparação. Em vez de desligar o controle, deixe ele rodar, avaliar e registrar a decisão que teria tomado, sem aplicá-la. Depois se observa o desfecho real dos casos que ele teria barrado.
• Respeitar a janela de maturação. A fraude se revela com atraso. Ler o resultado antes que o atraso típico entre o cadastro e o reconhecimento da perda tenha passado subestima a perda nos dois grupos, e subestima mais no grupo que tem mais fraude, ou seja, distorce exatamente a diferença que você quer medir.
• Ter base suficiente. Fraude confirmada é evento raro. Se o número de casos no período se conta em dezenas, a diferença entre os grupos cabe dentro do ruído e a conclusão não se sustenta.
• Registrar a versão. Qual regra, qual modelo, qual limiar valia em cada decisão. Sem isso o resultado não é reproduzível nem auditável, e é a mesma disciplina que faz um score de risco ser explicável.

Duas limitações entram no relatório junto com o número. A dissuasão: um controle visível desestimula a tentativa antes dela existir, e isso aparece no volume de tentativas, não na taxa de aprovação. Se os dois grupos veem a mesma tela, a dissuasão é igual nos dois e some da diferença medida. E o escopo do modo sombra: ele estima o ganho do controle dentro do que as outras camadas já deixaram passar, não o ganho dele sozinho numa esteira vazia.

O lado que falta na conta

O cliente legítimo reprovado não aparece em relatório de fraude, porque para o sistema ele era a fraude. O rótulo de "era legítimo" costuma chegar pela contestação, e a contestação é enviesada: contesta quem tem tempo, canal e insistência. O falso positivo medido por contestação é um piso, nunca o total.

Duas fontes menos enviesadas para levantar esse piso. Uma amostra aleatória de reprovados revisada por analista com critério independente do que motivou a reprovação, que produz uma taxa aplicável ao conjunto todo. E o rastreamento de quem foi reprovado e apareceu aprovado semanas depois por outro caminho: cada um desses é um falso positivo confirmado pelo seu próprio sistema, e a fila de revisão humana é onde eles aparecem primeiro.

O que o regulador espera ver escrito

Para instituição sujeita à regulação de prevenção à lavagem de dinheiro, a pergunta nunca foi ter ou não ter controle. A Lei 9.613/1998, no artigo 10, inciso III, com a redação dada pela Lei 12.683/2012, manda adotar políticas, procedimentos e controles internos compatíveis com o porte e o volume de operações. A escolha é qual controle e quanto, e é isso que a conta responde.

A Circular BCB 3.978/2020 cobra o método. O artigo 62 obriga a avaliar a efetividade da política, dos procedimentos e dos controles internos, em relatório específico, anual, com data-base de 31 de dezembro, encaminhado até 31 de março do ano seguinte ao comitê de auditoria, quando houver, e ao conselho de administração ou à diretoria. O artigo 63 lista o conteúdo mínimo: metodologia adotada na avaliação, testes aplicados, qualificação dos avaliadores e deficiências identificadas. O supervisor pede o desenho do teste, não só o resultado.

Fora do perímetro regulado brasileiro, a exigência aparece em diretriz técnica. O NIST SP 800-63A-4, de julho de 2025, determina que o provedor monitore o desempenho das suas checagens de fraude para assegurar efetividade continuada, e que o programa de gestão de fraude esteja documentado na declaração de práticas. Montar uma esteira de antifraude sem o instrumento que mede se ela funciona é assinar a promessa sem o recibo.

Perguntas frequentes

Dá para calcular o ROI de um controle antifraude com precisão?

Não. Uma das três linhas é contrafactual e só existe como estimativa. O que se defende em auditoria é uma estimativa com método escrito, incerteza declarada e as duas linhas de custo somadas junto.

O que é rodar um controle em modo sombra?

É deixar o controle avaliar cada caso e gravar a decisão que teria tomado, sem aplicá-la ao usuário. Depois se compara o desfecho real dos casos que ele teria barrado com os que teria aprovado, sem liberar fraude de propósito.

Por que não basta comparar a perda antes e depois de ligar o controle?

Porque entre os dois períodos mudaram também a sazonalidade, o mix de canais, o público trazido pelo marketing e o comportamento do fraudador. A diferença observada mistura tudo isso com o efeito do controle.

Fontes citadas

• Lei 9.613/1998, artigo 10, inciso III, na redação dada pela Lei 12.683/2012, sobre políticas, procedimentos e controles internos compatíveis com o porte e o volume de operações: planalto.gov.br
• Circular BCB 3.978/2020, do Banco Central do Brasil, artigos 62 e 63, sobre a avaliação de efetividade e o conteúdo mínimo do relatório: texto consolidado publicado pelo Banco Central
• NIST SP 800-63A-4, Digital Identity Guidelines: Identity Proofing and Enrollment, julho de 2025, seção de gestão de fraude: pages.nist.gov