A pergunta
Toda análise chega a um momento decisivo: alguém vai olhar os números e tomar uma decisão com base neles. Um gráfico bonito e uma tabela bem formatada passam confiança, mas não garantem que a conta esteja certa, que a técnica seja a adequada ou que o resultado tenha a ver com a realidade.
Então, como saber, antes de apresentar, se dá para confiar no que você vai mostrar?
O caminho
A resposta curta é: não confie na sua própria impressão. Troque a impressão por evidência. O roteiro tem três regras e quatro perguntas.
Três regras que valem para tudo
- 1Combine a régua antes de medirOs critérios de sucesso, como “o erro do total anual precisa ficar abaixo de 10%”, são escritos antes de ver o resultado. Depois, a régua não muda.
- 2Evidência é teste, não opinião“Conferi e está certo” não vale. Vale um teste que qualquer pessoa possa rodar de novo e ver o mesmo resultado.
- 3Quem revisa não deveria ser quem fezO ideal é um revisor independente, que recebe só o trabalho pronto, sem a história de como ele foi feito. Quando isso não é possível, a revisão diz isso com clareza.
Com as regras combinadas, o revisor percorre quatro perguntas e fecha com um parecer:
- 1O caminho foi seguido?Processo
- 2A técnica é a adequada?Teoria
- 3As contas estão certas?Cálculo
- 4O resultado bate com a realidade?Realidade
- 5Dar o parecerFim
- 1O caminho foi seguido?Processo
As etapas combinadas foram feitas, na ordem, e quem pediu a análise validou os pontos-chave.
- 2A técnica é a adequada?Teoria
O método combina com o tipo de pergunta e com a forma dos dados, e as condições que ele exige foram testadas.
- 3As contas estão certas?Cálculo
Os dados têm qualidade e, refeito do zero, o cálculo chega exatamente aos mesmos números.
- 4O resultado bate com a realidade?Realidade
Os números são comparados com referências de fora e respondem à decisão que precisa ser tomada.
- 5Dar o parecerFim
Com as quatro respostas, a análise recebe um parecer. Algumas falhas reprovam sozinhas e mandam o trabalho de volta para a etapa em que o erro nasceu.
Gerou: Aprovado, Aprovado com ressalvas ou Reprovado
O resultado
Cada pergunta se desdobra em testes concretos. Estes são os que mais pegam erros:
No fim, a análise recebe um parecer:
Algumas falhas reprovam sozinhas. Quando isso acontece, o trabalho volta para a etapa em que o erro nasceu, a causa é investigada (perguntando “por quê?” até chegar à raiz) e os números não são apresentados como conclusão até a correção. Uma falha nova que se repete vira um item novo do checklist, para não acontecer de novo.
Para quem quer se aprofundarA nota de validação e as referências por trás das quatro perguntas
Cada item do checklist recebe 0 (não atende), 1 (parcial) ou 2 (atende com evidência); os itens críticos valem 2 ou 0. As quatro perguntas viram quatro notas, combinadas num índice:
IVP = 0,20 × Processo + 0,25 × Teoria + 0,25 × Cálculo + 0,30 × Realidade
Aprovado: todos os críticos atendidos e IVP a partir de 85%. Com ressalvas: críticos atendidos e IVP entre 70% e 85%. Reprovado: algum crítico falhou ou IVP abaixo de 70%.
As quatro dimensões se apoiam no ciclo PDCA e no CRISP-DM (processo), em Shadish, Cook e Campbell e em Fávero & Belfiore (teoria), em Sargent, na ISO/IEC 25012 e em Sandve et al. (cálculo e reprodutibilidade) e na triangulação de Denzin e Yin (realidade).