Você não dirigiria o seu carro sem o painel de controle, não é?
Do mesmo modo você não dirigiria o seu programa social sem entender se as suas ações estão melhorando a vida do seu público alvo.
Simples assim, essa é a razão pela qual cada dia mais se fala de Avaliação de Impacto. Não é só medir quantos livros foram distribuídos ou horas de aula ministradas em uma iniciativa de apoio, mas medir quanto recuou o analfabetismo na região, e se recuou devido ao programa ou por outras causas.
Um programa de avaliação de impacto aumenta fortemente a transparência dos projetos sociais, mostrando se os recursos de fato ajudam os destinatários ou se servem apenas para a auto conservação da organização pública ou privada que os gerencia. Para a realidade do terceiro setor isso está se tornando fundamental mesmo para a arrecadação de fundos e a sustentabilidade do projeto. Um estudo recente sobre filantropia na América Latina feito pelo Hauser Institute da Harvard Kennedy School monstra claramente que, com o foco passando da caridade para a mudança, muitos recursos são disponibilizados só com a presença de planos que possam evidenciar quantitativamente os resultados a ser alcançados.
Implementar esses planos não é, porém, nem fácil nem barato. ONGs e órgãos públicos normalmente não tem as competências estatísticas necessárias e os recursos para a coleta dos dados.
A Associação Aventura de Construir é uma realidade pequena, mas obcecada em realizar uma melhoria real na vida dos microempreendedores de baixa renda das periferias de São Paulo (por enquanto), agindo com o máximo profissionalismo, realismo e parcimônia.
Começamos o nosso trabalho em 2012 com um questionário envolvendo cerca 150 indivíduos para entender as principais exigências não atendidas, desde o início registramos todos os contatos com o público alvo para poder chegar a indicadores gerenciais (“Quantas pessoas participaram das nossas palestras? Quantos participaram uma, duas, três vezes?” “Quantos receberam uma consultoria individual?”), e – depois da primeira fase de start-up – começamos seis meses atrás o nosso programa de avaliação de impacto, definido com a ajuda da Kellogg Institute da Notre Dame University, da ALTIS, da Universidade Católica de Milão, e da Comunitas de São Paulo. Para mais informações sobre o nosso programa de avaliação de impacto, leia aqui.
Foi um caminho desafiante, e gostaríamos oferecer algumas poucas dicas para facilitar quem está considerando começar agora:
Pense bem se você quer fazer: nós gastamos 9 meses/homem para definir e fazer a pesquisa de linha de base, mais duas semanas homem cada 6 meses para reaplicar o questionário a 70 sujeitos impactados do nosso trabalho e a 40 empreendedores do grupo de controle.
Se quer fazer, contrate um estatístico: mais cedo ou mas tarde você vai pedir sua ajuda, e pode ser tarde demais. O estatístico é fundamental para definir o que e como medir, não só na analise dos dados coletados.
Contratando ou não um estatístico, leia “Avaliação de Impacto na Prática“. É gratuito, é em português, é feito pelo Banco Mundial, é simples e explica os fundamentos que até gerentes podem entender.
Na medida do possível, defina os seus processos antes: como lidar com valores extremos (outliers)? Como substituir sujeitos que saem dos grupos de pessoas de impacto e de controle? Se você reage ao longo do caminho, a tentação de adaptar as regras aos resultados desejados é forte, e avaliadores externos sempre vão suspeita-lo.
Cuidado com os fatores de confusão: se as receitas melhoram pode ser devido ao trabalho de vocês ou pela melhoria geral da economia. Sem um grupo de controle bem escolhido nem vale a pena fazer avaliação de impacto.
Não poupe recursos na coleta de dados inicial (a linha de base): sem conhecer o ponto de partida é impossível medir progresso. Nas perguntas e no número de entrevistados é melhor errar por excesso: você sempre vai descobrir coisas inesperadas.
Na avaliação periódica seja gentil com os seus entrevistados: nessa fase limite ao máximo as perguntas. Roubar mais que 5 minutos para responder é má educação, e aumenta o número de quem sai da pesquisa (e isso vai afetar a qualidade dos seus resultados).
Faça perguntas simples e com respostas objetivas: não “Você gosta ler?” mas “Quantos livros você leu no último mês?”
Considere um período de warm-up: no começo haverá muitos problemas inesperados (na coleta, na elaboração, na interpretação) que devem ser acertados antes de produzir resultados comparáveis. Nós realizamos 3 levantamentos testes com intervalo de três meses antes de considerar o programa consolidado.
Na análise, não espere dos números mais do que eles podem oferecer:
“Não tudo o que é importante pode ser medido, e nem tudo o que pode ser medido é importante”: o objetivo da medição de impacto é relatar causa e efeito. Os números não podem fazer isso: podem provar ou desaprovar uma hipótese, nunca criar uma do zero, então não se esqueça de ficar atento ao seu público e coletar informações qualitativas. Eles ajudarão o seu “insight”.
a primeira coisa que se aprende no ensino técnico é que cada medida tem erros. Vale para medir pedras, imagina para respostas de humanos!
cuidado com as médias: antes de tirar conclusões dê uma boa olhada em todos os pontos. Um valor anormal (ou um erro de transcrição!) ou as médias podem contar uma história completamente diferente da realidade.
Última nota: Goodhart, um economista inglês, virou famoso pela sua lei: “Quando uma medida vira um objetivo, cessa de ser uma boa medida”. Com toda a pressão sobre os resultados, se corre o risco de agir – conscientemente ou não – em prol da melhoria dos indicadores, e não para o bem estar do público alvo. Ética é também lembrar que os números descrevem a realidade, mas nunca podem tomar o seu lugar.
Silvia Caironi