Artigos e Estudos

03/10/2018 | 07:31

Por Maria Cecília Prates Rodrigues, Especial para Plurale (*)

Em 2007, no livro “Derrubando mitos – Como evitar os nove equívocos básicos no mundo dos negócios” , Phil Rosenzweig, professor do IMD/Lausanne, fez um importante alerta sobre os nove equívocos normalmente cometidos no ambiente corporativo. Considero bem oportuna a reflexão sobre esses mesmos nove equívocos quando aplicados ao planejamento e avaliação de projetos sociais. Procurarei mostrar a seguir que todos esses equívocos tendem também a ser cometidos com certa frequência no setor social.

Como fez Rosenzweig no seu livro, a intenção não será aqui apresentar o passo-a-passo para garantir a implementação de bons projetos sociais. Mas será principalmente chamar a atenção sobre esses equívocos, que podem prejudicar as organizações do terceiro setor na condução das suas iniciativas sociais, sobretudo no que se refere ao planejamento e avaliação de resultados.

Equívoco 1 – Efeito Halo

O primeiro equívoco é o chamado efeito halo, que é a tendência que temos a fazer inferências sobre aspectos específicos a partir de uma impressão geral, e vice-versa. Ou seja, tendemos a fazer julgamentos com base no que está mais aparente, sem um aprofundamento maior.

Por exemplo, suponha um grupo de pequenos produtores rurais, participantes de um projeto de cooperativismo, que atravessou recentemente uma situação corriqueira de atrito entre eles para uma determinada tomada de decisão. Coincide que, por volta dessa ocasião, eles são solicitados a responder a um questionário de avaliação. Muito provavelmente por conta dessa percepção recente de atrito, as respostas de cada cooperado a praticamente todos os itens do questionário venham impregnadas desse sentimento de baixa união entre eles, conseguindo abafar os demais aspectos positivos e avanços conseguidos pelo projeto social. Ou outro exemplo: suponha um grupo de ex-presidiários, a tendência é “carimbar” cada um deles como possuidor de elevado grau de periculosidade.

Assim, no primeiro caso, o efeito halo tende a influenciar a forma como os beneficiários do projeto respondem ao questionário naquele momento e, portanto, acaba afetando a auto-avaliação deles acerca do projeto. No segundo caso, o efeito halo afeta o modo como os ex-presidiários são tratados pela sociedade como um todo, e até mesmo nas próprias organizações sociais, justamente as instituições que têm a missão de apoiá-los no seu processo de inclusão.

Equívoco 2 – Correlação e causalidade

Dois fatos podem estar correlacionados, mas não há clareza sobre qual deles é a causa e qual é o efeito. Para ilustrar, Rosenzweig lembra que normalmente se costuma afirmar que a responsabilidade social corporativa é um dos fatores causais para o melhor desempenho financeiro da empresa (efeito). No entanto, é bastante plausível argumentar o contrário: o melhor desempenho financeiro é que é o fator causal para possibilitar à empresa se dedicar e alocar recursos, de forma mais estruturada, em iniciativas de responsabilidade social junto a seus vários públicos.

Fazendo um paralelo, suponha um projeto de empreendedorismo para jovens em comunidades pobres, voltado para a capacitação e geração de trabalho e renda. Poder-se-ia questionar o que vem em primeiro lugar, ou seja, qual é o fator causal: é o jovem já mais motivado para o empreendedorismo que procura o projeto? Ou é o projeto que torna o jovem mais motivado e estimulado para o empreendedorismo? Como normalmente os projetos sociais têm caráter voluntário de entrada, há que se conviver e estar atento para esse viés de seleção dos casos, que afeta a percepção dos resultados. Pois quem procura participar dos projetos já traz em si em elemento diferencial relevante em relação às demais pessoas, que é esse desejo de mudança social.

Equívoco 3 – A explicação única

Na lógica dos gurus do mundo dos negócios, é usual atribuir o sucesso do desempenho empresarial à preponderância de um determinado fator explicativo – quer seja o carisma e liderança do CEO (o caso da ABB, companhia de eletricidade oriunda da fusão da sueca, Asea, e da suíça Brown Boveri), ou a orientação voltada para o cliente (caso Apple), ou a cultura corporativa forte (o caso IBM nos anos 1980), ou o foco em determinado segmento produtivo (o caso Lego). Rosenzweig critica esse tipo de abordagem, pois os fatores explicativos para o desempenho empresarial são tão entranhados e complementares entre si que se torna quase impossível isolar o efeito de cada um deles. Ou seja, na realidade o desempenho é o resultado da ação conjunta de todos eles.

Em se tratando dos projetos sociais, essa dificuldade está também muito presente. Veja o caso de um projeto de esporte e de reforço escolar, oferecido para crianças em situação de vulnerabilidade no período do contraturno da escola, em que os objetivos de resultado pretendidos sejam promover o desempenho escolar e a formação integral da criança. Ora, sabemos que nessa fase da vida é fundamental o papel exercido pela família e pelo processo natural de amadurecimento/crescimento da criança, além, é claro, das características individuais próprias de cada criança. Então, por mais rigoroso que seja o modelo de avaliação de impacto adotado, estamos sempre frente ao desafio maior de simplificação da realidade complexa, podendo incorrer em erros consideráveis de estimativa para isolar causas, e que, nem mesmo com o auxílio da estatística mais avançada, temos a capacidade de aquilatar a sua real dimensão.

Como conseguir dissociar a interação tão forte e imbricada entre esses diferentes fatores para entender a sua influência em separado no desenvolvimento da criança? Ou seja, no caso da avaliação de impacto, como isolar (dos demais fatores) o efeito em separado do projeto social para a criança? Na vida real, esse é um desafio ainda não resolvido por pais diletos no relacionamento com os seus filhos, mesmo com o apoio dos mais competentes psicólogos....

Sem falar que no que se refere a esse equívoco, como ilustra o exemplo dado, os avaliadores se deparam ainda com outro grande desafio, que diz respeito a como operacionalizar adequadamente os muitos conceitos abstratos utilizados (no exemplo dado, os conceitos: desempenho escolar; formação integral; papel da família; amadurecimento da criança; características pessoais relevantes), que abundam nos projetos sociais.

Equívoco 4 – Ligar os pontos de sucesso

No meio corporativo, ainda hoje prevalece a ideia de que o caminho mais direto e curto para o sucesso é o de copiar e adaptar os exemplos de empresas bem sucedidas. Em 1982, dois consultores da McKinsey, Tom Peters e Bob Waterman, ficaram famosos com o seu livro “Em busca da excelência: lições das empresas mais bem administradas da América”, em que eles fizeram um estudo com 43 empresas tidas como excelentes nos EUA naquele momento, com base em pesquisa qualitativa (entrevistas) e, ao final, elencaram as práticas que essas empresas tinham em comum, e que deveriam ser seguidas por empresas que almejassem ter desempenho superior.

Porém, dois anos apenas depois, várias dessas empresas-modelo já vivenciavam situações de fracasso. Foi quando Jim Collins (da consultoria McKinsey) e Jerry Porras (professor da Stanford University) apontaram que eles haviam cometido dois erros básicos: só considerar o grupo das empresas vencedoras; e para apenas um dado momento. Daí, decidiram alargar a análise para o longo prazo (1926-1990), introduziram um grupo de comparação, e seguiram procedimentos científicos de pesquisa experimental. Feitas essas correções metodológicas, em 1994 eles publicaram o livro que também ficou famoso: “Feitas para durar: práticas bem sucedidas de empresas visionárias”, no qual acabaram chegando à proposição das mesmas práticas (dos dois autores anteriores) para o sucesso empresarial, que são: foco no que a empresa sabe fazer bem, valores e cultura corporativa sólidos, proximidade com os clientes, empoderamento e motivação dos colaboradores.

Poucos anos depois, novo fiasco: pouquíssimas daquelas empresas analisadas naquele segundo livro, tidas como visionárias, ainda mantinham desempenho superior à média do mercado. Então, seria mesmo possível fazer uma prescrição sobre quais os fatores que levam ao sucesso corporativo?

Em seu livro, Rosenzweig não teve a intenção de dar resposta a essa questão. Porém, foi categórico ao afirmar que em ambos os livros prevaleceu o equívoco de apenas “ligar os pontos de sucesso” sob a ação do efeito halo. Isto porque as duas pesquisas começaram por selecionar as empresas baseadas no seu resultado (desempenho financeiro), e só depois partiram para coletar retrospectivamente as práticas de gestão sobre essas empresas, seja por meio de entrevistas aos seus públicos ou coleta de artigos especializados. Daí porque não chegaram às causas do desempenho superior delas (pois já partiram das empresas classificadas segundo o seu desempenho), mas tão somente chegaram aos atributos (ou características) desse desempenho. Dito em outras palavras, os achados quanto às práticas de gestão de cada empresa apenas refletiam o “brilho” do seu desempenho até aquele momento – ou efeito halo.

Transpondo para o campo da avaliação dos projetos sociais, fica o alerta de que não se deve nunca compor uma amostra de pesquisa, já conhecendo de antemão os dados dos indidvíduos no que se refere aos indicadores de resultado, sob pena de desacreditar a pesquisa. Por exemplo, suponha que queiramos avaliar um projeto de capacitação para o mercado de trabalho. Então, na avaliação final, priorizamos intencionalmente, para compor o grupo dos beneficiários, as pessoas já trabalhando e satisfeitas; e para o grupo de controle (ou comparação), as pessoas ainda sem trabalho. Certamente seremos criticados por manipular a avaliação dos resultados do projeto.

Por isso, a amostra deve ser sempre representativa da população analisada e, sobretudo, aleatória, isto é, deve haver sempre o completo desconhecimento de antemão dos resultados (ou do potencial de resultados) para os casos selecionados. A lógica para a escolha dos casos a serem pesquisados deve ser justamente a inversa da que foi adotada por esses renomados autores da Administração. Assim, o que se deve fazer é partir das características conhecidas dos indivíduos e se buscar, então, investigar a causalidade desses atributos para os resultados sociais que serão alcançados depois.

Equívoco 5 – A pesquisa rigorosa

Vimos que, no livro “Feitas para durar: práticas bem sucedidas de empresas visionárias”, Collins e Porras se esforçaram por conduzir uma pesquisa tida como rigorosa, de modo a compensarem os erros metodológicos cometidos por Peters e Waterman. Mas mesmo assim, os autores falharam em identificar os fatores explicativos do sucesso corporativo. E por que?

Como explica Rosenzweig, eles foram meticulosos, exaustivos em termos da extensa quantidade de dados coletados, e o estudo deles foi apresentado com toda a aparência de ciência cuidadosa. Porém, a quantidade de dados é um quesito irrelevante para gerar as respostas desejadas pela pesquisa, se os dados não forem de boa qualidade. No caso em questão, como as fontes de dados já estavam corrompidas pelo efeito halo, não importava quantos dados eles coletassem e a metodologia que utilizassem, o fato é que a pesquisa deles já havia sido planejada de modo equivocada e, portanto, não conseguiria produzir as respostas esperadas sobre quais eram os fatores explicativos para o desempenho das empresas.

Nos projetos sociais, há sempre o risco de se cair em armadilha semelhante de exigência de pesquisa rigorosa para a avaliação de impacto, como se isso fosse a garantia para a avaliação bem feita. O argumento defendido por uma corrente de especialistas é que se não for adotada a pesquisa experimental (que é baseada em métodos estatísticos complexos), a avaliação é considerada como ingênua e de baixa credibilidade.

Porém, e aqui fazendo coro com Rosenzweig, chamo a atenção de que pouco adianta o uso de métodos experimentais sofisticados se os dados coletados não forem de boa qualidade. E dados de boa qualidade vão depender de uma série de pré-requisitos, tais como:

• Clareza na identificação das questões centrais de avaliação a serem trabalhadas, tomando por base a teoria da mudança do projeto (o que se quer saber com a avaliação);
• Desenho adequado da amostra para que ela seja representativa e aleatória (quem vai ser pesquisado);
• Operacionalização bem feita dos conceitos abstratos em indicadores, compatível com a realidade do projeto;
• Elaboração cuidadosa do questionário (o modo de formular as perguntas avaliativas);
• Condução criteriosa da pesquisa de campo (o modo de aplicação do questionário).

Assim, se essas condições forem seguidas, há grande chance de que os dados coletados sejam de boa qualidade, tendo em vista os objetivos da pesquisa. Uma vez que os dados coletados sejam de boa qualidade - essa sim condição necessária para uma avaliação bem feita -, nem sempre o rigor estatístico do método será o mais indicado para a avaliação dos resultados dos projetos sociais.

Veja o caso das organizações do terceiro setor, em que a maioria delas, sobretudo no Brasil, é pequena, com ações pontuais, e longe de ter recursos para demandar uma avaliação mais complexa – nem financeiros e nem humanos. Assim, métodos simples de análise são mais compatíveis com esse contexto, e podem também gerar boas aproximações acerca dos resultados alcançados e, por seu formato mais direto e simples, conseguirem ser mais úteis para orientar a gestão dos projetos sociais nessas organizações.

Equívoco 6 – Sucesso duradouro

No livro “Feitas para durar: práticas bem sucedidas de empresas visionárias”, além do erro metodológico que Collins e Porras cometeram (equívoco 4), Rosenzweig afirma que eles ainda incorreram em outro equívoco sério: não se pode prescrever sucesso duradouro nos negócios. Isto porque não é uma promessa realista, pois em uma economia livre não há como manter indefinidamente taxas elevadas de lucratividade - os negócios são dinâmicos movidos pela inovação, competitividade, imitação, novas necessidades de produtos e serviços e novas maneiras de empreender.

Esse equívoco serve também como um alerta para a área social. Precisamos estar atentos que uma estratégia de atuação (também conhecida como teoria da mudança) adotada por uma organização social em um determinado período, e que foi considerada efetiva após a avaliação de seus resultados, não necessariamente seguirá sendo efetiva para todo o sempre naquela organização. Pois também no setor social cada vez mais há evidências de que a estratégia é datada, funciona bem dentro de certas circunstâncias, porém periodicamente ela deve ser reavaliada pela instituição. O que ocorre é que, com o tempo, tudo vai mudando, dentro e fora da organização: o contexto social, as características do seu público beneficiário, as condições internas de trabalho, o tipo de oferta de serviços sociais pelas outras instituições sociais e pelo próprio governo, etc...

Para ilustrar, suponha a dinâmica de trabalho com crianças em situação de vulnerabilidade que era adotada há dez anos atrás; muito provavelmente essa dinâmica não se adequaria às crianças de hoje, muito mais acostumadas com a internet, jogos eletrônicos, celular, certos tipos de programas de televisão e músicas, e diferentes rotinas da família. Ou seja, só essas mudanças de hábitos e costumes do público beneficiário já seriam razão suficiente para fazermos algumas adaptações no planejamento da estratégia de atuação do projeto.

Equívoco 7 – Desempenho absoluto

Rosenzweig chama a atenção para outro equívoco do mundo corporativo, que é o de considerar o desempenho de uma empresa como sendo absoluto, e não relativo. O desempenho da empresa pode ter melhorado bastante, e mesmo assim ela ter ficado atrás das suas concorrentes. Ou seja, em relação ao mercado a situação dela piorou.

Poder-se-ia alegar que esse equívoco não se aplica ao setor social, ou que é pouco relevante, pois este é um campo eminentemente colaborativo e não concorrencial. Muito ao contrário, pois para além de ser um setor colaborativo cuja máxima é unir forças para promover o bem, não se pode negar que exista aí muita concorrência entre as organizações que participam dele. Basta ver que, considerando um mesmo campo de atuação - por exemplo, empreendedorismo na base da pirâmide -, a instituição social que demonstrar um desempenho melhor, certamente conseguirá captar mais recursos junto aos órgãos financiadores.

Sob a ótica da avaliação, o julgamento do que é bom ou ruim deve sempre levar em consideração o contexto social em que a organização trabalha. Ou seja, o julgamento é relativo. Assim, suponha dois projetos de reforço escolar voltados para adolescentes (da mesma faixa etária) em comunidades de baixa renda. Ao final de três anos de duração do projeto, as taxas de repetência e evasão eram de, respectivamente, 20% e 15% no primeiro projeto, e de 5% e 3% no segundo projeto. Sem dúvida, o desempenho absoluto do primeiro projeto parece bem pior do que o do segundo (maiores taxas de repetência e de evasão). Porém, se considerarmos que os beneficiários do primeiro projeto eram constituídos basicamente por adolescentes transgressores em fase de cumprimento de medidas socioeducativas, seremos levados a reconsiderar essa nossa avaliação: relativamente, a transformação social exercida pelo primeiro projeto pode ter sido bem mais vigorosa do que o do segundo projeto, uma vez que foi uma iniciativa envolvendo um público muito mais complicado e cheio de problemas pessoais e de relacionamento, além de possivelmente ter partido de uma situação pré-projeto mais desfavorável.

Equívoco 8 – A ponta errada do bastão

Outro equívoco é acreditar que as empresas altamente focadas são as mais bem sucedidas, isto é, aquelas que miram a ponta do bastão e traçam uma estratégia linear e obstinada para atingi-la. Jim Collins fez justamente essa recomendação em seu outro livro (2001), “Empresas feitas para vencer – Por que algumas empresas alcançam a excelência.... e outras não”. Porém, quando as circunstâncias mudam, há grande chance de que a ponta do bastão deixe de ser o alvo certo. Por essa razão, Rosenzweig argumenta que não necessariamente a empresa precisa ter um único objetivo e só atuar onde tem excelência. O que é fundamental é a capacidade da companhia em ser resiliente e ir se ajustando às circunstâncias que estão sempre mudando. Em sentido figurado, tanto faz ser um ouriço [que é uni-focado, metódico e lento] ou uma raposa [multi-focada, ligeira e esperta]; o que conta é a flexibilidade às novas situações.

Para a área social, esse é um alerta também válido, porém precisa de uma certa cautela. Pois aqui há o risco contrário, isto é, das organizações saírem criando inúmeros objetivos (ou várias pontas de bastão) já que, na maior parte das vezes, não há medidas concretas para avaliar o desempenho social e elas poderem ser “cobradas”.

Assim, sobretudo nas organizações do terceiro setor, em que a vontade de ajudar é muito grande, é comum ver projetos com vários objetivos de resultados, todos especificados de forma imprecisa e vaga à semelhança de uma carta de boas intenções. E, quando isso ocorre, o efeito social é perverso, porque deixa de haver compromisso com o alcance dos objetivos: pois se não há clareza sobre aonde se quer chegar, como traçar caminhos e saber se chegou mesmo?

Um planejamento bem feito é pré-requisito para a avaliação ser bem feita, sem falar no seu papel orientador para a execução. E, da mesma forma como no setor corporativo, não importa se o projeto social tenha uma ponta ou mais, isto é, um ou mais resultados pretendidos. O relevante é que os objetivos sejam definidos de forma clara, precisa e avaliável; guardem entre si uma relação de causa-e-efeito com as ações do projeto; e sejam estabelecidos e modificados sempre em sintonia com as necessidades sociais da(s) comunidade(s) atendida(s) e as potencialidades da organização executora e dos seus parceiros.

Equívoco 9 – A física organizacional

Como analisou Rosenzweig, na física prevalece a certeza, as leis imutáveis da natureza, as relações causais claras e a previsibilidade total. Por exemplo, os físicos conseguem prever, com o máximo de precisão, as órbitas dos planetas e a frequência da luz. Já no mundo dos negócios, é diferente: há incerteza, imprevisibilidade, e só se pode falar em probabilidade, que é função de possíveis circunstâncias. Então, o equívoco é justamente pretender analisar as empresas com a lógica da precisão e replicabilidade dos fenômenos cósmicos e dos laboratórios. Como gostariam os gurus da Administração mencionados por Rosenzweig, “não podemos enfiar as empresas em tubos de ensaio e realizar experimentos elegantes” para identificar causalidade, nem dar garantias para os procedimentos que vão gerar o desempenho “excelente” das empresas.

Esse equívoco também tende a ocorrer com bastante frequência no âmbito dos projetos sociais, e aqui ilustro com duas situações. A primeira situação diz respeito à utilização de métodos estatísticos experimentais como álibi para avaliações de resultado de projetos sociais, consideradas bem feitas e detentoras do desejado rigor científico. Como visto, de pouco adianta a sofisticação do método se os dados coletados não forem de boa qualidade (como visto nos equívocos 4 e 5) e se a hipótese de avaliação a ser investigada padecer de erros básicos de construção (equívocos 1,2,3, 4 e 5). E, mesmo que se partisse do pressuposto de que os métodos experimentais tenham sido adotados com perfeição (o que é de comprovação praticamente impossível), vale lembrar que, como normalmente não se tratam de experimentos puros (não há a seleção aleatória dos participantes do projeto e nem a coleta de dados para o universo dos participantes), os resultados são sempre apresentados em termos de probabilidade, nunca de certeza quanto à efetividade (ou não) do projeto social analisado. E podem haver diferentes maneiras para gerar boas aproximações dessa probabilidade, não necessariamente por meio dos complexos modelos estatísticos experimentais.

A segunda situação está relacionada ao desejado compartilhamento de práticas bem sucedidas. Assim, se em um projeto social A, a estratégia adotada (ou a teoria da mudança) funcionou, então se espera que ela possa ser transferida para outro projeto B de mesma natureza, sem questionar devidamente as especificidades do contexto social de cada projeto. Ledo engano, e também reforçando os equívocos 6,7 e 8, o máximo que podemos afirmar é que se em A, a estratégia funcionou bem, há uma boa probabilidade de que venha a funcionar bem em B – só que essa probabilidade deve ser analisada com bastante cautela, tanto antes como durante a sua replicação. Isso porque, como no mundo corporativo, também em projetos sociais não há certezas, apenas probabilidades dependendo das circunstâncias.

Considerações finais

A utilização do tópico-guia de Phil Rosenzweig, para analisar os negócios corporativos, serviu para chamar a atenção, e reforçar, os equívocos que também são cometidos no âmbito dos projetos sociais, com ênfase aqui para questões de planejamento e avaliação. Assim, é importante estarmos atentos a esses equívocos para evita-los, ou ao menos minimizá-los, sempre que possível. São eles:

1. Avaliar e atuar na área social sem ter a consciência da influência exercida pelo efeito halo;
2. Confundir correlação com causalidade, tendendo a superestimar a influência do projeto social;
3. Não se dar conta de que isolar a causalidade do projeto social será sempre uma estimativa passível de erro, qualquer que seja o método;
4. Compor a amostra de participantes da pesquisa de avaliação já conhecendo de antemão os resultados alcançados por eles;
5. Adotar métodos analíticos sofisticados sem cuidar da qualidade dos dados;
6. Supor que a estratégia de um projeto social bem sucedido pode ser duradoura;
7. Considerar que existe um ótimo absoluto no que se refere ao desempenho social;
8. Supor que uma atuação focalizada em um único objetivo de resultado é condição para um projeto social efetivo;
9. Supor que são sempre verdadeiros os resultados encontrados na avaliação de impacto feita com rigor estatístico, e que pode haver garantia na replicabilidade dos projetos sociais exitosos.