Ficha de Leitura IV

Referência Bibliogáfica: GUERRA, Isabel Carvalho (2002). A Avaliação de um Projecto de Intervenção. In GUERRA, Isabel Carvalho. Fundamentos e processos de uma sociologia da acção: o planeamento em Ciências Sociais.2ªed, pp 175-207. Cascais: Principia.

 

Palavras-chave:

  • Auto-avaliação;
  • Avaliação externa;
  • Princípios da Avaliação;
  • Modelos de Avaliação;
  • Indicadores;
  • Dificuldades.

 

Reflexão Crítica:

            A avaliação de um projecto de intervenção constituiu um elemento integrado no processo de planeamento; revela-se importante e indispensável pois o “plano de avaliação” estruturado em prol do projecto é assistido por mecanismos de autocontrolo que de forma rigorosa, possibilitam ter conhecimentos dos resultados e dos efeitos da intervenção, e ser for necessário fazer um ajustes e rectificações. Contudo esta tarefa pode tornar-se difícil devido à sua complexidade e à variedade de modelos e processos de avaliação existentes.

           Existem múltiplas modalidades de organização da avaliação, contudo mais frequentemente opta-se por coincidir a auto-avaliação com a avaliação interna ou externa. Estes dois tipos de avaliação distinguem-se pela forma de controlo das variáveis em causa; sendo que na auto-avaliação existe sintonia entre a equipa de terreno e a equipa de avaliação, funcionando com base na percepção que a equipa contém dos resultados da sua acção. Por sua vez na avaliação interna ou externa a separação entre a equipa de terreno e a de avaliação acontece, recorrem também ao uso de técnicas de recolha de informação mais sistematizadas e existe maior controlo metodológico.

         A utilização da avaliação exterior parece uma escolha acertada quando são evidentes tensões, bloqueios ou conflitos consequentes da acção das parcerias; este apoio exterior é também benéfico no auxílio da elaboração da avaliação e na testagem dos utensílios de avaliação; na estimulação de adopção de uma rotina avaliativa; para apoiar técnicas de avaliação mais sofisticadas e contribui na sensibilização de actores locais para a dimensão avaliativa. No entanto é importante referir que o avaliador ou avaliadores externos, não interessando o seu modo de participação, têm que perseguir a seguinte condição: “ os actores locais e quem conduz a acção devem apropriar-se do processo e dos resultados da avaliação” (2002; p. 176).

         Qualquer que seja a modalidade de avaliação utilizada a sua prática prevê a programação de funções e momentos próprios, sendo eles: a comparência de um responsável pela avaliação; um financiamento orientado para a avaliação e o accionamento de acções de avaliação com os vários intervenientes assim momentos de avaliação-formativa com os técnicos, parceiros e representantes da população.

            Falar sobre avaliação de projectos de intervenção remete-me para a única experiência que tive acerca desta componente, esta aconteceu aquando a realização de um projecto na unidade curricular Metodologia de Projecto; a avaliação do projecto sucedeu no final, depois da sua planificação e implementação, e contava com duas variáveis. Sendo que cada elemento do grupo avaliava o seu próprio trabalho, ou seja fazia uma auto-avaliação, apreciando também o trabalho dos restantes membros do grupo. Esta avaliação sucedeu  através de uma ficha entregue a cada elemento, que continha as várias categorias definidas pelo docente, a cada uma delas teria que ser atribuída uma nota. Embora esta avaliação realizada não se possa comparar à complexidade inerente a este processo, como é possível constatar no texto, possibilitou-me ter um primeiro contacto com a mesma, e perceber que para realizá-la é necessário reflectir sobre o trabalho realizado e sobretudo ver a discrepância daquilo que foi desenvolvido e daquilo que poderia ter sido desenvolvido, e aprender com isso, determinando as hipóteses que levaram à falha de certos domínios.

            Desde o início do século que os modelos de avaliação vão sendo confrontados com diferentes “gerações” ou “paradigmas da avaliação”, e assim se desenvolvem, submetidos às críticas dos modelos anteriores. Acompanhar esta constante construção e desconstrução dos paradigmas de avaliação possibilita reconhecer as potencialidades e os riscos da sua utilização. Eu penso que este entendimento acerca dos factores que foram delineado a avaliação aos longo dos anos carece de muita importância, pois não só revela a complexidade deste processo construtivo influenciado por variados factores, como poderá prever algumas das vantagens e desvantagens da sua utilização, o que se tornará crucial na sua utilização adequada e claro está o seu sucesso.

            A avaliação tem origens muito remotas, como actividade científica é datada antes da Primeira Grande Guerra, contudo associada à busca de eficácia de programas sociais, referindo-me à alfabetização da população adulta, formação profissional, etc., surge após a Segunda Guerra Mundial. Sendo neste período que a avaliação passa a ser reconhecida como relevante pelos interessados em programas sociais, isto porque o crescimento económico era notório acreditando-se que a “avaliação poderia dizer quais os programas e métodos mais apropriados permitindo a generalização racional das situações de sucesso” (2002; p. 177). Ou seja, assim como a sua origem, as suas vantagens foram reconhecidas bastante cedo, e isto fez com que a avaliação sofresse uma notória evolução, na segunda metade do século XX, originando diversos modelos de avaliação e a diferenciação dos papéis do avaliador.

            Actualmente são apontadas três origens distintas à avaliação de projectos sociais, conhece-los parece relevante pois os mesmos definem a forma como a avaliação se apresenta nos dias de hoje. A primeira remete para a procura da eficácia, acima mencionada; a segunda origem acrescenta à procura da eficácia a necessidade de transparência e de reforçar a democraticidade nas actividades públicas. E por fim, a terceira que constitui um grande desenvolvimento, trazendo novas técnicas, oriunda da evolução da “avaliação de impactes sociais” resultante da critica à “avaliação de impactes ambientais” por descuidarem a análise dos impactes sociais nos projectos ambientais.

            A par desta evolução regista-se o progresso de diferentes “gerações” ou paradigmas da avaliação”, que vão desde a “avaliação tecnocrática”, passando pela “avaliação processual”, e por fim, à avaliação participativa”, a dos dias de hoje. A avaliação tecnocrática era realizada como um instrumento de aplicação sistemática, que servia para analisar o grau de coincidência entre os resultados e os objectivos delineados, assim como a eficiência na utilização dos recursos. Por sua vez, a avaliação processual mais do que prever o desvio entre objectivos estabelecidos e resultados, pretende dar a este processo um dispositivo de auto-regulação alargada, tendo em atenção os múltiplos tipos de actores envolvidos e o conjunto de variáveis estáveis, tanto a nível interno como externo. A avaliação participativa resolve conjuntamente a multiculturalidade “dos olhares sobre a condução dos processos sociais e a nova democraticidade que é exigida à acção pública” (2002; p. 183). Esta participação pública nos procedimentos de avaliação, torna-se fulcrais pois possibilitam: adquirir um conhecimento “local” dos problemas existentes; crescimento e verificação da capacidade de detecção e previsão das consequências das novas acções referentes aos sistemas ambientais, sociais e organizacionais locais; ter a competência de estimular o desenvolvimento local, através de projectos; reduzir as probabilidades de acontecerem conflitos abertos e radicais entre grupos locais; e por fim demonstra-se um importante meio no desenvolvimento de um clima de consensualidade social, vantajoso na compatibilidade dos objectivos de desenvolvimento social e económico.

            Compreender esta evolução dos paradigmas de avaliação, que tornaram a avaliação como a conhecemos actualmente, demonstra-se uma mais-valia, pois permite-nos perceber a complexidade deste processo e assim conhecer com mais exactidão a suas formas de funcionamento.

            Embora se possa afirmar que a investigação e a avaliação utilizam metodologias tradicionais de investigação em ciências sociais, as mesmas são distintas, passo a explicar; a investigação é reconhecida como a utilização sistemática de instrumentos de recolha de informação, que dá a oportunidade de conhecer o real, qualquer que seja o uso a dar a esse conhecimento; por sua vez a avaliação pretende medir os resultados de uma acção, que tinha objectivos específicos, conseguindo elementos que suportam decisões.

            Na minha opinião é possível distinguir estes dois conceitos, mas não é provável conseguir desassocia-los totalmente, isto porque como a autora do texto refere, as metodologias de avaliação são simultaneamente metodologias de investigação e isso cria um elo de junção quase inseparável. Portanto defendo que as duas se completam, e a utilização das mesmas conjuntamente fortalece o trabalho a desenvolver. Para reforçar a minha opinião recorro à posição do autor Zuninga (1986; p. 16) que reconhece uma possível reconciliação entre investigação e avaliação, propondo a “investigação-avaliativa” que orientada para a concepção de um programa com uma “acção colectiva, planificada de antemão, com uma racionalidade explicita que prevê os resultados a atingir e que organiza as actividades como meios para atingir determinados fins, controlando esses resultados” (2002; p. 184).

            Retratadas as evoluções e mutações que a avaliação passou, parecer pertinente finalmente definir concretamente o seu conceito. Sendo que avaliar é sempre comparar como um modelo, medir, e inclui uma finalidade operativa que visa corrigir ou melhorar. Avalia-se a partir de um padrão ou modelo, que se encontra delineado através do diagnóstico de situação inicial, incluindo os objectivos e metas estipulados. Para funções da avaliação, destacam-se: a de medida; a de utensilio de apoio à tomada de decisão; a de processo de formação; e a de aprofundamento da democracia participativa.

            Caracterizando cada uma das quatro funções, começo pela avaliação como medida: que nega a avaliação com um simples processo de medição de resultados, afirmando que esta é um processo contínuo articulado com a acção, onde os resultados finais são uma parte da avaliação. Gostei particularmente desta função porque é importante referir que a avaliação não pretende apenas conhecer os resultados de uma acção, mas sim todo o processo; acrescentando que uma boa avaliação deve coincidir aspectos quantitativos mas também qualitativos. A próxima prevê a produção de informações que facilitem a tomada de decisão num contexto multirreferencial e de complexidade dos sistemas de acção. A terceira função prevê que a avaliação deve ser encarada como um processo de aprendizagem, retractando-se como um instrumento de reflexão frente a contextos e resultados de acção. Por fim, a quarta função supõe que a avaliação reconheça um momento de reflexão nos diferentes parceiros acerca dos problemas e os efeitos das acções, assim como acerca das decisões da melhor forma de agir. Conhecer mais profundamente as quatro funções denominadas para a avaliação, ajudou-me a compreender aquilo que se espera quando se utiliza a mesma, ou seja quais serão as minhas pretensões quando a emprego.

            Com o crescimento do interesse pela avaliação nas últimas décadas, foram surgindo diversos modelos, processos e funções atribuídos à mesma, de onde destaco os seguintes modelos de avaliação: a avaliação experimental/pela investigação; a avaliação por objectivos; a avaliação orientada para a decisão; a avaliação pela utilização e por fim a avaliação múltipla. De uma forma sucinta clarifico os termos: a avaliação experimental /pela investigação centra-se na exploração das causas e na verificação dos efeitos, uma das suas vantagens é a objectividade, e o papel do avaliador é o de perito/cientista;            a avaliação por objectivos reconhece as finalidades e os objectivos como os critérios de sucesso da intervenção, sendo que se pretende medir a forma e a intensidade com que os objectivos foram alcançados, uma das suas vantagens é a sua dinâmica prática, o avaliador é reconhecido como colaborador; a avaliação orientada para a decisão pretende a obtenção sistemática de informação para aqueles que gerem e decidem, uma das suas vantagens é a atenção que dá às necessidades de informação de quem decide, o papel do avaliador é denominado como a pessoa que suporta as decisões; a avaliação pela utilização é estruturada de forma a maximizar a utilização dos resultados pelos vários utilizadores, uma das vantagens apontadas é o sentimento de pertença do projecto por todos os intervenientes, o avaliador é reconhecido como colaborador; a avaliação múltipla exalta que a avaliação não é única mas sim múltipla e depende da diversidade dos actores, uma das suas vantagens é a sensibilidade aos múltiplos pontos de vista, o avaliador apresenta-se como consultor/aconselhador.

            Os modelos apresentados podem ser utilizados em momentos distintos, e o seu focus é diferente em função do momento em que é accionado, ou seja são reconhecidos vários tipos de avaliação que pretendem responder a diferentes tipos de questionamento tendo em consideração a temporalidade do projecto, isto segundo H. Freeman e outros (1979). Dito isto são reconhecidos, segundo a sua temporalidade, os seguintes tipos de avaliação: a avaliação diagnóstica (ex-facto ou ex-ante); a avaliação de acompanhamento (on going); a avaliação de resultados (ex-post) três a seis meses (ex-post imediato) três anos depois (ex-post diferida); e a avaliação de impacte (ex-ante ou ex-post).

            Um dos factores relevantes no sucesso do processo de avaliação é a estipulação dos indicadores que calculem o processo e os resultados da mesma, estes podem ter um caracter qualitativo ou quantitativo. As componentes do processo de avaliação que verificam o sucesso prendem-se aos seguintes factores: a apreciação da adequação onde se reconhece se o projecto/programa se adapta ao contexto do problema e da situação que pretende intervir; a verificação da pertinência é onde se identifica se o programa/projecto é justificável no contexto das políticas e estratégias do organismo, serviço, etc.; a apreciação da eficácia legítima se as necessidades foram satisfeitas, se os meios usados foram adequados e se os benefícios previstos foram alcançados; a apreciação da eficiência certifica se os resultados conseguidos equiparados aos recursos dispensados correspondem ao uso mais económico e satisfatório; a apreciação da equidade alude à distribuição dos recursos entre os indivíduos e os grupos, dando enfase à noção de justiça social; a apreciação do impacte prevê determinar a melhoria obtida, é semelhante à eficácia mas mais complexa; finalmente os indicadores de analise económica que poderão ser utilizados a fim de analisar o custo-benefício de cada medida.

            Ter conhecimentos das dificuldades da utilização de metodologias de avaliação é um ponto fulcral no sucesso do mesmo, sendo assim alerto para os principais entraves ao uso de dispositivos de avaliação: o primeiro está relacionado com as bases de enquadramento teórico que situam os contextos de uma avaliação social, isto porque para estabelecer uma base teórica forte é necessário recorrer a diversas disciplinas científicas e a uma grande diversidade de conceitos. Ou seja a nossa avaliação têm que se precaver de fortes alicerces teóricos, pois não se poderá sujeitar a construção da mesma à estipulação de indicadores que darão resposta a problemas práticos. No entanto importa referir que esta dificuldade advém de outra, a impossibilidade de prever os fenómenos sociais, visto que a complexidade das variáveis que influenciam os fenómenos sociais é acrescida e torna-se um entrave o reconhecimento das suas causas, factor indispensável a uma análise da avaliação dos impactes sociais. Outra dificuldade prende-se à avaliação dos objectivos, caracterizada como uma necessidade básica em qualquer metodologia de avaliação é vista como uma problemática complexa. Uma última dificuldade refere-se à construção dos indicadores sociais, imprescindíveis em qualquer avaliação pois representam o que mais directamente será afectado pela intervenção.

            Para finalizar a temática das dificuldades, enuncio quatro tipos de problemas de caracter técnico, que necessitam ser ultrapassadas: o facto das avaliações sociais serem dispendiosas e longas; nem todos os impactes podem ser medidos; a avaliação social é polémica e controversa e por fim a avaliação social obriga a uma equipa de peritos bem preparados e qualificados, realidade que nem sempre está disponível, pelo menos em Portugal.

            Gostava de salientar uma ideia referida ao longo do texto, que segundo a minha perspectiva merece destaque, refiro-me à avaliação multicultural; esta refere-se à atenção dada à diversidade de culturas e de agentes intervenientes nos processos de avaliação, esta mudança decorre aquando uma revisão crítica da avaliação quantitativa em meados da década de 70. Esta ponderação dei-ta abaixo o consenso que tinha levado os investigadores até aqui a utilizarem técnicas de avaliação de caracter acrítico. A partir daqui acredita-se que os diferentes grupos sociais apresentam interesses e lógicas de acção distintas e que a sociedade está mais diversa. Esta ideia parece pertinente pois para o sucesso de uma avaliação é necessário conhecer as particularidades do seu alvo, mesmo dos grupos minoritários, assim como as expectativas e visões do mundo que estes abarcam. Dito isto posso inferir que estes modelos defendiam que os programas sociais eram complexos e movimentavam actividades e recursos distintos, consoante os contextos sociais e geográficos, influenciados por redes politicas, culturais e sociais, assim não se repetem programas pois cada um é adaptado à especificidades locais.

    Concluindo saliento que analisar este texto deu-me a oportunidade de reconhecer de uma forma mais profunda e complexa as potencialidades mas também os riscos da utilização de dispositivos de avaliação. A sua amplitude enquanto campo de estudos revelou-se maior daquilo que eu previamente tinha percepcionava, o seu emprego revelou-se um processo bastante completo, ao qual, como o texto refere, só os mais habilitados e experientes se deverão ousar. Toda a informação adquirida se revestirá de importância aquando a avaliação do projecto de intervenção a ser desenvolvido na unidade curricular de Seminário de Integração Profissional IV, penso ter aqui adquirido conhecimentos e ferramentas que me ajudarão nesse processo.

 

 
Sara Antunes (8404) | 10 de Novembro de 2011

Ficha de Leitura IV.docx (530,1 kB)