Apresentação Seminário GEOPI

Meta-Avaliação: Conceitos e Esforços no Brasil e no Exterior 07/06/2017 Ana Maria Carneiro – NEPP e GEOPI/Unicamp Adriana Bin – FCA e GEOPI/Unicamp Semana de Avaliação da América Latina e Caribe http://www.clear-la.org/home/eval2017-brasil/

Sumário • Conceito de meta-avaliação e diferenciação em relação a conceitos correlatos • Critérios para realizar uma meta-avaliação • Esforços no Brasil e no exterior

Do que estamos falando?

Meta-Avaliação...

De políticas, programas, projetos, produtos, serviços, sistemas, instituições, teorias, modelos, pessoas etc.

Meta-Avaliação: o que é?

• Termo cunhado por M. Scriven no final dos anos 1960 • Significado principal: avaliação da avaliação • Descrição de como a avaliação foi realizada • Juízo de valor sobre a forma como a avaliação foi realizada, tendo em vista padrões do que é uma “boa” avaliação • Joint Committee on Standards for Educational Evaluation (anos 1970 – 1980) • diretrizes da American Evaluation Association • Statistical Standards • Outros (United Kindgom Evaluation Society)

Meta-Avaliação: o que é?

• “O processo de delinear, obter e aplicar informação descritiva e de julgamento – sobre a utilidade, viabilidade, propriedade e acurácia de uma avaliação e sua natureza sistemática, conduta competente, integridade/honestidade, respeito e responsabilidade social – para guiar a avaliação e/ou relatar seus pontos fortes e fracos ” (Stufflebeam, 2001, p. 185)

Avaliação de um programa

Meta-avaliação

Objetivos

Objetivos da avaliação

Desenho

Desenho da avaliação

Implementação

Implementação da avaliação

Resultados

Resultados da avaliação

Impactos

Meta-Avaliação • Pode ser compreendida como uma obrigação profissional dos avaliadores • Na medida em que avaliação profissionaliza-se, seus processos e resultados devem ser, assim como nas demais profissões, avaliados • O risco da não avaliação é justamente influenciar decisões de forma equivocada, prejudicando a sociedade • Recomendação • avaliação de grandes programas de amplo escopo geográfico • quando os resultados da avaliação são controversos e levam à divergência política

Meta-Avaliação: benefícios • Para o avaliador/instituição avaliadora: • melhoria de técnicas de avaliação, contribuindo para a evolução de seu próprio trabalho • parecer sobre a robustez da avaliação, contribuindo para a credibilidade do avaliador/instituição

• Para o demandante: • parecer sobre a robustez da avaliação, contribuindo para o uso informado

• Para o avaliado: • parecer sobre a robustez da avaliação, contribuindo para a legitimidade dos resultados

Tipos de Meta-Avaliação • Meta-Avaliação Somativa

• Instrumento para julgar avaliações já concluídas • Ex-post

• Meta-Avaliação Formativa

• Instrumento para planejar e desenvolver “boas” avaliações • Ex-ante e durante

• Meta-Avaliação Concomitante (concurrent metaevaluation, Hanssen et al., 2008)

• realizada durante uma dada avaliação é denominada • prática que oferece uma oportunidade adicional em relação às demais abordagens de meta-avaliação, atuando como uma espécie de “treinamento” que fortalece o processo avaliativo na medida em que ele ocorre

Conceitos correlatos • Quais as diferenças entre Meta-Avaliação, Meta-Análise e Síntese das Avaliações?

Meta-Análise • O que é?

• Análises estatísticas que resultam da integração de dados, em especial quantitativos, obtidos em um conjunto de estudos de avaliação

• Quais os benefícios?

• Serve para resumir os efeitos de determinada política, em aspectos determinados, a partir da mensuração realizada em diferentes avaliações

• Meta-Análise x Avaliação • avaliações com diferentes focos e metodologias, permitindo uma nova interpretação dos diferentes achados a partir de sua integração

Síntese das Avaliações • O que é?

• Integração dos resultados de um conjunto de avaliações

• Quais os benefícios?

• Serve para responder questões variadas sobre o objeto avaliado

• Síntese das Avaliações x Meta-Análise • Volume de dados disponíveis para análise (de várias avaliações) • Vieses que decorrem dos objetivos e das formas como as diferentes avaliações foram realizadas, das diferenças de qualidade destas avaliações, assim como da seleção dos estudos que vão compor a meta-análise

Relação entre os conceitos

MetaAvaliação Seleção de avaliações de qualidade

MetaAnálise Síntese das Avaliações

Relação entre os conceitos

MetaAvaliação Avaliação da qualidade da MetaAnálise

MetaAnálise

Meta-Avaliação: quando fazer?

• Scriven (2009): uma meta-avaliação parcial é melhor do que nenhuma • Stufflebeam (2001): uma self-metaevaluation (pelo próprio grupo que fez a avaliação) é melhor do que nenhuma • Isto significa que embora idealmente fazer uma metaavaliação envolva a checagem dos dados coletados, do desenho da avaliação, das análises realizadas e das conclusões obtidas, fazer apenas uma ou mais partes deste conjunto pode por si contribuir nas direções apontadas anteriormente

Meta-Avaliação: quando fazer?

• Necessidade: depende fortemente do caso, timing, sistematização e experiência prévia dos avaliadores/instituições avaliadoras • Viabilidade: informações e custo (1% do valor da avaliação) • Formalização: do informal (inclusive aquela feita pelo próprio avaliador, tendo em vista os princípios e padrões) ao formal

Avaliações menores e formativas Meta-Avaliações informais e formativas

Avaliações maiores e somativas Meta-Avaliações formais e somativas

Meta-avaliação • Recomendar aperfeiçoamentos • Natureza qualitativa • Usa informações existentes (Informação de contratos, planos, instrumentos, dados, relatórios) ou pode levantar novos dados (Percepção de pessoas envolvidas ou afetadas pela avaliação)

• Envolve tempo e $$ • Feita pelos próprios avaliadores ou por avaliadores externos

Guiding Principles for Evaluators American Evaluation Association (AEA) 1. Indagação Sistemática - capacidade de coletar dados utilizando técnicas apropriadas e comunicando métodos e abordagens com a devida transparência para permitir acesso e crítica.

2. Competência - demonstrar atuação competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcançar o mais alto nível de desempenho possível.

3. Integridade/Honestidade - assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorções ou indevidas utilizações.

4. Respeito pelas pessoas - respeito pela segurança, dignidade e auto-valorização dos envolvidos no processo avaliativo, atuando sempre com ética profissional, evitando riscos e prejuízos que possam afetar os participantes para assegurar, o melhor possível, o respeito às diferenças e o direito social de retorno dos resultados, aos envolvidos.

5. Responsabilidade pelo bem estar geral e público, - levar em consideração a diversidade de interesses e valores que possam estar relacionados ao público em geral, buscando responder não somente às expectativas mais imediatas, mas também às implicações e repercussões mais amplas e, nesse sentido, disseminar a informação sempre que necessário.

Passo a passo de uma meta-avaliação • Stufflebeam et al. Guiding Principles Checklist for Evaluating Evaluations based on the 2004 Guiding Principles for Evaluators Checklist Developers. 2005 • Caracterizar a avaliação – cliente, financiamento, custo da avaliação, período de realização da avaliação, avaliadores, stakeholders, objeto avaliado, objetivos da avaliação, questões principais, metodologia, relatórios, pontos fortes e fracos • Caracterizar a meta-avaliação: cliente; financiamento; outros públicosalvos; objetivos; relatórios que serão realizados; questões da metaavaliação; métodos; cronograma; meta-avaliadores e relacionamento com avaliação; acordos contratuais • Lista de documentos e outras fontes de informação utilizadas na metaavaliação • Julgamento por critérios: para cada sub-critério apontar fonte, justificativa e dar nota + avaliação geral do critério

Processos para uma Meta-Avaliação

Julgamento por critÊrios • SYSTEMATIC, DATA-BASED INQUIRY: 1.

Meet the highest technical standards for

2.

In exploring the shortcomings and strengths of a reasonable range of potential evaluation questions

3.

4.

5.

6.

7.

1.

2.

quantitative methods qualitative methods

1.

2.

Engage the client Engage an appropriate range of stakeholders

Engage the client in considering shortcomings and strengths of the evaluation approaches and methods for answering the agreed upon evaluation Clearly and fully inform the client and stakeholder about all aspects of the evaluation, from its initial conceptualization to the eventual use of findings Report in sufficient detail the employed approach(es) and methods to allow others to understand, interpret, and critique the evaluation process and findings In reporting, make clear the limitations of the evaluation process and findings In communicating evaluation methods and approaches, discuss in a contextually appropriate way those values, assumptions, theories, methods, analyses, results, and analyses significantly affecting the interpretation of the evaluative findings

Julgamento por critérios • COMPETENCE 1. Possess the education, abilities, skills, and experience appropriate to competently and successfully carry out the proposed evaluation tasks.

2. Demonstrate a sufficient level of cultural competence to ensure recognition, accurate interpretation, and respect for diversity.

3. As appropriate, demonstrate cultural competence by seeking awareness of their own culturally-based assumptions, their understanding of the worldviews of culturally different participants and stakeholders in the evaluation, and the use of appropriate evaluation strategies and skills in working with culturally different groups.

4. Practice within the limits of their professional training and competence and, as feasible, would have declined an evaluation assignment outside those limits 5. In the occasion of being unable to decline an evaluation assignment transcending one’s capabilities, make clear to appropriate parties any potential significant limitations of the evaluation 6. Make every effort to gain the competence required to successfully conduct the evaluation directly or through the assistance of other appropriately qualified evaluators 7. Evidence a history of continually seeking to maintain and improve evaluation competence— through such means as formal coursework and workshops, self-study, evaluations of one’s own practice, and learning from the practices of other evaluators--in order to deliver the highest level of evaluation service.

Julgamento por critÊrios • INTEGRITY/HONESTY 1. Take the initiative in negotiating all aspects of the evaluation with clients and representative stakeholders 2. Negotiate honestly with clients and relevant stakeholders concerning 1.

2.

3.

4.

5.

the evaluation tasks the limitations of the selected methods the scope of results likely to be obtained appropriate uses of the evaluation’s data the costs of the evaluation

3. As appropriate, forewarn the client and relevant stakeholders of any contemplated procedures or activities that likely would produce misleading evaluative information or conclusions 4. Make appropriate efforts to resolve concerns about any procedures or activities that likely would produce misleading evaluative information or conclusions

Julgamento por critérios • INTEGRITY/HONESTY 9. As feasible and appropriate decline to conduct the evaluation if important concerns cannot be resolved 10. If declining a problematic assignment was not feasible, consult colleagues or representative stakeholders about other proper ways to proceed, such as discussions at a higher level, a dissenting statement, or refusal to sign the final document 11. Prior to accepting the evaluation assignment, disclose any real or apparent conflicts of interest with their role as evaluator 12. In proceeding with the evaluation, report clearly any conflicts of interest they had and how these were addressed 13. Explicate their own, their clients’, and other stakeholders’ interests and values concerning the conduct and outcomes of the evaluation

Julgamento por critÊrios • INTEGRITY/HONESTY 14. Before changing the negotiated evaluation plans in ways to significantly affect the scope and likely results of the evaluation, inform, as appropriate, the client and other important stakeholders in a timely fashion of the changes and their likely impact 15. Record, explain, and report all changes made in the originally negotiated plans 16. Provide the clients and stakeholders with 14. valid representations of the evaluation procedures 15. valid representations of the evaluation data and findings

17. Within reasonable limits, take steps to prevent or correct misuse of their work by others 18. Disclose all sources of financial support for the evaluation 19. Disclose the source of the request for the evaluation

Julgamento por critérios • RESPECT FOR PEOPLE 1. Develop a comprehensive understanding of the evaluation’s contextual elements, including, as appropriate, geographic location, timing, political and social climate, economic conditions, and other relevant dynamics in progress at the same time 2. Abide by current professional ethics, standards, and regulations regarding 1.

2.

3.

3.

4.

5.

risks, harms, and burdens that might befall participants in the evaluation informed consent of evaluation participants informing participants and clients about the scope and limits of confidentiality

In the event of having to state negative or critical conclusions that could harm client or stakeholder interests, seek in appropriate ways to maximize the benefits and reduce any unnecessary harms that might occur In seeking to maximize the benefits and reduce any unnecessary harms, guard against compromising the evaluation’s integrity As appropriate, act in accordance with justified conclusions that the benefits from doing the evaluation or in performing certain evaluation procedures should be foregone because of the risks and harms

Julgamento por critérios • RESPECT FOR PEOPLE 8. To the extent possible, seriously consider during the negotiation the evaluation’s possible risks and harms and what to do about them 9. Conduct the evaluation and communicate the results in a way that clearly respects each stakeholder’s dignity and self-worth 10. As feasible, act to assure that evaluation participants benefit in return 11. Assure that evaluation participants had full knowledge of and opportunity to obtain any benefits of the evaluation 12. Assure that program participants were informed that their eligibility to receive services did not hinge on their participation in the evaluation 13. Seek to ensure that those asked to contribute data and/or incur risks do so willingly 14. Become acquainted with and respect differences among participants, including their culture, religion, gender, disability, age, sexual orientation and ethnicity 15. Take into account participants’ differences when planning, conducting, analyzing, and reporting the evaluation 16. Foster the evaluation’s social equity by providing, as appropriate, feedback and other pertinent benefits to the evaluation’s contributors

Julgamento por critÊrios • RESPONSIBILITIES FOR GENERAL AND PUBLIC WELFARE 1. Present evaluation plans and reports that include, as appropriate, relevant perspectives and interests of the full range of stakeholders 2. Consider not only the immediate operations and outcomes of the evaluand, but also its broad assumptions, implications, and potential side effects 3. Follow the precepts of freedom of information by allowing all relevant stakeholders access to evaluative information in forms that respect people and honor promises of confidentiality 4. As resources allow, actively disseminate findings to stakeholders 5. As appropriate, tailor different reports to the needs and interests of different right-to-know audiences 6. In tailoring reports for specific audiences, include all results that may bear on their interests and refer to any other tailored communications to other stakeholders 7. Report clearly and simply so that clients and other stakeholders could easily understand the evaluation process and results

RESPONSIBILITIES FOR GENERAL AND PUBLIC WELFARE 8. Maintain an appropriate balance between meeting client needs and other needs 9. Effectively address legitimate client needs without compromising ethical and methodological principles needed, effectively and ethically address any threats to the evaluation’s integrity, e.g., ones associated with inappropriate client requests or political conflicts 10. As needed, forthrightly identify and discuss conflicts with the client and stakeholders, resolve the conflicts if possible, or, as feasible, abort the evaluation if a serious conflict cannot be resolved 11. If a serious conflict could not be resolved and the evaluation could not be terminated, make clear the negative consequences for the evaluation 12. In conducting the evaluation, take all appropriate steps to counter any clear threats, associated with the evaluation, to the public interest and good 13. Analyze and convey findings in terms of the welfare of society as a whole as well as the interests of the client and other relevant stakeholder groups

Exemplos de esforços no mundo • American Journal of Evaluation – AEA – Seção Evaluating Evaluations • Consultative Group on International Agricultural Research - natural resources management research in CGIAR (2003) • USAID (2009-2012) • UNITED NATIONS DEVELOPMENT ASSISTANCE FRAMEWORK (2016)

Esforços no Brasil • Poucas iniciativas e literatura sobre meta-avaliação • Maioria dissertações e teses do mestrado de Avaliação da Cesgranrio • Iniciativas: • Educação - Instituições de ensino superior, cursos de graduação, extensão, seleção de professores para o Colégio Pedro II, SINAES • Saúde: Projeto de Expansão e Consolidação da Estratégia Saúde da Família • Assistência Social: Censo dos Centros de Referência em Assistência Social (monitoramento) • Auditorias operacionais do TCU

Um exemplo na área de CT&I • Good (2012) • Swiss Innovation Agency – financiamento de projetos colaborativos entre empresas e organizações públicas de pesquisa • Avaliado 14 vezes entre 1989 e 2002 • Meta-Avaliação + Síntese das Avaliações

Critérios da Meta-Avaliação

Aplicação dos critérios

Padrões da Meta-Avaliação

Aplicação dos padrões

Síntese das Avaliações

Síntese das Avaliações

Outro exemplo: SIPER • Science and Innovation Policy Evaluations Repository (SIPER) • Coordenação do Manchester Institute of Innovation Research (MIoIR) • SIPER – LA: Coordenação GEOPI • O que é: (i) um repositório online (SIPER Portal, em desenvolvimento, inédito e de alcance global) contendo estudos de avaliação de instrumentos de políticas de CTI (ii) informações descritivas e de análise de qualidade de tais estudos (conteúdo e condução do processo avaliatório, assim como uso e disseminação dos resultados)

SIPER (i) tipo de beneficiário da política avaliada (ou seja, grupo alvo da política) (ii) modalidade da política avaliada (como a intervenção está estruturada) (iii) objetivos da política avaliada (o que se espera alcançar a partir da intervenção) (iv) caracterização básica da avaliação (quem conduziu, o timing, o objetivo, relação com a rationale da política) (v) abrangência (evidências buscadas, escopo, tipos de resultados e impactos considerados, tipo de adicionalidade) (vi) desenho (abordagens metodológicas e indicadores) (vii) coleta de dados (formas de coleta, bases de dados empregadas, grupo alvo no caso de dados primários) (viii) métodos de análise de dados (xix) qualidade da avaliação (x) disseminação (xi) uso

SIPER

Bibliografia Recomendada • Stufflebeam, D. L. Meta-evaluation imperative. American Journal of Evaluation, 22 (2), 2001, pp.183-209.

• Furtado, J. P.; Laperriere, H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciência & Saúde Coletiva, 17 (3), 2012, pp.695705.

• Scriven, M. Evaluating evaluations: a meta-evaluation checklist. 2011. Disponível em http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf • Scriven, M. Meta-evaluation revisited. Journal of Multidisciplinary Evaluation, 6 (11), 2009, p.iii-viii • Good, B. Assessing the effects of a collaborative research funding scheme: An approach combining meta-evaluation and evaluation synthesis. Research Evaluation 21 (2012) pp. 381–391

Obrigada. anamaria@nepp.unicamp.br adriana.bin@fca.unicamp.br