Quasi-Experimental Design and Methods: Methodological Briefs - Impact Evaluation No. 8

Quasi-Experimental Design and Methods: Methodological Briefs - Impact Evaluation No. 8

AUTHOR(S)
Howard White; Shagun Sabarwal

Published: 2014 Methodological Briefs
Quasi-experimental research designs, like experimental designs, test causal hypotheses. Quasi-experimental designs identify a comparison group that is as similar as possible to the intervention group in terms of baseline (pre-intervention) characteristics. The comparison group captures what would have been the outcomes if the programme/policy had not been implemented (i.e., the counterfactual). The key difference between an experimental and quasi-experimental design is that the latter lacks random assignment.
Comparative Case Studies: Methodological Briefs - Impact Evaluation No. 9

Comparative Case Studies: Methodological Briefs - Impact Evaluation No. 9

AUTHOR(S)
Delwyn Goodrick

Published: 2014 Methodological Briefs
Comparative case studies involve the analysis and synthesis of the similarities, differences and patterns across two or more cases that share a common focus or goal in a way that produces knowledge that is easier to generalize about causal questions – how and why particular programmes or policies work or fail to work. They may be selected as an appropriate impact evaluation design when it is not feasible to undertake an experimental design, and/or when there is a need to explain how the context influences the success of programme or policy initiatives. Comparative case studies usually utilize both qualitative and quantitative methods and are particularly useful for understanding how the context influences the success of an intervention and how better to tailor the intervention to the specific context to achieve the intended outcomes.
Overview: Data Collection and Analysis Methods in Impact Evaluation: Methodological Briefs - Impact Evaluation No. 10

Overview: Data Collection and Analysis Methods in Impact Evaluation: Methodological Briefs - Impact Evaluation No. 10

AUTHOR(S)
Greet Peersman

Published: 2014 Methodological Briefs
Impact evaluations need to go beyond assessing the size of the effects (i.e., the average impact) to identify for whom and in what ways a programme or policy has been successful. What constitutes ‘success’ and how the data will be analysed and synthesized to answer the specific key evaluation questions (KEQs) must be considered up front as data collection should be geared towards the mix of evidence needed to make appropriate judgements about the programme or policy. This brief provides an overview of the issues involved in choosing and using data collection and analysis methods for impact evaluations.
Developing and Selecting Measures of Child Well-Being: Methodological Briefs - Impact Evaluation No. 11

Developing and Selecting Measures of Child Well-Being: Methodological Briefs - Impact Evaluation No. 11

AUTHOR(S)
Howard White; Shagun Sabarwal

Published: 2014 Methodological Briefs
Indicators provide a signal to decision makers by indicating whether, and to what extent, a variable of interest has changed. They can be used at all levels of the results framework from inputs to impacts, and should be linked to the programme’s theory of change. Most important at the lower levels of the causal chain are monitoring indicators such as inputs (e.g., immunization kits supplied), activities (e.g., immunization days held) and outputs (e.g., clinics built). For higher-level indicators of outcomes and impact, however, monitoring tells us what has happened but not why it happened. To understand this, impact evaluation must be used to increase our understanding of the factors behind achieving or not achieving the goal.
Interviewing: Methodological Briefs - Impact Evaluation No. 12

Interviewing: Methodological Briefs - Impact Evaluation No. 12

AUTHOR(S)
Bronwen McDonald; Patricia Rogers

Published: 2014 Methodological Briefs
Interviews are easy to do badly and hard to do well - good planning, adequate time and appropriate skills are required. The type of interview should be carefully chosen to suit the situation rather than choosing a type of interview (such as focus groups) simply because it is commonly used. Interviews with children raise particular ethical issues that need to be carefully considered and fully addressed. This brief outlines key issues to consider in planning interviews for impact evaluation, taking into account the purpose of the evaluation, how interview data aim to complement other data for assessing impact, and the availability of resources.
Modelling: Methodological Briefs - Impact Evaluation No. 13

Modelling: Methodological Briefs - Impact Evaluation No. 13

AUTHOR(S)
Howard White; Shagun Sabarwal

Published: 2014 Methodological Briefs
Modelling is an approach to impact evaluation which uses mathematical models to describe social and economic relationships and to infer causality from an intervention to an outcome, and/or between an outcome and its determinants. Models with more than one equation are most valuable, as they allow for both direct and indirect effects and also two-way relationships to be captured. Models can be used to examine the impact of a programme or policy by introducing them as an exogenous change in some of the variables, parameters or equations.
Présentation de l'évaluation d’impact : Note méthodologique - Évaluation d'impact n° 1

Présentation de l'évaluation d’impact : Note méthodologique - Évaluation d'impact n° 1

Published: 2014 Methodological Briefs
L’évaluation d’impact fournit des informations sur les effets induits par une intervention. Elle peut être réalisée dans le cadre d’un programme, d’une politique ou de travail en amont, par exemple le renforcement des capacités, le plaidoyer politique et l’appui à la mise en place d’un environnement favorable. Cela va au-delà d’une simple étude des buts et objectifs et examine également les impacts inattendus.
Présentation des stratégies d'attribution causale : Note méthodologique - Évaluation d'impact n° 6

Présentation des stratégies d'attribution causale : Note méthodologique - Évaluation d'impact n° 6

AUTHOR(S)
Patricia Rogers

Published: 2014 Methodological Briefs
L’un des éléments essentiels d’une évaluation d’impact est qu’il ne s’agit pas seulement de mesurer ou de décrire les changements survenus, mais également de comprendre le rôle joué par certaines interventions particulières (programmes ou politiques) dans ces changements. Ce processus est appelé attribution causale. Il existe trois grandes stratégies d’attribution causale dans les évaluations d’impact : 1) l’estimation du scénario contrefactuel ; 2) la vérification de la cohérence des données probantes pour les relations de cause à effet explicitement exposées dans la théorie du changement ; et 3) l’exclusion d’autres explications par le biais d’un processus logique fondé sur des données probantes. La stratégie d’attribution causale la mieux adaptée dépend du contexte d’évaluation et de ce qui est évalué.
Présentation des méthodes de collecte et d'analyse de données dans l'évaluation d'impact : Note méthodologique - Évaluation d'impact n° 10

Présentation des méthodes de collecte et d'analyse de données dans l'évaluation d'impact : Note méthodologique - Évaluation d'impact n° 10

AUTHOR(S)
Greet Peersman

Published: 2014 Methodological Briefs
Les évaluations d’impact ne doivent pas se cantonner à déterminer l’ampleur des effets (c’est-à-dire l’impact moyen), mais doivent également identifier qui a bénéficié de ces programmes ou politiques et comment. Il convient de préciser dès le début ce qui constitue une « réussite » et la façon dont les données seront analysées et synthétisées pour répondre aux questions clés d’évaluation. La collecte de données doit en effet permettre d’obtenir l’ensemble de données probantes nécessaires pour porter des jugements appropriés sur le programme ou la politique.
Sinopsis de la Evaluación de Impacto: Síntesis metodológica - Sinopsis de la evaluación de impacto n° 1

Sinopsis de la Evaluación de Impacto: Síntesis metodológica - Sinopsis de la evaluación de impacto n° 1

AUTHOR(S)
Patricia Rogers

Published: 2014 Methodological Briefs
La evaluación de impacto proporciona información sobre los impactos que produce una intervención. Puede realizarse una evaluación de impacto de un programa o una política o del trabajo preliminar, como la creación de capacidad, la promoción de políticas y el apoyo a la creación de un entorno propicio. Esto supone examinar no solo las metas y los objetivos, sino también los impactos imprevistos.
Sinopsis: Estrategias de Atribución Causal: Síntesis metodológica - Sinopsis de la evaluación de impacto n° 6

Sinopsis: Estrategias de Atribución Causal: Síntesis metodológica - Sinopsis de la evaluación de impacto n° 6

AUTHOR(S)
Patricia Rogers

Published: 2014 Methodological Briefs
Uno de los aspectos esenciales de la evaluación de impacto es que no solo mide o describe los cambios que han ocurrido, sino que también procura entender la función de determinadas intervenciones (es decir, programas o políticas) en la generación de estos cambios. Este proceso se conoce como atribución causal. Existen tres estrategias generales de atribución causal en las evaluaciones de impacto: 1) estimar lo contrafáctico; 2) comprobar la coherencia de las pruebas empíricas respecto a las relaciones causales explicitadas en la teoría del cambio; y 3) descartar explicaciones alternativas mediante un proceso con base empírica lógico. La estrategia más adecuada para la atribución causal depende del contexto de evaluación, así como de lo que se está evaluando.
Sinopsis: Métodos de recolección y análisis de datos en la evaluación de impacto: Síntesis metodológica - Sinopsis de la evaluación de impacto n° 10

Sinopsis: Métodos de recolección y análisis de datos en la evaluación de impacto: Síntesis metodológica - Sinopsis de la evaluación de impacto n° 10

AUTHOR(S)
Greet Peersman

Published: 2014 Methodological Briefs
Las evaluaciones de impacto deben ir más allá de la simple evaluación de la magnitud de los efectos (el impacto medio) para determinar con quién ha tenido éxito un programa o política y de qué forma. Lo que constituye «éxito» y la forma de analizar y sintetizar los datos para responder a las preguntas clave de evaluación específicas debe examinarse por anticipado, puesto que la recolección de datos debe orientarse a la combinación de pruebas empíricas necesarias para tomar decisiones adecuadas sobre el programa o política.
49 - 60 of 60