www.fsg-impact.org boston geneva san francisco seattle trends in foundation evaluation webinar for...
Post on 01-May-2015
215 Views
Preview:
TRANSCRIPT
www.fsg-impact.org
Boston Geneva San Francisco Seattle
Trends in Foundation Evaluation
Webinar for Assifero
June 16, 2010
www.fsg-impact.org
Boston Geneva San Francisco Seattle
Trends nella valutazione delle fondazioni
Seminario via web in collaborazione con Assifero
16 giugno 2010
© FSG Social Impact Advisors3
Goals for this Webinar
Goals
• Share three new important trends in evaluation by foundations, especially shared measurement
• Highlight what these trends mean in practice through examples
• Discuss how Assifero members view and use evaluation at their own foundation
© FSG Social Impact Advisors4
Obiettivi per questo seminario
Obiettivi
• Condividere tre nuove importanti tendenze nella valutazione fatta dalle fondazioni e in particolare lo sviluppo di misure condivise
• Illuminare cosa ciò significa nella pratica attraverso esempi
• Porre le basi per una discussione su come utilzzare la valutazione in Italia
5 © FSG Social Impact Advisors
Since Its Inception in 1999, FSG Has Combined Consulting, Thought Leadership and Advocacy to Facilitate Greater Social Impact
Overview of FSG
Sample PublicationsOverview
Functional Expertise
• Strategy and Program Development
• Evaluation
• Organizational Alignment
• Strategy Implementation
Topical Expertise
• Global Development
• Global and US Health
• Youth & Education
• Corporate Social Responsibility
• Environment
• Community-Based Philanthropy
Client Spectrum
Corporations:
Foundations:
Nonprofits:
Government:
6 © FSG Social Impact Advisors
Dalla sua creazione nel 1999, FSG ha combinato l’attività di consulenza, leadership e sensibilizzazione per promuovere un maggiore impatto
Panoramica su FSG
Esempi di PubblicazioniPanoramica
Competenze funzionali
• Sviluppo di strategie e programmi
• Valutazione
• Allineamento organizzativo
• Implementazione strategica
Competenze tematiche
• Sviluppo globale
• Salute negli USA e nel mondo
• Giovani ed educazione
• Responsabilità sociale d’impresa
• Ambiente
• Filantropia di comunità
Clienti
Corporations:
Foundations:
Nonprofits:
Government:
7 © FSG Social Impact Advisors
Why Evaluation Matters
“If you look at American foundations as a whole, we gave away something around $40 billion in 2008, which seems like a lot of money in aggregate, but when you compare it to the US government budget and the US GDP, it is really a pittance. If we claim to be a funder whose goal is to produce significant social change, we need to be very strategic. To do that, we need to learn and get better to have more impact.”
Stephen Heintz, CEO, Rockefeller Brothers Fund
8 © FSG Social Impact Advisors
Perché la valutazione è importante
“se si guarda alla fondazioni americane complessivamente, esse hanno erogato circa $40 miliardi nel 2008, il che sembra molto, ma se le compariamo con il budget del governo americano o con il PIL ci rendiamo conto come sia ben poca cosa. Se noi vogliamo essere degli erogatori il cui compito è quelo di produrre cambiamenti sociali significativi, dobbiamo essere molto strategici. Per far ciò dobbiamo imparare e migliorare nel perseguimento dei nostri fini.”
Stephen Heintz, CEO, Rockefeller Brothers Fund
9 © FSG Social Impact Advisors
Strategy Evaluation
Increased Social Impact
FSG’s Work Is Based on the Reinforcing Relationship between Strategy and Evaluation with the Goal of Increasing Social Impact
When strategy informs what is evaluated, and evaluation guides the development and refinement of strategy, the potential for social impact increases
Why Evaluation Matters
10 © FSG Social Impact Advisors
Strategia Valutazione
Aumento impatto sociale
Il lavoro di FSG mira a rafforzare la relazione fra la strategia e la valutazione con l’obiettivo di aumentare l’impatto sociale
Quando la strategia stabilisce cosa sia da valutare e la valutazione guida lo sviluppo della strategia, aumentano le possibilità di avere un impatto sociale
Perché la valutazione è importante
11 © FSG Social Impact Advisors
Our Evaluation Work is Underpinned by Three Paradigm Shifts in Evaluation
These paradigm shifts are linked and can occur simultaneously
Approach Purpose Scope
Retrospective
Prospective
Judge
Learn
Individual
Shared
Overview of Evaluation Trends
12 © FSG Social Impact Advisors
Il nostro lavoro sulla valutazione si fonda su tre cambiamenti nel paradigma della valutazione
Questi paradigmi sono legati e possono avvenire simultaneamente
Approccio Fine Ambito
Retrospettivo
Anticipatore
Giudicare
Imparare
Individuale
Condiviso
Panoramica sulle tendenze della valutazione
13 © FSG Social Impact Advisors
The Prospective Approach Requires Dynamic, Actionable Evaluation
Prospective ApproachRetrospective Approach
• The retrospective approach is focused on the past
• The goal is typically to prove precisely what the specific impact of a grant / project was through multi-year, academic studies
• This process is expensive and cumbersome for both the foundation and the grantee
• Worse, the results are static, limited, and often come too late to result in any course corrections
• The prospective approach seeks to use evaluation to enable better planning and implementation
• Evaluation takes on several forms and is used for:
– Planning
– ImprovingImplementation
– TrackingProgress
• Methods include:
– Establishing a baseline
– Convening grantees
– Real-time data gathering
– Inclusion of publicly available data and studies
Plannin
g
Implem
entation
Progress
Approach: From Retrospective to Prospective
14 © FSG Social Impact Advisors
L’approccio anticipatore implica una valutazione dinamica e operativa
Approccio anticipatoreApproccio retrospettivo
• L’approccio retrospettivo è focalizzato sul passato
• L’obiettivo è di norma quello di provare l’impatto specifico di un’erogazione /progetto attraverso studi accademici pluriennali
• Il processo è costoso e oneroso per entrambi: fondazione ed ente
• Infine i risultati sono statici, limitati e spesso arrivano troppo tardi per generare modifiche e correzioni
• L’approccio anticipatore cerca di usare la vlatuazione per permettere una pianificazione e un’implementazione migliore
• La valtuazione può avere diverse forme ed è usata per:
– Pianificare
– Migliorare l’implementazione
– Tenere tracciadei progressi
• I Metodi comprendono:
– Definire una linea di partenza
– Coinvolgere I beneficiari
– Raccogliere i dati in tempo reale
– Usare dati e studi già disponibili
Planifi
care
Implem
entare
Progressi
Approccio: dal retrospettivo all’anticipatore
15 © FSG Social Impact Advisors
Example: Prospective Evaluation
2008 2010 2011 2012 201420132009
Over the next 5 years, Foundation XXX seeks to improve the organizational capacity of out-of-school-time organizations in its city
A critical part of their approach is a dynamic evaluation plan, which will follow the initiative step-by-step and thereby inform the initiative partners and other cities
Research to select partner organizations, determine performance metrics, and establish baseline data
Meetings between Foundation XXX and the evaluator to discuss results
Memos on progress, challenges, insights, etc. for all partners in the initiative
Presentations on results and insights during meetings of all of Foundation XXX‘s grantees
Publically available reports on the intermediate and final results of the initiative, to allow other cities to emulate it
Presentations on insights and results of the initiative during national education conferences
In order to deliver on this evaluation plan a broad range of evaluation approaches will be utilized
Foundation XXXApproach: From Retrospective to Prospective
16 © FSG Social Impact Advisors
Esempio: Valutazione antcipatrice
2008 2010 2011 2012 201420132009
Nei prossimi 5 anni la Fondazione XXX vuole migliorare le capacità organizzative degli enti che si occupano del dopo scuola nella propria città
Un aspetto critico del loro approccio è un piano di valutazione dinamico, che seguirà l’iniziativa passo dopo passo e informerà i partner e altre città interessate alle sperimentazione.
Ricerca per selezionare organizzazioni partner, determinare gli indicatori di performance e stabilire la base di partenzaIncontri fra la fondazione XXX e i valutartori per discutere i risultati
Memorie sui progressi, difficoltà, scoperte ecc. Per tutti i partner dell’iniziativa
Presentazioni di risultati e scoperte in riunioni fra la Fondazione XXX e i sui beneficiari
Rapporti disponibili al pubblico sui risultati parziali e definitivi dell’iniziativa per promuovere l’emulazione in altri territori
Presentazioni delle scoperte e dei risultati dell’iniziativa durante conferenze nazionali sull’educazione
Per realizzare questo piano di valutazione è necessario utilizzare diversi approcci
Fondazione XXXApproccio: da retrospettivo ad anticipatore
17 © FSG Social Impact Advisors
Evaluation for Learning Means that Foundations and Grantees Together Answer Specific Learning Questions
Evaluation for LearningEvaluation for Judging
• The focus of traditional evaluation is often on proving to the foundation that the grant or project was a “good investment”
• The grantee would like to position itself for future funding and is therefore keen on being judged as successful by the evaluation
• However, this way both the foundation and the grantee can miss the opportunity to improve their strategies based on the evaluation results
• Imagine instead that foundation and grantee together decide that the grant or project serves the purpose of answering specific learning questions
• Similar to a research experiment, the goal becomes to explore if and how specific approaches or interventions contribute to solving the challenges of that specific program area
• The purpose of evaluation moves from “What exactly did the grant or project result in?” to “Which practical lessons can we derive from this grant or project?”
• This also makes it easier to understand which data / information should be collected
• If the grant or project does not work it is not a failure, rather an opportunity for the foundation and the grantee to refine and improve their strategies
Purpose: From Judging to Learning
18 © FSG Social Impact Advisors
Valutare per imparare implica che le fondazioni e I beneficiari rispondano assieme a specifiche domande
Valutazione per imparareValutazione per giudicare
• Il focus della valutazione tradizione è spesso quello di provare alla fondazione che l’erogazione o il progetto è stato un “buon investimento”
• Il beneficiario vuole garantirsi futuri contributi e quindi vuole essere giudicato positivamente dalla valutazione
• In questo modo sia la fondazione che il beneficiario perdono l’opporunità di migliorare le loro strategie sulla base dei risultati della valutazione
• Immaginate al contrario che la fondazione e il beneficiario decidano insieme che il contributo o il progetto abbiano come obiettivo quello di rispondere ad alcune domande specifiche
• Come per un esperimento scientifico, l’obiettivo è quello di capire se e come un approccio o un intervento specifico contribuiscano a risolvere i problemi di una specifica area programmatica
• Il fine della valutazione non è più “cosa esattamente ha realizzato il contributo o il progetto”, ma “Quali lezioni pratiche possiamo apprendere da questa erogazione o progetto”
• Questo rende più facile comprendere quali dati / informazioni devono essere raccolti
• Se l’erogazione o il progetto non ha funzionato non è un fallimento, ma un’opporutnità per la fondazione e il beneficiario per migliorare le loro strategie
Fine: dal giudizio all’apprendimento
19 © FSG Social Impact Advisors
Example: Evaluation for Learning
The Bill & Melinda Gates Foundation applies “Learning Agendas” to large grants and projects
What is a Learning Agenda?
• When the program areas within the foundation develop five-year strategies, learning agendas are key components
• The learning agenda captures questions and information gaps that could strengthen the strategy because they prove or disprove hypotheses, or provide new insights and approaches for solving a social problem
• The point of the learning agenda is to learn something concrete from every grant or project, and thereby continually improve the foundation’s strategy
What does this mean in practice?
• Every grantee / project partner is allocated specific questions / topics from the learning agenda and is tasked with answering these over the course of the partnership
• It is not about “yes / no” or “success / failure”, but about making sure that through project the foundation improves its knowledge about solutions in that programmatic area
Learning Agenda Excerpt:Post-Secondary Education
for Social Mobility
• How can we leverage generation-specific reliance on technology, such as peer-social networks?
• To what extent will financial instability among our target populations limit the initiative’s effectiveness?
• Will a focus on a single geographic area (a place-based strategy) increase prospects for success?
• What are the barriers and facilitators for taking a model developed in one place and replicating it in others?
Through a learning agenda, every single grant or project can play a critical role in the overall strategy
Purpose: From Judging to Learning
20 © FSG Social Impact Advisors
Esempio: Valutare per imparare
La Bill & Melinda Gates Foundation utilizzano le “Learning Agendas” per le erogazioni più importanti
Cos’è una Learning Agenda?
• Quando le aree di programma elaborano le loro strategie quinquennali, le learning agendas sono componenti chiave
• Le learning agenda colgono domande e limiti informativi che potrebbero rafforzare la strategia perchè provano o falsificano ipotesi, generano nuove scoperte e approcci per risolvere problemi sociali
• L’obiettivo delle learning agenda è di imparare qualcosa di concreto da ogni erogazione o progetto e così migliorare continuamente la strategia della fondazione
Cosa significa in pratica?
• Ogni partner è chiamato a dare una risposta a specifiche domande / temi durante la partnership
• Non si tratta di “si / no” o “successo / fallimento”, ma piuttosto di assicurarsi che grazie al progetto la fondazione migliora la sua conoscenza relativamente alle possibili soluzioni in una specifica area programmatica
Estratto Learning Agenda:Educazione Post-
Secondaria per la mobilità sociale
• Come possiamo sfruttare le tecnologie usate da questa generazione come i social networks?
• Fino a che punto l’instabilità finanziaria fra la popolazione target limita l’efficacia dell’iniziativa?
• Focalizzarsi in una sola area geografica migliora le nostre possibilità di successo?
• Quali sono le barriere e gli aiuti per replicare un modello in altre realtà?
Attraverso una learning agenda, ogni erogazione o progetto possono svolgere un ruolo critico nello sviluppo della strategia complessiva
Obiettivo: dal giudizio all’apprendimento
21 © FSG Social Impact Advisors
Shared Evaluation Is About Coordination and Collaboration
Shared EvaluationIndividual Evaluation
• Foundations useindividual indicators and reporting formats
• Grantees and project partners have to conduct a separate evaluation for every one of their funders
• Neither foundations nor grantees can compare results or learn from one another‘s experiences
• The activities of both groups are uncoordinated and aimed at different goals
• Several foundations and grantees agree on shared metrics and evaluation methods in a given thematic program area
• Often, a joint online platform is used to report on results
• Such systems have several advantages:
– Grantees no longer have to track separate metrics for each funder
– Grantees and funders can directly compare results and learn from these
– Coordinating metrics leads to coordinating strategies, which means that resources can be more optimally deployed
• Disparate foundation and grantee activities thereby become a system, which works in harmony in a targeted way to solve social projects
Scope: From Individual to Shared
22 © FSG Social Impact Advisors
La valutazione condivisa implica coordinazione e collaborazione
Valutazione condivisaValutazione individuale
• Le fondazioni usano indicatori e rapportiindividuali
• I beneficiari e i partner di progetto devono condurre una valutazione specifica per ognuno dei loro sostenitori
• Né le fondazioni, né I beneficiari possono comparare i risultati o imparare dalle esperienze reciproche
• Le attività di entrambi i gruppi non sono coordinate e hanno diversi obiettivi
• Diverse fondazioni e beneficiari concordano su misure condivise e metodi valutativi in una specifica area programmatica
• Spesso, una comune piattaforma online è usata per raccogliere i risultati
• Questi sistemi hanno diversi vantaggi:
– I beneficiari non devono raccogliere dati diversi per ogni donatore
– I beneficiari e i donatori posso comparare i risultati e imparare da questi
– Le misure coordinate portano al coordinamento delle strategie, questo significa che le risorse possono essere utilizzate in modo migliore
• Le diverse attività dei donatori e dei beneficiari diventano un sistema, che lavora in armonia ed è finalizzato a risolvere alcuni problemi sociali.
Ambito: da individuale a condiviso
© FSG Social Impact Advisors23
Shared Measurement Systems Example– Strive
Scope: From Individual to Shared
Background
• Strive is a large-scale partnership initiative in Greater Cincinnati featuring:– An evidence-based organizing framework to address education from
cradle through to career– More than 300 participating organizations with aligned goals and
strategies– A rich learning environment focused on continuous improvement– Strong infrastructure and functional support
• Participants in the Strive partnership include:– Hundreds of education-related nonprofits– The three local public school districts and one diocesan district in
the region– Eight universities and community colleges– Four key local private and corporate funders
© FSG Social Impact Advisors24
Sistemi di misurazione condivisi Esempio– Strive
Ambito: da individuale a condiviso
Informazioni di base
• Strive è una grande iniziativa di partnership nella regione di Cincinnati con le seguenti caratteristiche:
– Una struttura organizzata basata sui dati volta ad affrontare l’educazione dalla culla sino alla carriera
– Partecipano più di 300 organizzazioni con obiettivi e strategie allineati
– Un ambiente focalizzato sul miglioramento continuo– Forte inffrastruttura con sostegno funzionale
• I partecipanti della partnership Strive sono:– Centinaia di nonprofit collegate con l’educazione– I tre distretti scolastici pubblici e il distretto diocesano della regione– Otto fra università e college– Quattro fondazioni private e d’impresa
© FSG Social Impact Advisors25
Ambito: da individuale a condiviso
Shared Measurement Systems Example– Strive
Common Definition of Success / Overarching Vision and Framework
10 Key Indicators Common Report CardPriority Strategies
© FSG Social Impact Advisors26
Scope: From Individual to Shared
Sistemi di misurazione condivisi Esempio– Strive
Definizione comune di successo / Visione e struttura complessiva
10 indicatori chiave Strumento di rapporto comune
Strategie prioritarie
27 © FSG Social Impact Advisors
FSG Resources on Evaluationhttp://www.fsg-impact.org/ideas/section/273
Insights from 100 foundations on
prospective evaluation
Ideas and tools to engage your
trustees on the topic of evaluation
Trends and case studies on shared measurement and
evaluation
For follow-up questions, email me anytime at valerie.bockstette@fsg-impact.org
Tools & Resources
28 © FSG Social Impact Advisors
Risorse sulla Valutazione di FSGhttp://www.fsg-impact.org/ideas/section/273
Scoperte da 100 fondazioni sulla
valutazione anticipatrice
Idee e strumenti per coinvolgere I vostri consiglieri nella valutazione
Tendenze e studi di caso sui sistemi di
misurazione condivisi e sulla
valutazione
Per ulteriori domande, email a valerie.bockstette@fsg-impact.org
Strumenti e risorse
29 © FSG Social Impact Advisors
Discussion Questions
• Are you using aspects of prospective, learning-focused, shared evalution?
• What do you see as the advantages of these approaches?
• What do you see as the challenges?
Discussion Questions
30 © FSG Social Impact Advisors
Domande per la discussione
• Utilizzate aspetti della valutazione anticipatrice, focalizzata nell‘apprendimento e condivisa?
• Quali sono a vostro avviso i benefici di questi approcci?
• Quali sono i limiti che vi percepite?
Domande per la discussione
top related