50 50 journal - fteval...c/o zsi – centre for social innovation gmbh linke wienzeile 246, 1150...

c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, 1150 Vienna, Austria

The fteval Journal for Research and Technology Policy Evaluation is a forum to discuss current evaluation practices in the field of research, technology and innovation policy.

T +43 1 495 04 42 - 33F +43 1 495 04 42 - 40E [email protected] www.fteval.at

ZVR-Zahl: 937261837ISSN-Nr. 1726-6629DOI: 10.22163/fteval.2020.462© Vienna 2020

for Research andTechnology PolicyEvaluation

JOURNALfteval

JOHANNES GADNER AND JÜRGEN JANGER

MICHAEL DINGES, ANNA WANG AND KLAUS SCHUCH

RICHARD HEIDLER

ISSUE 50 | MARCH 2020

MONITORING NATIONAL

INNOVATION PERFORMANCE:

GOING BEYOND

STANDARDIZED RANKINGS

USING THE DELPHI METHOD

IN EVALUATIONS –

INCORPORATING A FUTURE

ORIENTED PERSPECTIVE IN

EVALUATIONS

FUNDING RESEARCH DATA

INFRASTRUCTURES:

FUNDING CRITERIA IN

GRANT PEER REVIEW

50 50

ISSUE 50 | MARCH 2020 2

WIFO – AUSTRIAN INSTITUTE OF ECONOMIC RESEARCHArsenal, Objekt 20Postfach 91, 1103 ViennaDr. Jürgen JangerE: [email protected]. Andreas ReinstallerE: [email protected]

OEAW – AUSTRIAN ACADEMY OF SCIENCEDr. Ignaz Seipel-Platz 2, 1010 ViennaNikolaus Göth, MScE: [email protected]

AUSTRIAN COUNCIL FOR RESEARCH AND TECHNOLOGY DEVELOPMENTPestalozzigasse 4/DG 1, 1010 Vienna Dr. Johannes GadnerE: [email protected]

AQ AUSTRIA – AGENCY FOR QUALITY ASSURANCE AND ACCREDITATION AUSTRIAFranz-Klein-Gasse 5, 1190 ViennaDr.in Elisabeth Froschauer-Neuhauser E: [email protected] Eva Maria FreibergerE: [email protected]

AIT – AUSTRIAN INSTITUTE OF TECHNOLOGYGiefinggasse 4, 1210 Vienna Mag. Michael DingesE: [email protected] Barbara Heller-Schuh, MASE: [email protected]

AWS – AUSTRIA WIRTSCHAFTSSERVICE GMBHWalcherstraße 11A, 1020 Vienna Mag.a Marlis BaurechtE: [email protected] Mag. Norbert KnollE: [email protected]

CDG – CHRISTIAN DOPPLER RESEARCH ASSOCIATIONBoltzmanngasse 20, 1090 ViennaDIin Maga. Brigitte MüllerE: [email protected]

WWTF – VIENNA SCIENCE AND TECHNOLOGY FUNDSchlickgasse 3/12, 1090 ViennaDr. Michael StampferE: [email protected]. Michael StrassnigE: [email protected]

VIENNA BUSINESS AGENCY. A SERVICE OFFERED BY THE CITY OF VIENNA.Mariahilfer Straße 20, 1070 ViennaRobert Mayer-UnterholzerE: [email protected]

ZSI – CENTRE FOR SOCIAL INNOVATIONLinke Wienzeile 246, 1150 Vienna Dr. Klaus SchuchE: [email protected] Dorothea Sturn E: [email protected]

LUDWIG BOLTZMANN GESELLSCHAFTNußdorfer Straße 64, 1090 ViennaMag. Patrick LehnerE: [email protected]

TECHNOLPOLIS GROUP AUSTRIARudolfsplatz 12/11, 1010 ViennaMag.a Katharina WartaE: [email protected] Dudenbostel, MAE: [email protected]

WPZ RESEARCH GMBHMariahilfer Straße 115/16, 1060 ViennaDr.in Brigitte EckerE: [email protected]

JOANNEUM RESEARCH FORSCHUNGSGESELLSCHAFT MBHHaus der ForschungSensengasse 1, 1090 ViennaMag. Wolfgang PoltE: [email protected]. Jürgen StreicherE: [email protected]

KMU FORSCHUNG AUSTRIA –AUSTRIAN INSTITUTE FOR SME RESEARCH Gusshausstraße 8, 1040 Vienna Mag.a Iris FischlE: [email protected]. Peter KaufmannE: [email protected]

FEDERAL MINISTRY OF EDUCATION, SCIENCE AND RESEARCHMinoritenplatz 5, 1014 Vienna Mag.a Irene DanlerE: [email protected] Simone MesnerE: [email protected]

FEDERAL MINISTRY FOR DIGITAL AND ECONOMIC AFFAIRSStubenring 1, 1014 Vienna Mag.a Sabine Pohoryles-DrexelE: [email protected]

FEDERAL MINISTRY FOR CLIMATE ACTION, ENVIRONMENT, ENERGY, MOBILITY, INNOVATION AND TECHNOLOGYRadetzkystraße 2, 1030 Vienna Dr. Rupert PichlerE: [email protected]. Mario SteyerE: [email protected]

FFG – AUSTRIAN RESEARCH PROMOTION AGENCYHaus der Forschung,Sensengasse 1, 1090 ViennaDIin Dr.in Sabine MayerE: [email protected]. Leonhard JörgE: [email protected]

FWF – AUSTRIAN SCIENCE FUNDHaus der ForschungSensengasse 1, 1090 ViennaDr. Falk Reckling E: [email protected] Dr. Thomas VölkerE: [email protected]

IHS – INSTITUTE FOR ADVANCED STUDIESJosefstädter Straße 39, 1080 Vienna Dr.in Angela WroblewskiE: [email protected]. Richard Sellner E: [email protected]

CONVELOP – COOPERATIVE KNOWLEDGE DESIGN GMBHBürgergasse 8-10/I, 8010 Graz DIin Drin. Karin GrasenickE: [email protected]

Erdbergstraße 82/4, 1030 WienMag. Thomas JudE: [email protected]

ACR – AUSTRIAN COOPERATIVE RESEARCHSensengasse 1, 1010 Vienna Dr.in Sonja Sheikh E: [email protected]

INDUSTRIEWISSENSCHAFTLICHES INSTITUT – IWIMittersteig 10, 1050 WienFH-Hon.Prof. Dr. Dr. Herwig W. SchneiderE: [email protected]. Philipp BrunnerE: [email protected]

EDITORIAL BOARDRebecca Allinson, Technopolis UK; Balázs Borsi, Eszterházy Károly College; Elke Dall, Centre for Social Innovation; Michael Dinges, Austrian Institute of Technology; Leonid Gokhberg, National Research University Higher School of Economics; Wolgang Polt, Joanneum Research; Andreas Reinstaller, WIFO; Klaus Schuch (chief editor), Austrian Platform for Research and Technology Policy Evaluation; Michael Stampfer, WWTF; Lena Tsipouri, University of Athens

AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATION (fteval)c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, 1150 Vienna, AustriaT +43 1 495 04 42 - 33F +43 1 495 04 42 - 40E [email protected] www.fteval.at

DESIGNW carotte.at

PRINT

Print Alliance

Gedruckt auf PEFCTM-zertifiziertem Papier.

AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATIONmembers:Austrian Federal Ministry of Education, Science and Research (BMBWF), Austrian Federal Ministry for Digital and Economic Affairs (BMDW), Austrian Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology (BMK), Austrian Cooperative Research (ACR), Austrian Council for Research and Technology Development, Austrian Institute of Technology (AIT), AQ Austria – Agency for Quality Assurance and Accreditation Austria, Austria Wirtschaftsservice (AWS), Christian Doppler Research Association (CDG), convelop Cooperative Knowledge Design GmbH, Austrian Research Promotion Agency (FFG), Austrian Science Fund (FWF), Institute for Advanced Studies (IHS), Industriewissenschaftliches Institut (IWI), Joanneum Research Forschungsgesellschaft mbH, Austrian Institute for SME Research (KMU Forschung Austria), Ludwig Boltzmann Society (LBG), Austrian Academy of Sciences (OEAW), Technopolis Austria, Vienna Business Agency – A service offered by the City of Vienna, Austrian Institute of Economic Research (WIFO), WPZ Research GmbH, Vienna Science and Technology Fund (WWTF), Centre for Social Innovation (ZSI)

INHALTSVERZEICHNIS3 EDITORIAL

4 MONITORINGNATIONALINNOVATIONPERFORMANCE: GOINGBEYONDSTANDARDIZEDRANKINGS

JOHANNESGADNERANDJÜRGENJANGER

11 ZUGANGZUREGISTER-UNDINDIVIDUALDATENFÜRDIE WISSENSCHAFTLICHEFORSCHUNGINÖSTERREICH

GERHARDSCHWARZ,THOMASKÖNIG,HARALDOBERHOFERUNDMICHAELSTRASSNIG

16 NEUESWAGEN–MITDERSANDPIT-METHODEZUNEUEN KONSTELLATIONEN&INTERDISZIPLINÄRENIDEEN SANDPIT-ERFAHRUNGENAUSSICHTEINERFÖRDERUNGSAGENTURFÜR ANWENDUNGSORIENTIERTEFORSCHUNGUNDINNOVATION CHARLOTTEALBER

21 THEFUNDINGSCHEME“IMPACTINNOVATION”–THEIDEA BEHINDANDTHERESULTSOFANASSESSMENT

PHILIPPAIGINGER-EVANGELISTI,BARBARAGLINSNERANDDOROTHEASTURN

27 FUNDINGRESEARCHDATAINFRASTRUCTURES:FUNDING CRITERIAINGRANTPEERREVIEW RICHARDHEIDLER

37 ANALYSISOFTHEINNOSUISSESTART-UPTRAININGINA THEORYOFPLANNEDBEHAVIORFRAMEWORK

ELISABETHNINDLANDPETERKAUFMANN

44 USINGTHEDELPHIMETHODINEVALUATIONS– INCORPORATINGAFUTUREORIENTEDPERSPECTIVE INEVALUATIONS

MICHAELDINGES,ANNAWANGANDKLAUSSCHUCH

JÜRGENSTREICHER,WOLFGANGPOLTUNDMAXIMILIANUNGERDOI:

51 WIEKÖNNENWIDERSPRÜCHEZWISCHEN MARKTDURCHDRINGUNGUNDREBOUND-VERMEIDUNG GELÖSTWERDEN? SYSTEMANALYSEKONVERGENTERUNDDIVERGENTEREINFLUSSFAKTORENAN

DENBEISPIELENE-AUTOUNDGEBÄUDESANIERUNG VERONIKAKULMER,SEBASTIANSEEBAUERUNDCLAUDIAFRUHMANN

60 FAIRPROJECTS–BADDATA? EVALUATINGTHEGENDERBALANCEINSCIENCEPROJECTS

MAGDALENAKLEINBERGER-PIERER,SIMONPOHN-WEIDINGERANDKARINGRASENICK

72 EINEUNTERSUCHUNGDERMARKTSITUATIONIMBEREICH DERFTI-EVALUIERUNGINÖSTERREICH JÜRGENSTREICHER,WOLFGANGPOLTUNDMAXIMILIANUNGER


EDITORIAL

DEAR READERS!

TIME GOES BY.

Withthisissuewearecelebratingthe50th anniversary of the fteval Journal for Research and Technology Policy Evaluation.

The first thirteen issues were published under the title ‘Platform Technology Evaluation‘. Different founding members of the platformacted as editors of individual issues, such as Oliver Fritz, Wolfgang Polt,Gernot Hutschenreiter,Michael Stampfer,orAnton Geyer.Thejournal understood itself as an open, irregularly published forum fordiscussion of methodological and content-related evaluation issues inthefieldofresearchandtechnologypolicy.Andthisideaisstillthebasicdirectionofthejournal.Fromtheverybeginningitinvitedandacceptedcontributionsfromscholarsfromallovertheworld.

Asofnumber14,thejournalwasnewlylabelledas ‘Newsletter of the Austrian Platform for Research and Technology Policy Evaluation’.Klaus Zinöckerbecamethedrivingforcebehindthejournaluntilhehandedovertomyself.In2013,finally,theJournalgotanewrefurbishment.Itdidnotonlyreceiveanewdesign,butalsoitscurrentname.Moreover,an international editorial review board was introduced that becameresponsibleforthequalityassuranceofthesubmittedpapers.ItcurrentlyconsistsofRebecca Alinson,BalázsBorsi,ElkeDall,MichaelDinges,LeonidGokhberg,WolfgangPolt,AndreasReinstaller,KlausSchuch,Michael Stampfer and Lena Tsipouri. The members of the editorialboardensurethatcontributionsfitthesubjectarea,donotcontraveneanyofourpolicies,areofgoodquality,andthattheycanreasonablybeconsideredapartofthepractice-orientedacademicliterature.Stilltoday,the‘fteval Journal for Research and Technology Policy Evaluation‘ worksat the interface between practice-oriented research and technologypolicy and academic quality. The journal calls for contributions frompolicy makers, policy-delivery systems, evaluators and the academiccommunity.Italsoaddressesthesecommunities.

The journal isopen accessand itdoesnotcharge fees toauthorsforcontributionorprocessing(‘DiamondStandard’).Eachjournalissueand each paper published thereunder receives today a separate DOI(recordedundercrossref).Authorsortheirinstitutionsretaincopyrighttotheirpublications.AllarticlesarepublishedundertheCreativeCommonsAttributionlicense.ThejournalisalsoregisteredinOpenDOAR.

ThejournalathandinformsaboutrecentevaluationsandevaluationmethodsinthedomainofR&Ipolicies.Iamthankfultothecontributorsofthisissueandtoallcontributorsandsupportersofthe49issueswhichwecouldpublishbefore.

AND THE STORY GOES ON.

If you want to publish in the ‘fteval Journal for Research and Technology Policy Evaluation‘, please drop me an email or consult ourwebsitetolearnmoreaboutthejournal,itsregulationsandopportunitiesforpublishing!

Yourssincerely

KlausSchuchExecutive Manager of the Austrian Platform for Research andTechnologyPolicyEvaluation

March2020


onappropriateweightingoftheindicators–shouldallindicatorscarrythe same weight in determining innovation performance or are somemore important thanothers?GruppandSchubert (2010)havepointedout that different weighting schemes can give rise to very differentcountryrankings.Theyrecommendcomplementingcompositeindicatorsby multidimensional representations of the issues leading to theperformanceintheaggregateindicator,i.e.explainingtopolicymakerswhytheperformancearises.Thiswouldsafeguardthecommunicationfunctionofcompositeindicatorswhichduetotheirsimplicity(asimplecountry rank) caneasilybeused fordrawing theattentionofawideraudiencetoproblemsofinnovationperformance.

In this article, we sketch such a multidimensional framework.It is applied by the Austrian Council for Research and TechnologyDevelopment – the central advisory body of the Austrian Governmentfor education, science, research and innovation policy affairs – formonitoring, measuring and evaluating the performance of Austria’snational innovation system in international comparison. The paperaims to present an overview of the development of the measurementframework in co-operation with the Austrian Institute of EconomicResearchandinattunementwiththeresponsibleministries.Thearticlealso intends to describe its application in the context of the Council’sannualReportsonAustria’sScientificandTechnologicalCapability.

The applied measurement framework for innovation performancetakesintoaccountcountry-specificconditionsandprovidesinformationon both the current distance to strategic benchmarks as well asinformationonthedistancetothebenchmarkatagiventimehorizon,basedonextrapolatingpastgrowth trends.Amatrixcomposedof thejuxtapositionofcurrentandfuturetotargetprovidesinformationabletoguidepolicyprioritysetting,intermsofameasureoftheeffortrequiredtoreachtargets(orthelikelihoodofreachingtargets).Usingthisapproach,theAustrianCouncilhasbeenprovidingasoundsourceofevidenceforaninternationalcomparisonofAustria’sinnovationperformancewhichsupportsevidence-basedpolicy-making.

INTRODUCTION1

Innovation performance has become increasingly important forgovernments as they search for ways to stimulate the economyand to address pressing societal challenges (e.g. Edler/Fagerberg

2017; Androsch/Gadner 2015; Aghion/David/Foray 2009). Thus, inrecent years a variety of innovation performance rankings have beendevelopedtomeasureperformancelevelsandbenchmarkthemagainstothercountries.Thoseare,hence,closelywatchedbypolicymakersandare frequently perceived as a neutral gauge of a country’s innovationperformance (Schibany/Streicher 2008). However, standard rankingssuchastheEuropean Innovation Scoreboard(EIS)ortheGlobal Innovation Index (GII) in general apply a standardised set of indicators to allcountriesrankedwithouttakingaccountofcountryspecificweaknessesor strengths. For example, the Austrian government has been usingthebenchmarkdefinedbytheEIStocomparetheAustrian innovationperformanceintheleadingcountriesinEurope.Yet,theEISshouldnotbeusedastheonlycriteriontoassesstheeffectsofinnovationeffortsduetowell-knownshortcomingswhichresultbothfromitsconstructionasacompositeindicatorandfromproblemsrelatedtothesubstanceoftheindicatorswhichmakeuptheEISsummaryindex.

Concerningthelatter,itunderestimatese.g.theeffectsofinnovationactivities because it does not include indicators for improvement inthe existing sectors, i.e. intra-sectoral structural change or sectoralupgrading; see also the more detailed explanations further below inthispaper(Jangeretal.2017).Severaloftheotherindicatorsusedmaylead to misleading interpretations. By way of example, the indicatormeasuring the share of knowledge-intensive services exports in totalservicesexportspenalizescountrieswithalargetourismsectorsuchasFrance or Austria; some of the indicators drawn from the CommunityInnovationSurveyarequitevolatileoryieldsurprisingresults,e.g.thattheshareofnewtomarketinnovations(aproxyfornovelty)ishigherinsomeEasternEuropeancountriesthaninGermany.

Ontopoftheseproblemsofsubstance,theconstructionoftheEISalsoentailsdrawbacks.First,itaggregatesinputandoutputindicators,so that ample inputs can compensate for weak outputs. (e.g. Edquistetal.2018).Second,composite indicatorsareprone to thediscussion

JOHANNESGADNERANDJÜRGENJANGERDOI:10.22163/fteval.2020.463

MONITORINGNATIONALINNOVATIONPERFORMANCE:GOINGBEYONDSTANDARDIZEDRANKINGS

1 AslightlymodifiedversionofthisarticlewillbepublishedinCele,M./Luescher,T./Wilson,F.A(Eds,forthcoming):DevelopingInnovationExcellenceataGlobalLevel.HSRCPress,Pretoria.


TOWARDS A FRAMEWORK TO MEASURE INNOVATION PERFORMANCE

On 31 August 2009, the Austrian Council of Ministers agreed tosetupaninter-departmentalworkinggrouptoelaborateaStrategy for research, technology and innovation(RTIStrategy).TheaimwastodefinestrategicgoalsandmeasuresforAustrianRTIpolicyfortheperiodupto2020.TheRTIStrategywiththetitleBecoming an Innovation Leaderwasadopted in March 2011. In its title, the document reflects the prioritygoal to be reached by 2020.2 The government has commissioned theAustrian Council for Research and Technology Development with thetask of measuring the progress of the implementation of the strategyand monitoring Austria’s performance in RTI compared to that of theleadingcountriesinEuropeandtheworld.Sincethen,theCouncilhasbeendrawingupayearlyReportonAustria’sscientificandtechnologicalcapability3topresentthemainfindingsofitsmonitoringactivities.ThefirstreportwaspresentedinJune2012.

Thereportsapplya frameworktomeasure innovationperformancethatreliesuponathoroughanalysisof theRTIsystem,strategicgoalsset by the government, and standardised indicators to operationalisemonitoring of target achievement. In a first step, a detailed country-specific analysis of strengths and weaknesses of Austria’s innovationperformancewasconducted,whichwasintendedasgroundworkforthesubsequentdefinitionofstrategicgoalscompiledinacomprehensiveRTIStrategy.Thismulti-yearprocessofdiscussionsandanalysesconsistedofthreepillarstones:

• The“AustrianResearchDialogue”4(2007-2008)wasdesignedtobeabroad,nationwideprocessofdiscourseandconsultationswithAustrianstakeholdersforthepurposeoffurtherdevelopingtheinnovationsystemandaknowledge-basedsociety.

• The evaluation of Austria’s research funding5 (“SystemEvaluation” 2008-2009) provided a profound assessment

of the entire competitive R&D funding system, along withrecommendationsforimprovementbyexperts.

• The Council for Research and Technology Developmentelaborated evidence-based strategic proposals andrecommendations for further development of the Austrianresearchandinnovationsystem(“Strategy2020”2009).6

Basedupontheresultsof theseanalyticprocesses,strategicgoalsfor improving the Austrian innovation system were adopted in theaforementioned RTI Strategy and five performance areas (education,tertiary education, academic research, corporate R&D as well asgovernanceandfundingofR&D)wereidentifiedwithparticularcatch-uppotential.Thisiswhereourmonitoringframeworkcomesin:Whilesomequantitativetargetsweresetforeachperformancearea(forexamplethegoaltoreachanR&Dquotaof3.76percentby2020),mostgoalswithrespect to theperformanceareaswereonlyexpressed inaqualitativeway,sothatweconstructedtargetsfromtheaveragevaluesofthegroupof Innovation Leaders(accordingtotheEuropean Innovation Scoreboard(EIS)atwhichtheRTIStrategyisoriented).7ThismeansthatsomeofourindicatorsuseastargetvaluethenumberwhichwasalreadysetintheRTIStrategy,whilemostuseastargetvaluethearithmeticaverageofthegroupofleadinginnovationcountriesasdeterminedbytheEIS.

In fact,any targetvaluecanbeused;whileanabsolutevaluewillbestatic,theaverageofanumberoffreelychosenpeercountrieswillbe dynamic in the sense that the target value changes according tothe performance of the peer countries. This is similar to standardisedrankings, with the exception that for our tailor-made approach peercountriescanbechosenfreely,presumablyfromasetofcountrieswhosestructuresandperformancesarenottoofarawayfromthecountrytobemonitored.

Toconstructtargets,appropriateindicatorshadtobeselected, intermsofrelevanceandreliability,butalsodataavailability.Forthepur-poseofmeasuringAustria’sinnovationperformance,asetof75indi-catorsweredeveloped in co-operationwith theAustrian InstituteofEconomicResearchanddiscussedwiththeresponsibleministries.8Theselectedindicatorsarebasedoninternationallyusedclassificationsof

2 TheprioritygoaloftheStrategytobecomeanInnovationLeaderby2020isorientedattheEuropeanInnovationScoreboard(EIS).AsaStrongInnovatorAus-triacurrentlyranksamongthetop10memberstatesoftheEuropeanUnion.Austria’sscoreamountedto120pointsaccordingtoEIS2018,whilethegroupofInnovationLeadersreachedanaveragescoreof135.Fordetailsseehttps://ec.europa.eu/growth/industry/innovation/facts-figures/scoreboards_en

3 Allreportscanbedownloadedfromhttps://www.rat-fte.at/performance-reports.html4 TheResearchDialoguewas initiatedby theMinistryofScienceandResearch.A synopsis (inGerman) canbedownloadedhere:https://bmbwf.gv.at/

forschung/national/standortpolitik-fuer-wissenschaft-forschung/oesterreichischer-forschungsdialog/5 The“EvaluationofGovernmentFundinginRTDIfromaSystemsPerspectiveinAustria”wascommissionedbytheMinistryofTransport,Technologyand

Innovation.TheSynthesisReport(inEnglish)canbedownloadedhere:https://www.bmvit.gv.at/service/publikationen/innovation/forschungspolitik/down-loads/systemevaluierung/synthesis_report.pdf

6 The“Strategy2020”waselaboratedbytheAustrianCouncilwiththesupportofaWeb-baseddiscussionplatforminordertodeepenandintensifytheprocessthroughvirtualinteractionwithallrelevantstakeholdersandtheRTIcommunity.Forthecommunity-basedinnovationapproachforstrategydevelop-mentseeGadner/Leo2010.TheStrategy2020(inEnglish)canbedownloadedhere:https://www.rat-fte.at/strategy-2020.html

7 ThetermInnovation Leader referstothoseEUcountriesinthetopgroupintheannualEuropean Innovation Scoreboard(EIS)oftheEuropeanCommission.Today,thegroupcomprisesDenmark,Germany,Finland,Luxembourg,theNetherlandsandSweden.Forthecalculationsthe“innovationleaders’actualvalue”isusedforeveryperformancearea.

8 Ithastobementionedthattheprocessesofcountryanalysis,target-settingandindicatorchoiceenablecollectivelearninganddiscussionprocessesatthenationallevel,somethingwhichiscompletelyabsentfromstandardisedinnovationrankingsbutfostersthelegitimacyofS&Tindicators(Barré2010).Inourcasesixministrieswereinvolvedintheprocess:TheFederalChancellery(BKA),theMinistryofFinance(BMF),theMinistryofEducation,ArtandCulture(BMUKK),theMinistryofTransport,InnovationandTechnology(BMVIT),theMinistryofScienceandResearch(BMWF)andtheMinistryofEconomicAffairs,FamilyandYouth(BMWFJ).


VISUALISING INNOVATION PERFORMANCE

The applied framework focuses on the degree to which the goalssetout in thestrategyhavebeenachieved (staticcomponent,currentdistance to the goal) and on the degree to which the goals may beachieved in the future (dynamic component, probability of achieving the goal).WhilethecurrentdistancetothetargetsimplyreflectsAus-tria’scurrentperformancerelativetothetargetvalue(eitherassetbytheRTIstrategyorastheaverageleveloftheInnovation Leaders),theprob-abilityofachievingthegoalextrapolatespastgrowthtrendstoindicatewhereAustria’sperformancewouldbeby the timehorizon2020. Thisisintendedtoguidepolicyprioritysettingandassumesa“businessasusualscenario”,i.e.thatifnomorepolicyinterventionshappen,trendscontinueasinthepast.Extrapolatingpastgrowthtrendsisnotusedtoforecastindicatorvaluesinthefuture,buttoshowthedevelopmentovertimeofanindicatorasanadditional informationforpolicypurposes–seebelowthedescriptionofthefourquadrantsoffigure1.

Thiscanbegraphicallydisplayedas the followingexampleshows.Figure1providesacomprehensiveoverviewoftheperformancewithinthe analysed areas of the RTI system in relation to the selected peercountrieswhichareasoutlinedaboveasthosecountries identifiedas“InnovationLeaders”bytheEIS.ThisrelatestothestatedobjectiveoftheRTI strategy tocatchup to the Innovation Leaders and ishenceapolicychoiceratherthanachoicebasedonananalysisofe.g.structuralsimilarity.

The distance to target on the horizontal axis in figure 1 illustratesthecurrentAustrianvalueandthedistancetotherespectivetarget.ItshowstheratioandthedistanceofthelastavailableAustrianvaluetothenationalsettargetaccordingtotheRTIStrategyandtheEuropean Education and Training 2020 Strategy.12 If there isno target value, thetargetisconstructedoutofthelastavailableaveragevalueforthecur-rentInnovationLeadersaccordingtotheEIS.Thisisduetothefactthatcatchingupwith thegroupof Innovation Leaders isaprioritygoal forAustria,asestablishedintheRTIStrategy.Thearrowsshowthemove-mentofindicatorvaluesovertime,withtheoriginofthearrowdenotingthe indicator value in the first measurement year and the end of thearrowpointingtothecurrentvalue.

theOECD,Eurostatetc.andcorrespondingdataportfolios.Thesearecollectedregularlyonanationalaswellasonaninternationallevel.9EveryindicatorcorrespondstoastrategictargetoftheRTIStrategytooperationalisegoalachievement.10

For the development of the set of indicators it was important tofocus on indicators suitable for better representing the conditionsof theAustrianRTIsystemthan forexample thoseusedby theEISorother standardised rankings. This was deemed to be important bythe Council since the EIS strongly focuses on inter-sectoral structuralchange and captures economic effects of innovation mainly by thegrowthofhigh-techsectors;incontrasttothis,theEISunderestimateseffectsofinnovationactivitiesinmedium-tech-sectors,asintra-sectoralupgrading– improving innovationwithina sector, rather thangrowingthe share of innovation-intensive sectors in total output – is barelycaptured(Jangeretal.,2017).

Infact,theEISincludesonlyfewindicatorsforimprovementacrossall existing sectors, i.e. intra-sectoral structural change or sectoralupgrading in less R&D intensive sectors such as steel or automobileparts.AustriaperformsverywellinlessR&Dintensivesectors,whichiswhyapicturenottakingthisaspectintoaccountisratherincomplete.Moreover, theEIS indicatorswhichcouldbe interpretedas indicatorsof sectoral upgrading are based on theCommunity Innovation Survey(CIS).11AstheCISindicatorsareveryvolatile,theirexplanatorypowerislimited.Statisticallymorestableindicatorssuchastheexportqualityintechnology-orientedsectorsorR&Dintensityadjustedforthestructuralcompositionofaneconomydemonstrateonlyarelativelysmallgaptothe leading innovation countries (for details see Austrian Council forResearchandTechnologyDevelopment2014,pp.10ff).Consequently,the indicators used within the framework adopted by the AustrianCouncilrelyonmoresuitableindicatorsrepresentingAustria’scountry-specificcharacteristics.Thisdoesnotpreventinternationalcomparisonas these indicators are also available for other countries and in fact,the whole framework rests on international comparison with leadingcountries.

9 Adetailedexplanationoftheindicators(includingthestrategicgoalswhichtheyoperationalise)aswellastheunderlyingdataandthecalculationscanbefoundintheAppendicesofeveryReport on Austria’s scientific and technological capability.

10 Ithastobenoted,thatquantitativeindicatorscannotdisplayalltheobjectivesoftheRTIstrategy.Thisparticularlyappliestotheperformanceareaofgovern-ance structures of the RTI system.Thus,theindicator-basedanalysishasalwaysbeencomplementedwithaqualitativeevaluationofimplementedmeasuresandgoalachievement.

11 The Community Innovation Survey(CIS)isasurveyofinnovationactivityinenterprises.ItiscarriedoutbiennialbyEUmemberstatesandnumberofESS(EuropeanStatisticalSystem)membercountries.Althoughitisdesignedtoprovideinformationontheinnovativenessofsectorsbytypeofenterprises,onthedifferenttypesofinnovationandonvariousaspectsofthedevelopmentofaninnovation,suchastheobjectives,thesourcesofinformation,thepublicfunding,theinnovationexpendituresetc,thecompilingofthedataisvoluntarytothecountries.Thismeansthat indifferentsurveysoryearsdifferentcountriesareinvolved.Fordetailsseehttps://ec.europa.eu/eurostat/web/microdata/community-innovation-survey

12 FollowingthesuggestionoftheFederalMinistryofEducation,ArtsandCultureatthetime,targetvaluesoftheEuropean Education and Training 2020 Strategyhavebeenusedforsomeindicatorsoperationalisingtargetswithintheeducationsystem.

Figure 1: Visualisinginnovationperformance:Outcomesovertimebasedonthecombinationsofcurrentandfuturedistancetotarget


by a decline in the indicator values, such as with the unemploymentrate,forexample,thevalueswouldbeinverted(i.e.targetvalueinthenumerator,Austrianvalueinthedenominator),inordertoretainthein-terpretationof“greaterequalto100=goalachievement”.Valuesabove200arelimitedinthegraphicsto200.

Ifanindicatorislocatedinoneofthetwoquadrantsontheleftside,thismeansthatAustriahasnotyetachievedthesetgoal.Forindicatorsinthebottomleftcornerthiswillveryprobablyalsoremainunchanged.Hence,duetotheweakgrowthrateintheseperformanceareas,Aus-triawillnotachievethegoalby2020.Consequently,withoutadditionalmeasurestheInnovation Leadersareverylikelytoremaininfront.Meas-uresthataresuitabletoincreaseperformanceinthisareashouldthere-forebehandledasaspecialpriority.Indicatorsinthetopleftareaarecatchingup,whichcould result inachieving thegoalby2020,as theAustriandevelopmentdynamic isgreater than thatof thecomparisoncountries.Intheseperformanceareasnofurthermeasureswouldbere-quired,alwaysassumingthattrendsgoonasinthepast.

Indicators located in the two rightquadrants show that the corre-spondinggoalshavealreadybeenachieved.IndicatorsinthetoprightcornersignifythatAustriahasachievedthegoalandinalllikelihoodwillalsoremaininfrontuntil2020duetothehighgrowthrates,providedthegrowthofthecomparisoncountriesremainswithintheexpectedrange.Thus,thereiscurrentlynoneedforfurtheraction.Indicatorsinthequad-ranton the rightbottomsignal thatAustria’sgrowth is insufficient tomaintainitsedgeaheadoftheInnovationLeadersinthelongterm.Ac-cordingly,thedevelopmentshouldbeobservedverycloselyheretoalsocounteractingoodtimewhererequired.

The distance to target exhibits Austria’s current performance levelandrevealsthecurrentdifferencebetweenperformanceachievedandtargetperformance,butitsaysnothingaboutthechangesordynamicswhicharerequiredforthegoaltobeachieved.Thus,anindicatorwhichcurrently lies just below the target level could therefore deteriorateagainduetoanegativedevelopment.Toputitanotherway,theexclu-sivecomparisonof thedistances to targetdoesnotallowanyconclu-sionswithregardtotheprospectofgoalachievement.Forthisreason,theprobabilityofreachingthetargetontheverticalaxiswasselectedas theseconddimension. Itshowswhetherornot thepastgrowthoftheindicatorissufficientforgoalachievement.ItindicatestheratiooftheaverageannualgrowthrateoftherespectivedataseriesinthepastandtheprojectedvalueforAustriain2020tothetargetvaluefor2020(underabusiness-as-usualassumption,seeabove).Astargetvalueforthecalculationofgrowth,ifnoquantitativetargetvaluewassetintheRTIstrategyfortherespectivegoal,theprojectedvaluefor2020oftheInnovation Leaderswillbeused,andnottheiractualvalue.Thisinturnisdeterminedonthebasisoftheaveragegrowthratesofthecomparisoncountriesinthepast.

All indicators can be interpreted in the same direction, i.e. valuesabove100signalgoalachievement,valuesbelow100acorrespondingdistancetothegoal. Indicatorswithaprobabilityofreachingthegoalbelow100– i.e.belowthehorizontal lineat100–arebasedonpastgrowthtrendsunlikelytoreachthetargetbytheendofthetimehorizon;indicatorswithavalueabove100–abovethehorizontalline–arelikelytoreachthetargetvalue.Thestandardisationofthevaluesisachievedasfollows:TheAustrianvalueisdividedbytherespectivetargetvalueandmultipliedby100. Ifperformance improvementsareaccompanied

Figure 1: Visualisinginnovationperformance:OutcomesovertimebasedonthecombinationsofcurrentandfuturedistancetotargetSource:AustrianCouncilforResearchandTechnologyDevelopment(2018):ReportonAustria’sScientificandTechnologicalCapability2018.Vienna,p.103.


averagelevelofthepeersandexpectedtofallfurtherbehind.Judgingbythecurrenttrends,andwithnoadditionalmeasurestakentheindicatorinthebottomrightcornerwilldeteriorateandfallbelowthetargetlevelby2020.Thoseindicatorsinthetopleftquadrantdisplaydynamicdeve-lopmentsandwillmostlikelycontinuecatchingupandreachthetargetlevelbytheyear2020.

Insum,thepresentedperformanceareaofresearchandinnovationinthecorporatesectoratthegiventimehadthethird-smallestgoaldi-stanceofthesixareasanalysedandthehighestprobabilitytoachievethegoal.Overall,goaldistancewasdeemedtobewithinreachby2020– provided the trends continued to develop as they have in the past.However,manyindicators,suchas‘Competitionpolicy’or‘Venturecapi-talintensity’,werewellbelowthetargetlevelanddisplayedinsufficientorretrogradedynamicstocatch-upwiththegroupofleadingcountries.Furthermore,performanceinkeysub-areas,suchasstart-updynamicsandventurecapital intensity, remainedextremelyweak incomparisontothe InnovationLeaders.Basedonthispicture, therelevantfieldsofactionwereaddressedintheCouncil’sreport–includingconcretepolicyrecommendationsforimprovingAustria’sinnovationperformancewithinthespecificareas.

It is important to mention that the Council of Ministers commissi-onedtheCouncilforResearchandTechnologyDevelopmenttoelaboratetheannualReports on Austria’s scientific and technological capability in

ILLUSTRATING THE USE OF THE FRAMEWORK WITH A PRACTICAL EXAMPLE

Toillustratehowtheframeworkisusedinpractice,anexamplefromtheReport on Austria’s scientific and technological capability 2015ispre-sented below.13 Figure 2 shows the indicator-based results of the ap-proachfortheareaofresearchand innovation inthecorporatesectorforthecurrentdistancetothetargetandtheprobabilityofreachingthetarget.Thetailofeachindicatordepictsthepastdevelopmentfrom2010until2015.

Thefigurerevealsataglancethedevelopmentsofboththecurrentdistancetothegoalandtheprobabilityofreachingthegoalby2020intheperformanceareaofresearchandinnovationinthecorporatesectorwithintheAustrianRTIsystem.Itbecomesclearthatatthegiventimetherewas still considerablepotential tooptimiseperformanceand in-creaseefficiencyinthecorporatesector.Whilethesixindicatorsintherightupperquadranthadindeedalreadyreachedtheirtargetorthelevelof the Innovation Leaders, the majority of indicators still continued tobewithinthebottomleftquadrantindicatingaperformancebelowthe

13 Thisfigurehasbeenchosenasanexamplebecauseitcontainsindicatorsinallfourquadrants.

Figure 2: Developmentofdistancetotargetsandprobabilitytoreachthetargetintheareaofresearchandinnovationinthecorporatesector,2010to2015Source:AustrianCouncilforResearchandTechnologyDevelopment(2015):ReportonAustria’sScientificandTechnologicalCapability2015.Vienna,p.47.


of the implemented measures. The measurement framework can alsobeadoptedinothercountries,providedthattherearesuitablestrategy-buildingandperformance-analysingexcercises.Itmaybeaninterestingtool for policy-makers elsewhere, allowing them to focus on country-specificissuesratherthanoninsightsbasedonstandardisedinnovationrankings.

REFERENCESAghion, P., David, P. A. and Foray, D.(2009):Science,technologyandinnovationforeconomicgrowth:Linkingpolicyresearchandpracticein“STIGSystems”,Res.Policy,2009,38(4),pp.681–693.

Androsch, H. and Gadner, J.(2015):Designingthefuture.In:AustrianCouncilforResearchandTechnologyDevelopment(ed.):Designingthefuture:Economic,societalandpoliticaldimensionsofinnovation.Echo-media,Vienna,pp.8-39.

Austrian Council for Research and Technology Development (2018):ReportonAustria’sScientificandTechnologicalCapability2018.Vienna.



Barré, R. (2010): Towards socially robustS&T indicators: indicatorsasdebatabledevices,enablingcollectivelearning.Res.Eval.,2010,19(3),pp.227–231

Edler, J. and Fagerberg, J. (2017): Innovationpolicy:what,why,andhow.Oxf.Rev.Econ.Policy,2017,33(1),pp.2–23.

Edquist, C., Zabala-Iturriagagoitia, J. M., Barbero, J. and Zofío, J. L(2018):Onthemeaningofinnovationperformance:Isthesyntheticindi-catoroftheInnovationUnionScoreboardflawed?ResearchEvaluation,2018,27(3),pp.196–211

Gadner, J. and Leo, H. (2010): InnovationPolicyCounseling2.0:HowOpen and Community-Based Innovation Processes Promote PoliticalDecision Making. bridges, vol. 28, December 2010 / Feature Article.Online: https://ostaustria.org/bridges-magazine/volume-28-december-20-2010?start=20

Grupp, H. and Schubert, T.(2010):Reviewandnewevidenceoncom-posite innovation indicators for evaluating national performance. Res.Policy,2010,39(1),pp.67–78.

Janger, J., Schubert, T., Andries, P., Rammer, C. and Hoskens, M.(2017):TheEU2020innovationindicator:Astepforwardinmeasuringinnovationoutputsandoutcomes?Res.Policy,2017,46(1),pp.30–42.

Schibany, A. and Streicher, G.(2008):TheEuropeanInnovationScore-board:drowningbynumbers?Sci.PublicPolicy,2008,35(10),pp.717–732.

order to send it to theAustrianParliament. There it is debated in theparliamentaryCommitteeonResearch,TechnologyandInnovation.ItisalsopresentedpubliclyandpublishedontheCouncilsWeb-page.Withthisapproachitwasintendedtoputthepoliticalandpublicdebateoneducation, science, research and innovation policy affairs on a soundevidence-basedfooting.

CONCLUDING REMARKSThe described measurement framework is a sound basis for a

meaningfulmonitoringofnationalRTIpoliciesandinnovationperfor-mance,althoughitrequiresmoreworkthanusingstandardindicatorsasoutlinedabove:first,goalshavetobeset,possiblywithinastrategy-building exercise. Goal-setting requires an analysis of the strengthsandweaknessesofacountry.Oncegoalsareset,suitable indicatorscaninasecondstepbedrawnfromavailablesources,suchasOECDdata;whennoready-madeindicatorsexist,newindicatorswouldhavetobebuilt,whichneedsmoreeffortandaboveallthecorrespondingdata.Oncegoalsandindicatorsareinplace,progressovertimecanbemonitored,assessingtheimpactofanypoliciesimplementedtoreachthegoals.

As we have demonstrated, the sketched framework for measuringinnovation performance not only refers to Austria’s country-specificconditionsbutalsofacilitatesadynamicviewofpastandfuturedeve-lopments. While standard rankings just give a static snapshot of oneperformancepointintime,thepresentedapproachyieldsthepossibilitytoshowwherecurrentdynamicsofinnovationperformancemayleadtointhenearfuture.Growthtrendsofsingleindicatorsmaybepositiveornegativesothatayearlysnapshotonitsownisoflittleusetopolicy-makers.Differentpolicyprioritiesapplytoareas,whereacountry lagsbehind,butcatchesupquicklyascomparedtothose,whereacountrylagsbehindwithafurtherfallingtendency.Inthefirstcase,nofurtheractionisneeded,inthesecond,alarmbellsshouldberinging.

Thelimitationsoftheproposedframeworkforpolicymakersarethatthe frameworkneeds tobecustom-made fornationalpurposesand itrequires more resources first for the analysis of national performanceand then for national target-setting or strategy-building. Like a tailor-made suit, the framework fits better but is more expensive and time-consuming. The benefits of appropriately reflecting country strengthsand weaknesses may however largely outweigh the costs of not onlyrelyingonstandardisedindicatorframeworks.Moreover,commontoallindicator-based measurement frameworks, it is a quantitative frame-work,meaningthatinternationalbenchmarkingreliesonavailabledataforindicator-building.Country-specificchallengeslackinginternationallycomparabledatacanonlybeaddressedinaqualitativeway.

For the Austrian Council, the described monitoring framework andthe indicator-basedmeasurementof innovationperformancehasbeena basis from which to draw conclusions about Austria’s scientific andtechnological capability in relation to the leading innovation nations.Withthisevidence-basedanalysisofstrengthsandweaknessesoftheAustrianRTIsystem,themostpressingpriorityfieldsofactionhavebeenidentifiedanddealtwith intheCouncil’sannualreportsandpolicyre-commendations.Additionally,theCouncilusesthedescribedapproachforthestrategicmonitoringoftherealisationofthefederalgovernment’sRTIstrategyaswellas theassessmentofefficiencyandeffectiveness


AUTHORSJOHANNES GADNERAustrian Council for Research and Technology DevelopmentPestalozzigasse4/D1,1010Viennahttps://www.rat-fte.at/home-en.htmlE:[email protected]

JÜRGEN JANGERAustrian Institute of Economic ResearchArsenal,Object20,1030Viennahttps://www.wifo.ac.at/enE:[email protected]

KEYWORDS: monitoring, innovationperformance,RTIpolicies,measurement frame-work,internationalcomparison


eineröffentlichenVerwaltungineinerdemokratischenGesellschaft,ihreDatensätzezurAnalyseaufBasisvonwissenschaftlichen,nachvollzieh-barenKriterienbereitzustellen,umevidenzbasierteAussagenüberstaat-lichesbzw.hoheitlichesHandelnzuerlaubenunddamitzuverbessern?DieswärezumindestimRahmeneinerpolitischenDiskussionüberNut-zenundRisikenderwissenschaftlichenVerwendungvonsolchenDatenzuberücksichtigen–eineDiskussion,dieaberbishernochnichtgeführtwurde.IneinigeneuropäischenLändernistdiesinzwischenauchpas-siert,undwennauchdieGrenzevonLandzuLandverschiedengezogenwurde,sogiltfürdieseFälle,dasssiedazueinegültigeRechtslageher-gestellthaben.AuchinÖsterreichhatsichdazuindenletztenJahrenet-wasgetan.DervorliegendeArtikelliefertdazueinenkonzisenÜberblick.

2. DATENZUGANG – STAND DER DINGE IN ÖSTERREICH

Zunächst: Die Hürden, mit denen die Journalisten der New YorkTimesinBrüsselzukämpfenhatten,sinddenWissenschafterinnenundWissenschafterinÖsterreichnurzuvertraut.EinBeispielbetrifftdieder-zeitinDiskussionbefindlicheForschungsfinanzierungsdatenbank(FFDB).HiergibtesVorbehalte,derWissenschaftZugangzupseudonymisiertenDatenderstaatlichenForschungsförderungaufUnternehmensebenezugewähren.

Wie politisch heikel der Zugang der Wissenschaft zu öffentlichenDatenbeständengesehenwird,zeigtauchdasForschungsorganisations-gesetz(FOG).Mitdem„Datenschutz-Anpassungsgesetz2018–Wissen-schaftundForschung“2wurdeimFOGeinRechtsanspruchwissenschaft-licherEinrichtungenaufBereitstellungvonDatenausbundesgesetzlichvorgesehenRegisterngeschaffen3.DieswareingroßerErfolgdesBun-desministeriums für Bildung, Wissenschaft und Forschung (BMBWF),

1. EINLEITUNG

Eine zentrale Aufgabe öffentlicher Verwaltung besteht darin,Datenbestände anzulegen – zur Erfüllung ihrer ureigenstenAufgaben,aberauchzurNutzungdurchandere.DieseDaten-

bestände dienen als Entscheidungsgrundlage, zur Planung, Doku-mentation, Kontrolle und Evaluierung. So entstehen Register: von derTodesursachenstatistiküberdieSozialversicherungsdatenunddieTrans-parenzdatenbankbiszurStatistikAustria,demgrößtenösterreichischen„Datenbunker“.

DerZugangzuvielenhochwertigenDatensätzenistinderRegelstarkeingeschränkt,odergarnichtmöglich.1DabeigehtesumdieWahrungdesDatenschutzesbzw.derGeheimhaltungsbedürfnissederindenRe-gistern erfassten natürlichen und juristischen Personen. Es liegt aberauch nicht unbedingt im Eigeninteresse der Bürokratie, Daten nachaußenzugeben,diegegebenenfallspolitischsensibelsind.Einbeson-dersanschaulichesBeispielpubliziertedieNewYorkTimeskürzlich inBezugaufihreRecherchenzudenEU-Agrarsubventionen:

The European Union, we learned, maintains a database with all this information. But when we requested it, officials responded both that the data did not exist and that it did exist but could not easily be extracted. When we pointed out that the European Union had previously managed to extract the information for a World Bank study, they said the data was private. We appealed. We were denied again. Downloading the information from the go-vernment’s own computers was so complicated, officials said, that they could not be forced to do it. (Apuzo 2019)

Jedoch:HatdieÖffentlichkeitnichtdasRecht,überdieVerwendungvonstaatlichenMittelnBescheidzuwissen?UndistesnichtdiePflicht

GERHARDSCHWARZ,THOMASKÖNIG,HARALDOBERHOFERUNDMICHAELSTRASSNIGDOI:10.22163/fteval.2020.464

ZUGANGZUREGISTER-UNDINDIVIDUALDATENFÜRDIEWISSENSCHAFTLICHEFORSCHUNGINÖSTERREICH

1 EineAusnahmebildenInformationendesöffentlichenSektors(PSI),diebereitsüberOpenDataÖsterreich(https://www.data.gv.at/)freizugänglichsind.OfthandeltessichdabeiumDatensätze,dieeinebestimmteAnwendungsrelevanzhaben,aberfüreinewissenschaftlicheNutzungnurvonbeschränktemWertsind.

2 BGBl.INr.31/20183 EinenÜberblickzudenVorzügenundHerausforderungenderNutzungadministrativerDatenindenSozialwissenschaftenbietenConnelly-Dibbend-Gaylec-

Playford.(2016).


liche Einrichtungen für wissenschaftliche Zwecke nach Vereinbarung der konkreten Anwendungsbereiche zu übermitteln“(§34Abs.2TDBG).Be-merkenswertdaranisteinerseits,dassderBundesministerfürFinanzennachdemWortlautderBestimmungzwarverpflichtetist6,dieDatenfürwissenschaftlicheVerwendungzuübermitteln,allerdingsnurzurErfül-lungderin§2TDBGgenanntenZwecke7.ObeinsolcherAnspruchinderPraxistatsächlichrechtlichdurchsetzbarwäre,bleibtfraglich.

AndererseitsistanderRegelungderDatenübermittlungfürwissen-schaftliche Zwecke im TDBG bemerkenswert, dass sich diese nur auf„anonymisierte“Datenbezieht.Somit istderZugriff derWissenschaftaufgrobauflösendeDatenbeschränkt,daansonstendieIdentifikationeinzelnerMerkmalsträgeranhandbestimmterAusprägungenvonMerk-malen in den Daten nicht ausgeschlossen werden kann8. Es bedeutetjedochauch,dassdieDatenkeineSchlüsselvariablenenthaltendürfen,dieeineVerknüpfungmitanderenDatenbeständenermöglichenwürde9,dasolcheDatennur„pseudonymisiert“,abernicht„anonymisiert“sind.Die Verknüpfung von Daten aus der Transparenzdatenbank mit ande-renDatenbeständenzuZweckenderAuswertungbleibtausschließlichder„StatistikAustria“vorbehalten(§18Abs.3TDBG).GrobauflösendeDatenunddieNichtverknüpfbarkeitsindabereinProblemfürhochquali-tativeundinnovativeForschung,damitsolchenDatenheutzutagekaummehrpublizierbareArtikelzuproduzierensind.

NebenderTransparenzdatenbank istgeradederRegelungsrahmender bereits erwähnten Forschungsfinanzierungsdatenbank im Diskus-sion. Hier sollen alle Forschungsfinanzierungen durch die öffentlicheHandabrufbarsein,auchjene,dieanprivateUnternehmenausgeschüt-tet werden, einschließlich der steuerlichen Forschungsprämie. NachgegenwärtigemStandsollenderWissenschaftnur zusammengefassteDatenbereitgestelltwerden, aber keineEinzelfalldaten,bei denendieIdentifikation einzelner Förderungsempfänger nicht ganz ausgeschlos-senwerdenkönnte.DagegensollenvonderöffentlichenHandbestellteEvaluatorInnen von Forschungsförderungsmaßnahmen auf Basis einerkonkreten Beauftragung im Einzelfall Zugang zu Einzelfalldaten erhal-ten, sofern es für die konkrete Fragestellung notwendig und sinnvollerscheint.DieEntscheidungbleibtalsobeiderbeauftragendenöffent-lichenEinrichtung.

VergleichtmanRegelungenzuRegisterdatennachFOG,zuDatenausdemTDBGundzuDatenausderFFDB,sosiehtman,dassderGesetz-geber keine einheitliche Vorstellung davon hat, unter welchen Bedin-gungendieWissenschaftZugangzuEinzelfalldatenerhaltensoll.DieszeigtsichauchbeidenBemühungen,derWissenschafteinenbesserenZugangzudenDatenderStatistikAustriaeinzuräumen.

dassichvehementfürdieBereitstellungvonRegisterdatenfürdieWis-senschafteingesetzthat.WieumstrittendiesesGesetzwar,zeigendieknapp80Stellungnahmen,diefürdieparlamentarischeBegutachtungvonvielenStakeholderneingegangensind.NebenKritikamGesetzes-entwurfwurdeinsbesonderevonderWissenschaftsseiteaufdieWich-tigkeitfürdenForschungsstandorthingewiesen.4

LeiderkommtdieserwichtigeErfolg fürdieWissenschaftmit zweiWermutstropfen. Erstens haben spezifischere Regelungen zum Daten-schutz und zur wissenschaftlichen Datenverarbeitung in Materienge-setzenVorrangvordenBestimmungendesFOG.PraktischführtdieszukomplexenrechtsdogmatischenDiskussionenüberdieanzuwendendenRegelungen.SodeutetdiederzeitigeRechtsprechungderDatenschutz-behörde (DSB)daraufhin,dasssie–andersalsdieErläuterungenzurRegierungsvorlagezudeneinschlägigenBestimmungendesFOG–kei-nenVorrangderBestimmungendesFOGgegenüber jenendesDaten-schutzgesetzes(DSG)sieht.EndgültigentscheidenwerdendieserstdieHöchstgerichte.

Zweitens müssen Register, wenn die Bestimmungen des FOG an-wendbarsind,ersteinzelnmittelseinergemeinsamenVerordnungder/des zuständigen Ressortministers/in und des/der Bundesministers/infürBildung,WissenschaftundForschungbereitgestelltwerden.Damitbleibt es weiterhin den Ressorts vorbehalten, zu entscheiden, ob undwelchebundesgesetzlich vorgesehenenRegisterderWissenschaft zurVerfügungstehen.AuchangesichtsderVielzahlvonfürdieForschungrelevantenRegisternwirddieseinlangwierigerProzesssein.

3. VERHEDDERT IM REGELUNGSDSCHUNGEL

SowichtigdieImplementierungderRegisterforschungimFOGfürdieWissenschafteninÖsterreichundihrenBeitragzur„goodgovernance“auch ist,so istesdamit leidernichtgelungen,eineeinheitlicheRege-lung des Zugangs der Wissenschaft zu den Mikrodatenbeständen deröffentlichenHandzuschaffen.Register,dieunmittelbaraufEU-Verord-nungenoderLandesgesetzenberuhen,sindnichtvomFOGerfasst,dassich schon aus Kompetenzgründen auf bundesgesetzlich vorgeseheneRegisterbeschränkt.ObundwannauchdieBundesländerihreRegisterfürdieWissenschaftöffnenwerden,stehtindenSternen.

Parallel zurRegelungderRegisterforschung imFOGbestehenbzw.entstehenweitereRegelungskorpussefürgroßeundforschungsrelevan-teösterreichischesDatenbestände.SowurdeimTransparenzdatenbank-gesetz(TDBG)dieMöglichkeitgeschaffen5,DatenausderTransparenz-datenbank,diedieEinkommenunderhaltenenöffentlichenLeistungenaller natürlichen und juristischen Personen in Österreich enthält, „in anonymisierter Form an fachlich geeignete Personen oder wissenschaft-

4 https://www.parlament.gv.at/PAKT/VHG/XXVI/ME/ME_00010/index.shtml#tab-Stellungnahmen5 BGBl.INr.70/20196 „Die Möglichkeit des BMF die Daten aus der Transparenzdatenbank in anonymisierter Form an Dritte zu übermitteln, soll dahingehend präzisiert werden,

dass dies verpflichtend vorgesehen wird, allerdings mit der Einschränkung für wissenschaftliche Zwecke. Es soll gleicher Zugang für alle wissenschaftlichen Einrichtungen bei voller Transparenz bezüglich Verwendung der Daten und der Ergebnisse gelten. […]“(AA-109XXVI.Gesetzgebungsperiode,Begründung)

7 Informationszweck,Nachweiszweck,Steuerungszweck,ÜberprüfungszweckundWirtschaftlichkeitszweck.8 Vgl.Erwägungsgrund26derVerordnung(EU)2016/679desEuropäischenParlamentsunddesRatesvom27.April2016zumSchutznatürlicherPersonenbei

derVerarbeitungpersonenbezogenerDaten,zumfreienDatenverkehrundzurAufhebungderRichtlinie95/46/EG(Datenschutz-Grundverordnung)9 EtwabereichsspezifischePersonenkennzeichen(bPKs),wiesiedasE-Government-Gesetzvorsieht.


inihrenForschungs-undTechnologieberichtenderJahre2018und2019zumselbenSchluss (siehePolt,Streicheretal.,2018undEckeretal.,2019). Damit ist evidenzbasierte Politik zum Vorteil der AllgemeinheitmangelsdatengetriebenerAnalysenweiterhinnicht–odernursehrein-geschränkt–möglich.

Ein Plan zur Abhilfe ist unter dem Schlagwort eines sogenannten„AustrianMicroDataCenter“immerwiederinDiskussion.EswurdevomehemaligenfachstatistischenGeneraldirektorderStatistikAustrianachVorbilddesdänischenMikrodatenzentrumseingebracht.MitdieserEin-richtungliefertdiedänischeStatistikbehördejährlichDatenfürrund400neueForschungsprojekte,undsetztdabeiumgerechnetetwavierMil-lionenEuroum.12DaDänemarkbevölkerungsmäßigetwahalbsogroßistwieÖsterreich,wirddeutlich,welchesPotentialfürdenheimischenWissenschaftsstandorthierschlummert.

Das „Austrian Micro Data Center“ würde wie ein One-Stop-Shopfunktionieren,derWissenschafterinnenundWissenschafternZugangzudenEinzelfalldatenderStatistikAustriaebensoermöglichtwiezudenRegisterdatennachFOG.ZentralistdabeidieVerknüpfbarkeitvonSta-tistik-undRegisterdatenmiteinanderaufEbenedererfasstenEinheiten,also inderRegel aufderEbeneeinzelnernatürlicheroder juristischerPersonen bzw. Unternehmen. Auch die Verschneidung mit externenDaten,etwaBefragungsdaten,13sollmöglichsein.Darausergäbensichneue Perspektiven, etwa auch für Sozialerhebungen und andere Um-fragen. Solche Verknüpfungen verschiedener Datenbestände erfolgenmittelsnichtrückführbarerKennzahlen,umdenDatenschutzzuoptimie-ren.DerZugangzudenDatenwürdeübereinengesichertenFernzugriffmöglichsein,sodassdieDatennichtheruntergeladenwerdenkönnenunddas„AustrianMicroDataCenter“niemalsverlassen.

6. DATENSCHUTZ, GEHEIMHALTUNG, SENSIBILITÄT UND GESELLSCHAFTLICHE VERANTWORTUNG

Besonderes Augenmerk liegt beim Zugang der Wissenschaft zuRegister- und Statistikdaten auf dem Datenschutz, insbesondere derGeheimhaltung von personen- oder unternehmensbezogenen Daten.InBezugaufgesundheitsbezogeneDatenreagierenDatenschützerundOppositionsparteienbesonderssensibel,wieinÖsterreichinZusammen-hangmitderNovellierungdesFOGfestzustellenwar(vgl.etwaede/apa,2018)undjüngstinDeutschlandinBezugaufeineerweiterteNutzungvonGesundheitsdatenfürForschungszwecke(dpa,2019).Diebetroffe-nenPersonenscheinendieswenigerdramatischzusehen:InFolgederbreitenöffentlichenDiskussionumdenZugangderWissenschaftzudenDaten der Elektronischen Gesundheitsakte (ELGA) meldeten sich ge-schätztetwa5.000Personenzusätzlichab(WZonline,APA,2018).Diesentsprichtnichteinmal0,06ProzentderimJahresdurchschnitt2018an-

4. DIE DATEN DER STATISTIK AUSTRIA

Der größte Datenhalter der öffentlichen Hand in Österreich ist dieStatistikAustria.10Dort liegenKopieneinesgroßenTeilsderDatendieauch in den Registern der öffentlichen Hand stehen - und noch vielmehr:VonderKonjunkturerhebungüberdieLeistungs-undStruktursta-tistikderösterreichischenWirtschaft,derF&EErhebung,denErhebun-genzumEinsatzvonInformations-undKommunikationstechnologieninHaushaltenundUnternehmen,demGebäudeundWohnungsregisterbishinzumKrebsregisterundderTodesursachenstatistik,umnureinigezunennen.

Der verbesserte Zugang der Wissenschaft zu den EinzelfalldatenderStatistikAustriawürdeeinenriesigenDatenbestandfürdiewissen-schaftlicheAnalysezugänglichmachen.BereitsvorzehnJahrengabesdaher–ausgehendvonVertreterInnenderWissenschaft(vgl.Gaulhofer,2009)–Bemühungen,denZugangderWissenschaft zudenDatenbe-ständenderStatistikAustria zuverbessern.SchondamalswolltemaneineanstehendeNovelledesBundesstatistikgesetzesnutzen,dieEinzel-falldatenbeständederStatistikAustria fürdieWissenschaftzuöffnen.Seither haben sich zahlreiche Menschen aus der Wissenschaft, deröffentlichen Verwaltung und auch aus der Statistik Austria für diesesZielverwendet(zuletztetwaKocherundBadelt,2019);vordreiJahrenmündetendieBestrebungen inderSchaffungder„PlattformRegister-forschung“.11

2017und2018schiendie(nachwievorerforderliche!)Novellierungdes Bundesstatistikgesetzes jeweils knapp bevorzustehen, um danndochwiederverschobenzuwerden.DerdamalsetablierteDialogzwi-schenPolitik,StatistikAustria,StakeholdernundWissenschaftistinzwi-schenwiederzumErliegengekommenunddasBundeskanzleramtalszu-ständigesRessortarbeitetexklusivmitStatistikAustriaaneinerLösung,ohnediebetroffeneWissenschaftoderandereStakeholderweiterein-zubinden.DemVernehmennachistinBäldemiteinemneuenVorschlagdes Bundeskanzleramts zu rechnen, auch weil eine Novellierung desBundesstatistikgesetzes imRegierungsübereinkommenvorgesehen ist.DieKnackpunktesindderRechtsanspruchaufZugangderWissenschaftzudenEinzelfalldatenderStatistikAustriaunddessenpraktischeDurch-setzung,dieVerknüpfbarkeitmitanderenDatenbeständen,insbesonde-reRegisterdatennachFOGsowiedieGewährleistungdesDatenschutzessowiedieKostendesZugangszuEinzelfalldatenderStatistikAustria.

5. AUSTRIAN MICRO DATA CENTERTrotz der erzielten Fortschritte, namentlich durch die Ermöglichung

der Registerforschung im FOG, hinkt Österreich in puncto Einzelfall-datenzugangderWissenschaftimmernochweithinterinternationalenVorbildern wie Dänemark, Schweden oder den Niederlanden her (vgl.Falk-Hölzl-Oberhofer,2015).DieösterreichischeBundesregierungkommt

10 EigentlichBundesanstalt„StatistikÖsterreich“(vgl.§22Abs.1Bundesstatistikgesetz)11 Siehehttps://www.registerforschung.at12 DavonistcircaeinDrittelstaatlicheBasisförderung,derRestwirddenBetreibernderdurchgeführtenProjekteinRechnunggestellt.13 Vgl.etwadieMöglichkeit indenNiederlandenDatendes„SurveyofHealth,AgeingandRetirement inEurope“ (SHARE)mitadministrativenDatenzu

verknüpfen:http://www.share-project.org/special-data-sets/record-linkage-project/linkage-share-nl.html


die fürdieForschendeeinenhandlungsnormativenRahmenfestlegen.DazuzählenetwadieÖsterreichischeAgenturfürWissenschaftlicheIn-tegrität(OeAWi)oderdieanzahlreichenForschungseinrichtungenmitt-lerweileetabliertenEthikkommissionen.

7. KONKRETISIERUNG DES REGIERUNGSPROGRAMMS

DieneueBundesregierungsollteausSichtderPlattformRegisterfor-schunginderKonkretisierungderimRegierungsprogrammformuliertenVorhabenjedenfallszufolgendendreiPunktenaktivwerden:

Erstens,dermangelhafteZugangderWissenschaftzuEinzelfalldatenderStatistikAustriaisteinhausgemachtesProblem.Dänemark,Schwe-denoderdieNiederlande,indenenderZugangzuDatenderamtlichenStatistik liberaler geregelt ist, unterliegen demselben europäischenRechtsrahmenundkönnendaheralsVorbilddienen.DerösterreichischeGesetzgebersolltedenForschendenindiesemLandeinenDatenzugangaufinternationalemNiveauermöglichenunddamitdenWissenschafts-standortÖsterreichstärken.

ErfreulicherweisesiehtdasaktuelleRegierungsprogrammindiesemBereichdieEinrichtungeinesAustrianMicroDataCentervor.Zweitenssollte dieses Center so gestaltet werden, dass es den einfachen undsicheren Zugang der Wissenschaft zu den Einzelfalldaten der StatistikAustria und der Registerdaten nach FOG in einem One-Stop-Shop er-möglicht.ImZugederEinrichtungdesCenterssolltenauchdieBundes-ministerinnen und Bundesminister ermutigt und aufgefordert werden,jeneRegisterdatenfürdieWissenschaftzuöffnen,dieinihrenRessortsschlummern.

DieBemühungensolltensichnichtnur inderSchaffungdeserfor-derlichenlegistischenRahmenserschöpfen,sonderndentatsächlichenFortschrittlaufendüberprüfen.OftsindgesetzlicheRegelungenimers-ten Wurf noch unausgegoren und müssen nachjustiert werden. Aberauch eine perfekte rechtliche Grundlage ist erst die halbe Miete; siemusserstvondenbetroffenenInstitutionengelebtundumgesetztwer-den.DiesbetrifftdieStatistikAustriaebensowiedieBundesministerienundanderenEinrichtungen,diebundesgesetzlichvorgeseheneRegisterführen.DasRegierungsprogrammbleibthieraufderEbeneallgemeinerBekenntnisse.Drittens istdaheralskonkreterSchrittaucheinsolchesMonitoringderUmsetzungderDatenzugangsstrategiezuetablieren.

Mit diesen drei Maßnahmen wäre ein wesentlicher Schritt getan,den Wissenschaftsstandort Österreich abzusichern und zugleich auchwiedernäher an jene Länderheranzuführen, diehier inzwischen eineinternationale Vorbildfunktion einnehmen. Davon würden natürlichÖsterreichs wissenschaftliche Einrichtungen und die dort arbeitendenWissenschafterinnen und Wissenschafter profitieren. Gerade vor demHintergrundderDigitalisierungauchweiterTeilederForschungindenSozial-undLebenswissenschaftenisteingutausgebauterDatenzugangessentiellfürdenStandort–auchumhervorragendeForscherInnenanheimischeInstitutionenzurufenbzw.hierimLandzuhalten.ZudemtutsichauchaufeuropäischerEbeneeiniges,wiezumBeispieldiekürzlichveröffentliche „Europäische Datenstrategie“ (Europäische Kommission

spruchsberechtigtenPersoneninderösterreichischenKrankenversiche-rung,undistauchnureinBruchteiljener,diesichindenJahrendavorbereits–ausanderenGründen–vonELGAabgemeldethaben.14

RegisterdatenundEinzelfalldatenderamtlichenStatistiksindinderRegelnichtvollständiganonymisierbarunddaskanndatenschutzrecht-lichtatsächlicheinernstzunehmendesBedenkensein.Allerdings:DieimFOGvorgeschriebenePseudonymisierung,alsodasErsetzenvonNamendurchnichtrückführbareKennzahlen,die(soweitmanweiß)auchbeimzukünftigen Zugang der Wissenschaft zu Einzelfalldaten der StatistikAustriaeingesetztwerdensollunddiedasVerknüpfenunterschiedlicherDatenbestände erlaubt, ist darauf ausgelegt, Personen und Unterneh-menzuschützen,derenDatenineinemRegisteroderinderamtlichenStatistikerfasstsind.DiesgiltbisaufwenigeAusnahmen.

Um welche Ausnahmen kann es sich hier handeln? Dazu zwei(theoretische)Beispiele:SokönntenWissenschafterinnenundWissen-schafter einzelne Personen, etwa nahe Verwandte oder gute Freundeidentifizieren, von denen sie einige kritische Merkmalsausprägungenkennen.AuchUnternehmensdatenkönntendannbetroffensein,wennesineinzelnenBranchennurwenigegroßeUnternehmengibt,dieohneAnführenderFirmaanhandderKombinationausBrancheundBeschäf-tigtenzahlidentifizierbarwären.

Fürdiese(seltenen,abernichtauszuschließenden)AusnahmenliegtesamGesetzgebereineEntscheidungzutreffen.WirsindderMeinung,dassderpotentielleNutzenderGesellschaftandenErgebnissenderRe-gisterforschung höher zu bewerten ist als der mögliche Nachteil, deneinzelnePersonenerleidenkönnten,würdensieüberRegisterdatensätzeidentifiziert.DiesausdreiGründen.Erstens,weildasFOGohnehinweit-reichende Datensicherheitsmaßnahmen vor, um jeglichen Missbrauchzuverhindern(§2dAbs.1FOG).AußerdemfallenWissenschafterinnenund Wissenschafter, die den Datenzugang missbrauchen, unter denStrafrahmen der Datenschutz-Grundverordnung. Und auch alle bisherbekanntgewordenenEntwürfezumZugangderWissenschaftzuEinzel-falldatenderStatistikAustria sehen rigideSicherheitsmaßnahmenvorsowiemassiveKonsequenzenfürFehlverhaltenbishinzurgerichtlichenStrafbarkeit

ZudenSicherheitsmaßnahmengehörtes– zweitens–auch,dassimFalldesAustrianMicroDataCentersdieDatennurimFernzugriffzu-gänglichseinsollenunddessenServerniemalsverlassenwürden.DieswürdeauchfürdieRegisterdatennachFOGgelten,wennsieüberdasAustrianMicroDataCenterverfügbargemachtwerden.DiesestrengenVorgaben zu Sicherheitsmaßnahmen, die Pseudonymisierung und diehohenStrafdrohungenscheinenunseresErachtensgeeignet,dasRisikofürFehlverhaltenundDatenmissbraucheffektivauszuschalten.Diesistzudem aus den Erfahrungen jener Länder abzuleiten, die der Wissen-schaftbereitseinenbesserenZugangzuihrenRegister-undEinzelfall-datenermöglichthaben.

Drittens ist hier darauf hinzuweisen, dass sich innerhalb der Wis-senschaft die forschungsintrinsischen Maßstäbe verändert haben. DieForschendensindbezüglichethischerFragestellungenebensosensiblergeworden,wiegrundsätzlicheAspektederWissenschaftsintegritätthe-matisiertwerden–unddasimpliziertdiegesellschaftlicheVerantwor-tung.SohabensichauchinnerhalbderWissenschaftInstitutionen,Po-liciesundVerfahrenzurKlärungethischerProblemstellungenetabliert,

14 InsgesamtwarenzumZeitpunktdesErscheinensdesArtikels imMai2018 rund273.000PersonenvonELGAabgemeldet.Dasentsprichtetwa3%derim Jahresdurchschnitt 2018 anspruchsberechtigten Personen in der österreichischen Krankenversicherung. Siehe Hauptverband der österreichischenSozialversicherungsträger,Tabelle3.


Hauptverband der österreichischen Sozialversicherungsträger,Versicherte Pensionen Renten, Jahresergebnisse 2018, http://www.sozialversicherung.at/cdscontent/load?contentid=10008.555201&ver-sion=1548666221

Kocher, Martin G., Badelt, Christoph,Manifestfüreineevidenzbasier-tePolitik,DerStandard,20.November2019,https://www.derstandard.at/story/2000111261182/manifest-fuer-eine-evidenzbasierte-politik

Oberhofer, Harald, Schwarz, Gerhard, Strassnig, Michael, Regis-terforschung: Verwaltungs- und Statistikdaten für die Wissenschaft,Mitteilungen der Vereinigung Österreichischer Bibliothekarinnen undBibliothekare, Bd. 72, Nr. 2 (2019), DOI: https://doi.org/10.31263/vo-ebm.v72i2.3154, https://journals.univie.ac.at/index.php/voebm/article/view/3154/2782

Polt, Wolfgang, Streicher, Jürgen et al.,ÖsterreichischerForschungs-undTechnologiebericht2018,BerichtderBundesregierungandenNa-tionalratgem.§8(2)FOGüberdieLageundBedürfnissevonForschung,Technologie und Innovation in Österreich, Bundesministerium für Bil-dung, Wissenschaft und Forschung, Bundesministerium für Verkehr,InnovationundTechnologie,BundesministeriumfürDigitalisierungundWirtschaftsstandort, 2018, https://www.bmvit.gv.at/dam/jcr:847e6be5-fb89-4b97-b90b-619d84a69538/ftb_2018.pdf

Stanzl, Eva,Forschung,Daten,derSchlüsselzumWissen,WienerZei-tung,13.April2018,https://www.wienerzeitung.at/nachrichten/wissen/mensch/958675-Daten-der-Schluessel-zu-Wissen.html?em_no_split=1

WZ online,APA, Tausende Abmeldungen von ELGA, Wiener Zeitung,6. Mai 2018, https://www.wienerzeitung.at/nachrichten/politik/oester-reich/963188-Tausende-Abmeldungen-von-ELGA.html

AUTORENGERHARD SCHWARZWIFO - Österreichisches Institut für WirtschaftsforschungE:[email protected]

THOMAS KÖNIGIHS - Institut für höhere Studien und Wissenschaftliche ForschungE:[email protected]

HARALD OBERHOFERWU - Wirtschaftsuniversität WienE:[email protected]

MICHAEL STRASSNIGWWTF - Wiener Wissenschafts-, Forschungs- und TechnologiefondsE:[email protected]

KEYWORDS: Registerforschung, Administrative Daten, Austrian Micro Data Center,Bundesstatistikgesetz,StatistikAustria

2020),diealswesentlicherBausteingesehenwird,dieeuropäischeDi-gitalindustriewiederglobalwettbewerbsfähigzumachen.DieVorteile,diesichfürEvaluierungen–allgemeinaberauchimFTI-Politik-Bereich–durcheinengutausgebautenDatenzugangergeben,müssenhiernichtweitererläutertwerden.

AberebennichtnurdieösterreichischeWissenschaftwürdeprofitie-ren:EinmodernerundadäquaterZugangderWissenschaftzuRegister-undStatistikdatenistdieVoraussetzungfürerfolgreicheevidenzbasiertePolitikzumNutzenderAllgemeinheit,derSteuerzahlerinnenundSteuer-zahlerebensowiedesWirtschaftsstandorts.Daherfordernwir:ZugangzudenRegister-undIndividualdatenfürdieWissenschaft!

LITERATURApuzzo, Matt,WeJustWantedtoTalkE.U.FarmPolicy.WhyWasSo-meone Always Looking Over Our Shoulders?, The New York Times, 3.November 2019, https://www.nytimes.com/2019/11/03/reader-center/eu-farm-subsidy-reporting.html

Connelly, Roxanne, Dibbend, Chris, Gaylec, Vernon, Playford, Chris-topher J.,Theroleofadministrativedata inthebigdatarevolution insocialscienceresearch,SocialScienceResearch,Volume59,September2016,Pages1-12,https://doi.org/10.1016/j.ssresearch.2016.04.015

dpa, Grüne warnen vor Plänen zu Gesundheitsdaten-Forschung, Han-delsblatt, 3. November 2019, https://www.handelsblatt.com/dpa/wirtschaft-handel-und-finanzen-gruene-warnen-vor-plaenen-zu-gesund-heitsdaten-forschung/25184230.html

Ecker, Brigitte et al.,ÖsterreichischerForschungsundTechnologiebe-richt 2019, Lagebericht gem. § 8 (1) FOG über die aus Bundesmittelngeförderte Forschung, Technologie und Innovation in Österreich, Bun-desministerium für Bildung, Wissenschaft und Forschung, Bundesmi-nisterium fürVerkehr, InnovationundTechnologie,BundesministeriumfürDigitalisierungundWirtschaftsstandort,2019,https://www.bmbwf.gv.at/dam/jcr:6c2909b9-d953-4575-8aed-50e705999f8a/Forschungs-_und_Technologiebericht_2019_dt_bf.pdf

ede/apa, Wer hat Zugriff auf Gesundheitsdaten?, Wiener Zeitung, 11.April 2018, https://www.wienerzeitung.at/nachrichten/politik/oester-reich/958173-Wer-hat-Zugriff-auf-Gesundheitsdaten.html

Europäische Kommission 2020,MitteilungderKommission.Eineeuro-päische Datenstrategie, Brüssel 19.2.2020, https://ec.europa.eu/info/sites/info/files/communication-european-strategy-data-19feb2020_de.pdf Falk, Martin, Hölzl, Werner, Oberhofer, Harald, Die Bedeutungvon unternehmensbezogenen Individualdaten für die empirische Wirt-schaftsforschung und wirtschaftspolitische Beratung, ÖsterreichischesInstitutfürWirtschaftsforschung,WIFOMonatsberichte,2015,Jahrgang88 (11), S. 845-857, https://www.wifo.ac.at/jart/prj3/wifo/resources/person_dokument/person_dokument.jart?publikationsid=58522&mi-me_type=application/pdf

Gaulhofer, Karl,Wifo-Alarm:StatistikAustriablockiertForschung,DiePresse,09.07.2009,https://www.diepresse.com/493556/wifo-alarm-sta-tistik-austria-blockiert-forschung


sentierten,Peer-to-PeerFeedbackerhieltenundschließlicheinenkurzenFörderungsantrageinreichten.AmEndedesIdeenLabswurdenvondervorOrtanwesendenJuryEmpfehlungen zurEinreichungeinesVollan-tragsfürKooperationsprojekte(biszu1Mio.€/Projekt)ausgesprochen.

MEHR ALS NUR BUNTE KLEBEZETTEL FÜR INTERDISZIPLINÄRE ZUSAMMENARBEIT

Sandpits mögen von außen betrachtet, aufgrund der AssoziationmitdemenglischenWort „Sandkasten“unddemEinsatzunterschied-licherInnovationsmethoden(unddendamitverbundenenvielenbuntenKlebezettel an den Wänden), verspielt wirken. Der durch die Agenturvorgegebene Rahmen (z.B. Art und Fokus der Förderungsprojekte, in-terdisziplinäreFragestellung,Kooperationsformen)unddieErgebnisori-entierung(JurysitzungamEndederVeranstaltung)machensie jedochzu mehr als nur unterhaltsamen Kreativ- und Networking-Workshops.SiesindeinfordernderProzess,derallenBeteiligtensehrvielOffenheitundFlexibilitätabverlangt.InkurzerZeitmüsseneingelerntedisziplinä-re und organisationale Denkschemata abgelegt werden. Brücken fürdie Zusammenarbeit unterschiedlichster AkteurInnen werden gebautund eine inhaltliche Basis sowie gemeinsame „Sprache“ für ein For-schungsprojekt gefunden. Es geht darum, sich auf Neues und andereMenschen einzulassen: Offene Kommunikation und Kooperation imgleichzeitigenWettbewerb.EinSandpitrücktdeneinzelnenMenschenmitseinembzw.ihremInnovationspotentialundLösungsorientierungindenMittelpunkt.NichtdiePersonmitdembrillantestenLebenslaufoderklingendemOrganisationsnamenistgefragt,sondernMenschen,denen

ABSTRACT

MitderPilot-Ausschreibung„IdeenLab4.0“ istdieÖsterrei-chische Forschungsförderungsgesellschaft (FFG) im Jahr2018neueWegegegangen,umbereits inderPhase der

Ideen- und Antragsentwicklung neue ProjektpartnerInnen zusam-men zu bringen und die Co-Entwicklung anwendungsorientierter Vorhabenzustimulieren.DieFFGeröffnetedamiteinenExperimentier-raumfüreineneueHerangehensweise,umkooperativeinterdisziplinäreProjektedurchdie„Sandpit“-Methodezufördern.EineexterneEvalu-ierungwurdebegleitenddurchgeführt.DervorliegendeArtikelgibt,er-gänzendzuderimHerbst2019fertiggestelltenEvaluierung,EinblickeindieProgrammentwicklungundImplementierungdurchdieFFG.

Neueswagen-daswardieLeitliniefürdieIdeenLab4.0-Ausschrei-bungimJahr2018-sowohlfürFörderungswerberInnenalsauchfürdieFFG.DerEinsatzderSandpit-MethodebedeutetefüralleBeteiligteneineneue Herangehensweise, um interdisziplinäre, innovative Vorhaben zugenerieren und neuartige Konsortien zu bilden. Interessierte musstensichmitihremLösungspotential,persönlicherMotivationundUnterstüt-zungserklärungihrerOrganisationzudenFragestellungenderAusschrei-bung „Mensch 4.0? - Die Zukunft der Zusammenarbeit Mensch-Ma-schine“bewerben1.30PersonenwurdenvoneinerinternationalenJuryhinsichtlichihrerInnovationsfähigkeit,ihrerthemenrelevantenExpertise,positivenEinstellung(gegenüberanderenBlickwinkeln,Disziplinen,For-schungsaspekten)undihremLösungspotenzialausgewählt.DieGruppe,diezumIdeenLabimSeptember2018eingeladenwurde,warhochin-terdisziplinär, mit unterschiedlichen Organisationshintergründen (Wirt-schaft,Wissenschaft,Forschung,Gesellschaft)undHierarchiestufen.Eserwartete sie eine fünftägigeVeranstaltung, bei der sie sich in einemiterativen Prozess zu Teams zusammenfanden, Ideen entlang der Aus-schreibungsfragenentwickelten,Kooperationenplanten,Vorhabenprä-

CHARLOTTEALBERDOI:10.22163/fteval.2020.465

NEUESWAGEN–MITDERSANDPIT-METHODEZUNEUENKONSTELLATIONEN&INTERDISZIPLINÄRENIDEENSANDPIT-ERFAHRUNGEN AUS SICHT EINER FÖRDERUNGSAGENTUR FÜR ANWENDUNGSORIENTIERTE FORSCHUNG UND INNOVATION

1 FürdieAusschreibung,dievomBundesministeriumfürDigitalisierungundWirtschaftsstandort(BMDW)unterstütztwurde,standeninsgesamt3,5Mio.€ausMittelndesÖsterreich-FondsundderNationalstiftungfürForschung,TechnologieundEntwicklungzurVerfügung.InformationenzurIdeenLab4.0-Aus-schreibung2018sindverfügbarunterderURL:https://www.ffg.at/ideenlab/ausschreibung2018


Sandpits sind aber nicht nur unter dem Aspekt eines neuen Aus-wahlverfahrens für eine Agentur interessant. Die FFG übernimmt da-durch Funktionen, die normalerweise die AkteurInnen selbst bei derAnbahnungneuerKooperationentragenmüssen:PotentiellePartnerIn-nenwerdenimZugeeinerkonkretenAntragsentwicklungfüreinProjektzusammengebrachtundeinigensichmitneuenKonsortialpartnerInnen,diesesauchgleichumzusetzen.Hinzukommtder, imVergleichzuan-derenAusschreibungen,geringereAufwandzurEinreichungeinesAn-tragsfürdieFörderungswerberInnen.BeieinemIdeenLabbeträgtderzeitlicheAufwandfürdieVerfassung,EinreichungundInformationüberFörderungsempfehlungeinesProjektantragesdieTeilnahmezeitamIde-enLab:wenigeTage.DamitwerdenForschungskapazitäten,diesonstwegenderAkquisevonDrittmittelnüberWochenblockiertsind,ohnezuwissen,obmanChancenaufErfolghat,wieder fürdieForschungfrei.

NEULAND FÜR DIE ANWENDUNGSORIENTIERTE FORSCHUNGSFÖRDERUNG

Sandpits werden international vor allem im akademischen Bereichbzw.zurFörderungtransformativerGrundlagenforschungeingesetzt.EsgibtwenigErfahrungen,wiemandieMethodeeinsetzt,uminterdiszip-linäreProjektemitAnwendungspotentialfürdieWirtschaftzufördern.DieFFGbetratdadurchNeuland[2].DasIdeenLab4.0wurdedeshalbalsPilot-Ausschreibungumgesetzt,mitdemZiel,LernenfürdieOrgani-sationzuermöglichen.FürdieImplementierungdesIdeenLabwurdenvonderFFGHypothesenaufgestelltundexternbegleitendevaluiert.DieAusschreibungwardamitselbstein„Experimentierraum“,indemNeuesunterkontrolliertenBedingungenausprobiertwurde.Durchdiebeglei-tendeEvaluierungbekamdie FFG raschHinweise zurBeurteilungdesErfolgsderAusschreibung(anhandder Indikatoren imProgrammdoku-ment hinsichtlich der Erreichung der Programmziele). Andererseits lie-fertesieErkenntnisse,wasdieSandpit-MethodefürdieAnforderungenderFFGleistenkannundwasnicht.SostandenfürdieFFGimZugederImplementierungfolgendeFragenimRaum,wie:TrägtdasFormatdazubei,neueZielgruppenanzusprechenoderneueProjekt-Konstellationenzugenerieren?LiefertdermehrtägigekreativeProzessdes IdeenLabsneue Ideen? Entstehen durch den intensiven mehrtägigen Austauschneue Kontakte und weiterführende Forschungsaktivitäten? Wie wirktdasmehrstufigeVerfahrenaufdieAuswahl interdisziplinärerProjekte?Da die Evaluierung die Erfahrungen aller am Sandpit-Beteiligten (Teil-nehmerInnen, FachexpertInnen, ModeratorInnen, BeraterInnen, FFG)einholte,konntedieFFGdieseimJahr2019systematischindasDesignderzweitenPilot-AusschreibungIdeenLab4.02einarbeiten.

esgelingt, inkurzerZeit ihreFachexpertise imAustauschmitanderenDisziplinenundPersönlichkeitenzueinemneueninnovativenVorhabenzuverbinden.Diedurchgängige,mehrtägigeTeilnahmekannGruppen-dynamikenund individuelleBefindlichkeitenandieOberflächespülen.GleichzeitigwirdmitHochdruckandemZieleineserfolgreichenAntragsbzw.einervorteilhaftenRollefürdieeigeneOrganisationineinempoten-tiellenKonsortiumgearbeitet.DieskannfürdieBeteiligtennebendemZeit-,auchGruppen-undErfolgsdruckbedeuten.

INNOVATIVE HERANGEHENSWEISE UND NEUE FUNKTIONEN FÜR DIE FÖRDERUNGSAGENTUR

DiemehrtägigeVeranstaltungistallerdingsnureinkleiner-fürEx-terneaberbesonderssichtbarer-AusschnittdesFormats.Nebendemklassischen Programmdesign bzw. der Ausschreibungsarbeiten (z.B.Erstellung der Leitfäden, Mobilisierung, Vorbereitung der Auswahlsit-zungen) bedeutet es für die Förderungsagentur einen mehrmonatigeninhaltlichen Vorbereitungsprozess. Die Vorarbeiten können - abhängigvondenVorerfahrungenmitderMethode - zwischensechsundzwölfMonatendauern.IndiesemZeitraumwerdenvonderAgenturdiezent-ralenStellschrauben(z.B.thematischerFokus,DefinitioneinerFragestel-lung fürdieAusschreibungundZielgruppe,UmfangdernotwendigenInterdisziplinarität,ArtderzuförderndenProjekte,FachexpertInnenfürdie Jury) gestellt. Diese definieren den Rahmen dafür, was später imIdeenLabentstehenkann.BeimmehrtägigenIdeenLabtrittdieAgenturindenHintergrundundübernimmterstamletztenTag,mitderAbwick-lungderJurysitzung,wiedereineaktiveRolle.DieerstenTagewerdenvonexternenModeratorInnenundFachexpertInnenbegleitet.DieFach-expertInnenfungierenamAnfangdesIdeenLabsalsMentorInnenundwechselnimspäterenVerlaufindieRollederJury.

Sandpits ermöglichen Agenturen neue Herangehensweisen zu-sätzlich zum „normalen Förderungskanon“ auszuprobieren. So geltensie zum einen als eine Alternative zum klassischen Peer-Review fürdieAuswahlvonProjektanträgen, zumanderenstellensieaucheinenRahmenfürKreativitätundInteraktionzwischendenAntragstellendenundderJurydar:„Research proposals that undergo multiple rounds of review over a lengthy time period may suffer from ineffective interaction between researchers and reviewers, time delays and lingering uncertainty about when and whether projects will be funded. A sandpit model aims to address many of these issues. It brings together researchers, funders and reviewers to interactively discuss and revise proposals at a workshop, prior to making a final decision on which projects will be funded from a predetermined pot of money. Sandpits provide a forum for brainstorming sessions to foster creativity and generate substantive changes to propo-sals prior to their final submission. Since funding decisions are made at the end of a workshop, sandpits provide a finite timeframe for proposal review and revision. Appropriate selection of participants is crucial to the success of this approach, as well as effective facilitation/moderation by the funding administrator.“[1]

2 InformationenzurzweitenPilot-AusschreibungsindverfügbarunterderURL:https://www.ffg.at/ideenlab/ausschreibung2019


Auswahlverfahren.Denn:„Gelingt es nicht in ausreichendem Maße jene Projekte, die für die Entwicklung eines Innovationssystems nützlich sind, von denjenigen, die das weniger sind, zu unterscheiden, werden die Ziele von Förderprogrammen nicht erreicht und potenziell öffentliche Gelder fehl alloziert.“[8]WieeinVergleichvon12europäischenInnovationsagentu-renzeigt,verwendenAgenturendeshalbaucheineBandbreitevonAus-wahlverfahren,um ihrem jeweiligenAuftragnachzukommen[9].DieseBandbreite,alsauchderaustarierteEinsatzderVerfahren,ergebensichauchausdenunterschiedlicheninstitutionellenRahmen,inwelchenIn-novationsagenturenagierenmüssen.

LERNERFAHRUNGEN BEI DER IMPLEMENTIERUNG DES IDEEN LABS 4.0

VordiesemHintergrundgibtesfürdieFFGzentraleLernerfahrungenbeiderProgrammentwicklung:DieMethode(alsodergesamteSandpit-Prozess)lässtvieleGestaltungsmöglichkeitenzu,z.B.imHinblickaufdieZielgruppe, das Ausmaß der Interdisziplinarität, die Dauer des IdeenLab,obesnureineersteFörderungsempfehlungzurEinreichungeinesVollantragsamEndederVeranstaltunggebensollodereinefinaleFör-derungsentscheidung, die Art der Projekte und die ZusammensetzungderKonsortien.Manmusssichbewusstsein,dass jedeStellschraube,andermandreht,diemöglichenErgebnisse(z.B.transformativeProjek-tegenerierenversusStimulierungneuerKooperationen)verändert.DasDesignfüreinIdeenLabkannmandeshalbauchnicht1:1nachdemVor-bildandererAgenturenübernehmen.EshängtstarkvonderkonkretenIdeenLab-ZielsetzungunddeminstitutionellenRahmenderAgenturab.DieFFGprofitierteimZugederPilot-AusschreibungsehrvondenIdeasLab-ErfahrungenundderbegleitendenBeratungderLudwigBoltzmannGesellschaft,konnteaberaufgrunddergroßenUnterschiedenureinenTeilderErfahrungenaufdasanwendungsorientierteFFG-IdeenLabüber-tragen.Wichtig istdesWeitereneinerprobtesModerations-Team,dasmitSandpitsvertrautist.WiebeiallenanderenFFG-Förderungenunter-liegtaucheinIdeenLabdemZieleineseffektivenundeffizientenEin-satzesöffentlicherMittelnachstrengenQualitätskriterienundverlangtdamittransparente,möglichststandardisierteAbläufe.FürdasAuswahl-verfahrenmussteneinigeAbläufe fürdie FFGneuentwickelt (z.B. einvierseitigerKurzantrag imelektronischenEinreichsystemfürdieEinrei-chungderVorhabenamEndedesIdeenLab)bzw.adaptiertwerden(z.B.DetailliertheitderKostendarstellungimKurzantrag).InhaltlichverfolgtedieFFGmitderPilot-AusschreibungdiegezielteStimulierungvonneueninterdisziplinären Kooperationen und die gemeinsame Umsetzung an-wendungsorientierterProjekte.DieKonsortienkonntendieimIdeenLaberarbeiteten Vorhaben entweder als Sondierung, KooperationsprojektoderalsF&E-Dienstleistungumsetzen.DieseverschiedenartigenFörder-

AGENTUREN ZWISCHEN OFFENHEIT, INSTITUTIONELLEM RAHMEN UND RISIKO

DieFFGbetratdas„Sandpit-Neuland“abernichtunvorbereitet.Derkonkreten Programmentwicklung und Ideen Lab 4.0-ImplementierungwarenmehrjährigeVorarbeitenvorangegangen.IneinerImpulsinitiative3beschäftigtemansichmitdemThema„RadikaleInnovationen–MehrFreiraumfürinnovativeundrisikobehafteteForschung“(2015-2016)unddiskutierte dazu Aspekte wie Governance, Auswahlverfahren, Interdis-ziplinarität und neue Formate. Eine gleichlautende Studie und ein Ar-beitskreis imRahmenderTechnologiegesprächedesEuropäischenFo-rumsAlpbach4rundetendieVorarbeitenab.Zielwareszuhinterfragen,womanFreiräume für innovative Ideen imbestehendenFördersystemschaffenkann.AlseinsolcherFreiraumzeigtedieStudie[3]diepositivenErfahrungendesResearchCouncilofNorway(RCN)mitden„IdeaLabs“imJahr2016auf.DerRCNsetztdieSandpit-Methode imZugeseinerStrategie„ResearchforInnovationandSustainability“(2015-2020)alsei-nenBausteinein,umProzesseneuaufzustellenunddieFörderunginno-vativerProjektezuermöglichen.DerRCNorientiertesichbeiseinenIdeaLabs am Engineering & Physical Sciences Research Council (EPSRC).DerenglischeEPSRChattedieMethodeursprünglichimJahr2003zurFörderungtransformativer,hochinterdisziplinärerForschungentwickelt.InzwischenwerdenSandpitsoder„IdeasLabs“weltweitveranstaltet.IndenUSAverwendeteesdieNationalScienceFoundation[4]zurFörde-rungvon„kreativenIdeen“,dieimStandard-Schemanichtmöglichwä-ren. Universitäten stimulieren damit intern neue KooperationsprojekteundinterdisziplinäreVernetzungen.InÖsterreichwurdedasersteIdeasLabvonderLudwigBoltzmannGesellschaft(LBG)durchgeführt[5]. ImFrühjahr2017nutztedieLBG,alsForschungseinrichtungundTrägervonInstituten,dieSandpit-MethodealsneueHerangehensweise,umeigeneForschungsgruppenausinternationalenBewerberInnenzuformen.DasenglischsprachigeIdeasLabwareingebettetineineumfassende„OpenInnovationinScience“Initiative[6].

Das Beispiel des RCN und das wachsende Interesse5 für die Me-thodeinEuropa,zeigen,dassAgenturen-bedingtdurcheinenstetigenWandelderInnovationssysteme-ihreProzesseundFörderungenandieBedürfnissedesInnovationsstandortsimmerwiederanpassenmüssen.Aktuell sindesbeispielsweiseneue Innovationsparadigmen, z.B.OpenInnovation, die die Art und Weise wie Innovationsaktivitäten initiiertwerden, ändern [7]. Auch die gesellschaftlichen Herausforderungen(GrandChallenges)erfordernaufgrundihrerKomplexitätvermehrtinter-disziplinäreoder„radikale“Lösungsansätze.AgenturensuchendadurchnachWegen,wiemandiebenötigtenLösungsansätzeunddasWissenunterschiedlicherAkteurInnenwirkungsvollstimulierenkann.Einezen-traleRollebeidieserAnpassungandenWandelspielenfürAgenturen

3 GeleitetvomBMDW(damalsBMWFW)undvonderFFGimZugedesProgrammsw-fFORTEbegleitet.InnerhalbdervomösterreichischenRatFTEunterstütztenInitiativegabesauchorganisationsübergreifendeArbeitsgruppenmitExpertInnenausFörderungsorganisationen,MinisterienundStakeholdern.

4 EuropäischesForumAlpbach,BreakoutSession28.8.2016,RadikaleInnovationen:MehrMutzumRisiko!,verfügbarunterderURL:https://www.alpbach.org/de/session/tec16-breakout-session-07-radikale-innovationen-mehr-mut-zum-risiko/

5 Im Mai 2019 fand ein internationaler „Sandpit-Learning Event“, organisiert von Netherlands Organisation for Scientific Research (NWO) statt, mitTeilnehmerInnenausÖsterreich,Norwegen,Polen,EnglandundDeutschland.


Umsetzungsexpertise imKonsortium.NebeneinergutausbalancierteninterdisziplinärenGruppemüssensomitauchdieseEigenschafteninei-nemanwendungsorientiertenIdeenLabvertretensein.EininteressantesLernfeldausderPilot-AusschreibungbetrifftdieAuswahlundVorberei-tungderFachexpertInnen(=Jury).SieistfürdieAgenturaufwändigeralsbeianderenFormaten.DieJurymitgliedermüssennichtnurfachlichfürdieinterdisziplinäreBewertungsrollequalifiziertsein,sondernebensoexperimentierfreudigwiedieTeilnehmerInnen.IndenerstenTagendesIdeenLabssinddieJurymitgliedernochineinerMentorInnen-RolleundsolltendaherCoaching-Qualitätenbesitzen.FüreinJurymitgliedistderAufwandfürdieVorbereitung(diesebeginntzusammenmitderAgenturschonMonatevordemIdeenLab)unddurchgängigeAnwesenheitwäh-rendeines IdeenLabhoch.HinzukommtdiepersönlicheInvolvierung:JurymitgliedersindfüralleTeilnehmerInnensichtbarerundinteraktiverTeildesProzesses.

ERGEBNISSE DER PILOT-AUSSCHREIBUNG IDEEN LAB 4.0 LAUT EVALUIERUNG

Betrachtet man die Ergebnisse der Pilot-Ausschreibung, zeigt sich,dassesderAufwandwertist,dieSandpit-Methodefürdieanwendungs-orientierte Forschungsförderung einzusetzen. Laut BegleitevaluierungvonGeyer/Good[2]ist„es der FFG insgesamt sehr gut gelungen, mit der Ausschreibung neue Akteure anzusprechen. Insgesamt wurden 112 Be-werbungen abgegeben, wobei 23% der Bewerber zuvor noch nicht zum Kundenkreis der FFG zählten.“(S.13)Die30ausgewähltenTeilnehmerIn-nendesIdeenLabalsauchdiesechsköpfigeJurybestätigtenüberein-stimmend, dass „die Teamkonstellationen in den ausgearbeiteten und geförderten Vorhaben deutlich interdisziplinärer seien als in traditionellen FuE-Projekten, in die sie derzeit eingebunden sind oder in der Vergangen-heit eingebunden waren“ (S.10).DieMentorInnengabenauchan:„Es würden in den Projekten Akteure zusammenarbeiten, die schon in der Vergangenheit längst hätten zusammenarbeiten sollen“ (ebd.).DasFor-matwürdeimVergleichzukonventionellenAusschreibungen„neue Ziel-gruppen ansprechen und damit unübliche Konstellationen ermöglichen.“(ebd.)DieEvaluierungkommtzumSchluss,dass„zwei der drei geförder-ten Projekte eine im Vergleich zum Durchschnitt der geförderten Projekte in anderen FFG-Programmen eine überdurchschnittlich hohe Bewertung des Innovationsgrads“(S.13)aufweisen.SehrerfreulichistauchderhoheAnteil(47%)anteilnehmendenFrauen(undzweidergefördertenProjek-tewerdenvonKonsortialleiterinnengeführt).DieJurywarhinsichtlichdesVerhältnisMännernundFrauenparitätischbesetzt.DasVorurteil7,mehrtägigeSandpitsführenzuwenigweiblicherBeteiligung,kannsomitnichtbestätigtwerden.

undFinanzierungsinstrumente6ermöglichtenderFFGundauchdenFör-derwerberinnenmitunterschiedlichenFörderhöhen,ZielsetzungenundMindestvoraussetzungenzuexperimentieren.FürdieFörderwerberInnenbedeutetedieInstrumenten-VielfaltallerdingseineweitereKomplexitätwährenddesIdeenLabs.DieFörderungwaraufOrganisationen(jenachOrganisationstyp mit unterschiedlichem finanziellen Eigenanteil) undnichtaufdie Individualpersonausgelegt.ZielgruppewaraufgrunddergeltendenRichtliniendienationaleFTI-Community,internationaleBetei-ligungenindenKonsortienwareninkleinemAusmaßmöglich.Währenddes mehrtägigen, deutschsprachigen Ideen Labs trat die FFG in einerneutralen,beobachtendenRolleauf,wasvondenTeilnehmerInnensehrpositivempfundenwurde.

BeimerstmaligenEinsatzderSandpit-Methodefürdieanwendungs-orientierteForschunginÖsterreichstelltensichfürdieFFGauchFragenhinsichtlichderkonkretenAusgestaltungderAusschreibung,beispiels-weise: Gibt es genügend experimentierfreudige InteressentInnen, diedenzeitlichenAufwandfürdiemehrtägigeVeranstaltungunddasArbei-tenaneinervorgegebenenFragestellunginKaufnehmen?BekommendieTeilnehmerInnenvon ihrenOrganisationentatsächlichdasPouvoir,neueVorhabenzusammenmitPartnerInnen,diemanerstwährendderVeranstaltung kennenlernt, zur Förderung einzureichen? Werden inno-vative Projekte entstehen? Und welches Förderungsinstrument bietetgenügendFlexibilität,aberauchAnreiz,fürdiesichimIdeenLabbilden-den Konsortien? Durch den Pilotcharakter der Ausschreibung und dashypothesengeleiteteVorgehenkonntemitverschiedenenStellschraubenexperimentiertunddasProzessrisikofürdieAgenturkalkulierbargehal-tenwerden.

AUSWAHL UND VORBEREITUNG DER BETEILIGTEN ALS ZENTRALER ERFOLGSFAKTOR

DieNaturdesIdeenLabverlangtvonallenBeteiligteneinenhohenGradangegenseitigemVertrauen,freiemIdeenaustausch,OffenheitfüralternativeSichtweisenundinterdisziplinäreLösungsansätzesowiekon-struktivesArbeitenimTeam.IndiesemZusammenhangistdieZulassung(AuswahlderBewerberInnendurchdieJury)unddieSchaffungeineshierarchiefreienRaums (damitdie Ideenmöglichstoffenausgetauschtwerden)währendderVeranstaltungbesonderswichtig.DieAuswahlderTeilnehmerInnenerfolgtdeshalbnichtanhandvonklassischenExzellenz-Kriterien, sondern anhand von Fragen zur Person hinsichtlich Innova-tionsfähigkeit, themenrelevanter Expertise und positiver persönlicheEinstellung(bzw.besondererMehrwertfürdasIdeenLab).ImZugederZulassungmussmitbedachtwerden,dassdiefüreinIdeenLabausge-wählteGruppeauchdasformalePotentialfürdieBildungvonspäterenKonsortien mitbringt. So gibt es bei den FFG-FörderungsinstrumentenzumBeispielMindestkonsortien,dieverpflichtendmindestenseinklei-nesodermittleresUnternehmenvorschreiben.FürdieEntwicklung in-novativeranwendungsorientierterProjektebenötigtesauchtechnische

6 DieInstrumentederFFGsindverfügbarunterderURL:https://www.ffg.at/instrumente7 Auch der EPSRC weist in seiner Sandpit-Reflexion auf die Wichtigkeit einer egalitär und divers aufgestellten Gruppe hin (und dass gerade die

Geschlechterverteilung oft sehr ungleich ist). Verfügbar unter der URL: https://epsrc.ukri.org/funding/applicationprocess/routes/network/ideas/whatisasandpit/sandpitpsychology3/


LITERATURVERZEICHNISS. Guthrie, B. Guerin, H. Wu, S. Ismail und S. Wooding(2013):AlternativestoPeerReviewinResearchProjectFunding:2013Up-date.RandCorporation,SantaMonica,CA,p.4.https://www.rand.org/pubs/research_reports/RR139.html

A. Geyer und B. Good(2019):BegleitevaluierungderPilotausschrei-bungIdeenLab4.0-ZusammenfassungderErgebnisse.InspireRe-search,Wien,S.13-16,2019.https://repository.fteval.at/492/

K. Warta und T. Dudenbostel (2016): Radikale Innovationen –MehrFreiraumfürinnovativeundrisikobehafteteForschung.Stu-dieimAuftragvonBMWFWundRatFTE,Technopolis,Wien,2016.https://repository.fteval.at/191/

V. Gewin (2012):,Risky research:Thesky’s the limit.Nature,Bd.487,Nr.July,p.395–397,19July2012.https://www.nature.com/articles/nj7407-395a

K. Warta,(2017):LessonslearnedatthefirstIdeasLabinAustria.Technopolis,Wien,2017.http://www.ideaslab.lbg.ac.at

LBG(2017):ResearchGroupsonMentalHealthofChildren&Ado-lescentsa,AnovelapproachtoformResearchGroups.Processdo-cumentation.LudwigBoltzmannGesellschaft,Vienna,2017.

BMVIT und BMWFW (2017): Österreichischer Forschungs- undTechnologiebericht2017,Wien,2017.https://repository.fteval.at/318

P. Biegelbauer und T. Palfinger (2016): Auswahlverfahren vonForschungsförderungsorganisationeniminternationalenVergleich.ftevalJournalforResearchandTechnologyPolicyEvaluation,Bd.41,p.63,2016.

Biegelbauer, T. Palfinger und S. Mayer (2017):Howdoinnovationagenciesevaluateandselectprojects?Acomparisonof12Euro-peanagencies.ftevalJournalforResearchandTechnologyPolicyEvaluation,Bd.43,p.21-23,2017.

AUTORINCHARLOTTE ALBERÖsterreichische Forschungsförderungsgesellschaft – FFG (Strukturprogramme) Sensengasse1,1090WienE:[email protected]

KEYWORDS: Begleitevaluierung, Sandpit, Ideen Lab, Interdisziplinarität, anwen-dungsorientierteForschungsförderung

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

RESÜMEE ZUR PILOT-AUSSCHREIBUNG

SandpitssindeinegeeigneteMethodefürdieanwendungsorientier-te Forschungsförderung, um verschiedene Disziplinen und heterogeneExpertisenvonunterschiedlichenAkteurInnensystematischzusammenzubringen.EinIdeenLab-TeilnehmerbrachteseineErfahrungensoaufdenPunkt: „Liebe FFG, Vielen Dank für alles, es war hart und mein Hirn raucht immer noch…aber ich glaube, daß derartige Formate, mit leichten Änderungen, eine wirklich sehr sinnvolle Ergänzung zum normalen För-derkanon sein können.“8 IdeenLabskönnendurcheineentsprechendeFormulierungder konkretenAusschreibungs-Fragestellung9 auch sehrgutgesellschaftlichrelevanteThemenstellungeneinbindenunddadurchForscherInnenausklassischenTechnologiebereichensowieausdenSo-zial-undGeisteswissenschaftengleichermaßenansprechen.Diedurchdie Sandpit-Literatur geschürten Erwartungen an das Ideen Lab, dassdadurchradikalesQuerdenkenentsteht,habensichnichterfüllt.Esliegtdie Vermutung nahe, dass dies auf die Adaptierung des, ursprünglichfürdietransformativebzw.Grundlagenforschungentwickelten,Formatszurückzu führen ist.BeimanwendungsorientiertenFFG-Rahmenmussimmer eine mögliche Umsetzung und Verwertung durch die beteilig-ten Unternehmen mitgedacht werden, was das radikale Querdenkeneinschränkt.DieFFGhatvieleder inderBegleitevaluierungdokumen-tiertenLernerfahrungen(z.B. intensivereVorbereitungallerBeteiligten,stärkerer Fokus in der Fragestellung auf die Anwendungsorientierungbzw. Beteiligung von Unternehmen, Ausschreibung von nur einemFörderungsinstrument,Höheder Förderung) imRahmeneiner zweitenAusschreibung umgesetzt. Im Dezember 2019 fand ein neues IdeenLab (im Themenfeld „Künstliche Intelligenz und ethische Grundsätze“)statt. Dafür gab es wieder viele interessante und interdisziplinäre Be-werbungen.DaszweiteFFG-IdeenLabdauertenurdreieinhalbTageundeskonntenamEndeSondierungsprojekte(max.200.000€)eingereichtwerden.SondierungsprojekteermöglicheneinraschesAustestenderin-novativenKonzepteineinemüberschaubarenzeitlichenundfinanziellenRahmen als Vorprojekt oder Anstoß für größere, innovative Vorhaben.AufgrunddesvereinfachtenAntragsverfahrenswurdedervollständigeProjektantragbereitsimIdeenLabeingereichtunddieKonsortienerhiel-ten die Förderungsentscheidung noch rascher und ohne weiteres An-tragsschreiben.Vonden10eingereichtenSondierungsprojektenwurdensechsvomBewertungsgremiumvorOrt zurFörderungempfohlen.DasIdeenLab4.0istdamiteinProgramm,indemsystematischsowieeffek-tiv,innovativeinterdisziplinäreVorhabeninneuenProjektkonstellationenfürdenInnovationsstandortumgesetztwerdenkönnen.

8 EmaileinesIdeenLab-TeilnehmersandieFFGnachAbsolvierungderfünftägigenVeranstaltung,3.10.20189 EinBeispielhierfüristdieFragestellungder2.Pilot-Ausschreibung:„WiekönnenwirKI-Systemebzw.derenAlgorithmenunterBerücksichtigungethischer

Grundsätzemöglichstvertrauensvollgestalten,damitösterreichischeUnternehmendieseakzeptieren,ihrePotenzialeerkennenundausschöpfen?“


mentprocess,asFigure1illustrates.IncontrasttotraditionalR&D-fund-inginstrumentsanin-depthproblemanalysis,theideationprocessandtheideaselectionformedanintegralpartoftheprojectstobefunded.Therefore, the projects´ evaluation focused on the innovation processratherthanontheresearchand/ormarketpotentialasitisusuallydonebothbyFFGandmostEuropeanInnovationAgencies.

MOTIVATION FOR THE NEW PROGRAMME “IMPACT INNOVATION”

For the lastdecades InnovationAgenciesusedtofund innovationswhichwereR&D-and technology-based.However, facing the societalandeconomicchallengesandthelikelytransformationalprocesses,ef-fortsbyresearchpromotionagenciestosupportnon-technologicalinno-vationcouldbenoticedthroughoutEurope(e.g.thescheme“Feelings”fromTekes[nowBusinessFinland]orthe“BusinessInnovationInitiative”fromEnterpriseIreland).IntheFFGthefirststepsweretakenwiththeintroduction of the “service innovation initiative” and the “innovationvoucher”scheme.Butalthoughbothfundingschemeswereimportant

WHY “IMPACT INNOVATION”?

In February 2017 the Austrian Research Promotion Agency (FFG)startedwithafirstcallofthefundingscheme“ImpactInnovation”.Itpursuedthreeobjectives:

• Broadening the innovation base through a broader under-standingof innovationto includeproblem-based,non-techno-logical innovation and innovation outside of traditional R&D-areasincludingsocialinnovations,businessmodelinnovationsandserviceinnovationindiversefieldssuchaseducation,jour-nalismandsocialinclusion;

• Broadening access to FFG funding for actors who have notbeenaddressedbyFFGinstrumentssofar(e.g.start-ups,socialenterprises,associations);

• Moresuccessfulinnovationprojectsthroughan early involve-ment of relevant actors,astructuredandmethodicallyguidedapproach along an innovation process, orientation towardsproblemsolvingandlearningexperiencesontheprobleminthecourseofprojectimplementation.

Against the background of these objectives, the pilot programmeaimedat innovationprojects in their veryearly stagesof thedevelop-

PHILIPPAIGINGER-EVANGELISTI,BARBARAGLINSNERANDDOROTHEASTURNDOI:10.22163/fteval.2020.466

THEFUNDINGSCHEME“IMPACTINNOVATION”–THEIDEABEHINDANDTHERESULTSOFANASSESSMENT

Figure 1: „ImpactInnovation“:InteractiveDevelopmentofinnovativeIdeasandSolutions, Source:FFG(https://www.ffg.at/programm/impactinnovation),owntranslation


concept of innovation to include non-technological innovation as wellastoenlargethetargetgroupofFFGprogrammestoattractnew,non-traditional innovators (suchas social innovators) requireda change inperspectiveaswellasinspirationfromoutsidethetraditionalinnovationpolicy´secosystem.

FFG therefore assigned a small innovation consulting company“WhatAVenture”togetaclearerpictureofinnovationprocesses,mod-ern innovation methodologies and the needs of non-technological in-novatorswithregardtosupportstructuresandfundinginstruments.Byincluding“unusualsuspects“(fortheFFG,suchassocialorculturalnon-profitorganisations)andLeadUsersthattheFFGconsideredinnovative,butwhodidn’tperformR&D(suchasdesigners,socialentrepreneurs)itbecameevidentthattheavailablefundinginstrumentswerenotflexibleenoughtoallowforiteration,learningandstakeholderinvolvement.

WHAT ABOUT THE MARKET FAILURE, WHERE ARE THE RISKS?

Themarketfailureargumentoninformationasymmetries,riskaver-sion and uncertainty can be mitigated through a more inclusive de-velopment process. In a paper about non-technical R&D the authorsconclude thatuncertaintiesare rooted in theuseracceptanceofnewnon-technicalsolutions(seeTechnopolisetal,2016)5.Therefore,theap-proachtostartwithuser’sproblemsandinvolvingthemintheiterativedevelopmentprocessasillustratedinFigure1,seemsveryappropriatetoovercomeuncertainties.SMEsdonotfollowthispath(enough)with-outpublic interventions,becauseof the constraints in resources (incl.finance, time, staff, networks) and a lack of qualification. This marketfailureargument,emphasizingtheroleofuncertainties,differsfromtheprevious mentioned public good argument and substantiates the ap-proachofinsistingonathoroughinnovationprocess.

Theimportanceoftheinnovationprocessrequiredashiftinassess-ingprojectproposalsaswell:Insteadofassessingthelevelofinnovation,technicalriskstoovercome(otherwisenorealresearchisneeded)andthemarketpotentialofthesolution,itmightbemoreimportanttoassesstheset-upof the innovationprocessandthefuturepotential, ifevery-thingworksasplanned.Sotosay:insteadofassessingthesolution,startwiththeproblemandhowyouwanttoproceedtosolveit.Theassump-tionis,thatifthereisaproblemwithoutsufficientsolutions,anysolutiontothisproblemwillhaveanimpact.Itseemsmoreuncertaintoassessmarketpotentialintwotothreeyears(orevenlonger)thanassessingtheeffectsofproblemsnow.Thehypothesishereis„Thebiggertheeffectsofaproblem,thebiggertheimpactofthesolution“.

milestonestowardsanewunderstandingofinnovationbyincludingnon-technical innovations consciously, they were overall still rooted in thesamenarrowunderstandingofinnovationasR&Ddriven.

So far, innovation was first and foremost conceptualised as theoutcomeofR&Dactivities that followeda linearprocessand resultedin new technological solutions (see Figure 2). This also becomes ap-parent when looking into the state aid rules for R&D aid, whose un-derlying rationale is a narrow concept of the market failure theorem.1ThemajorargumentinthiscontextisthepublicgoodargumentofR&D,which stipulates that new knowledge can be appropriated by com-petitors,thushinderinginnovatorsfromclaiming100%ofthebenefits2from their innovation while bearing all the risks connected with it.This assumed disproportion would lead to diverging private and so-cial profits and non-optimal investments. Correcting market failure3hastraditionallybeenthecoreargumentforthefundingactivitiesofIn-novationAgencies.

Figure 2:Traditionalapproach-UseofR&DtoachievetheprojectgoalsSource:FFG,internaluse

However, this traditional focusof theAustrianResearchPromotionAgency on R&D-based technological innovation failed to attract newformsofinnovations,particularlynonR&Dbasedinnovation.Thisshort-comingwasalsopointedoutby someof FFG´snetworkpartners (e.g.chamber of commerce) and communities (e.g. start-ups) and becameapparentwhentheFFGdealtwithnewtargetgroupssuchasleanstart-upsoftheserviceeconomy.Asaconsequence,FFGstartedtorethinkitsapproachbydiscussingwithother InnovationAgenciesof theTAFTIE4networkandby formingmainly internalworkinggroups.Althoughthegoalwastothinkopenlyandallowfornewideas,thepersistenceofthetraditionalapproachbasedontheabovementionednarrowconceptofmarket failure became obvious. As with the well-established FFG-Pro-grammes,discussionsaboutthesufficientlevelofinnovationandrisksoftheprojectsweredominatingthedebate.Thus,updatingthetraditional

1 Thereisalonglistofliteraturethatevidencesthatappropriationisnotaneasyexercise,becauseofthecumulative,tacitnatureoftechnicalknowledge(e.g.Pavitt,1984;1987,1999;Nelson&Winter1982).

2 TheideaofresearchasapublicgoodgoesbacktoNelson(1959),Arrow(1962),andBuchanan(1968).ForataxonomyofvariouspatternsoftechnicalchangeseePavitt(1984).

3 Themarketfailurerationaleincludesalsootherthanthe‘publicgoodofR&D’argumentsuchastheinformationasymmetriesandriskaversionargument,thedivergencebetweenprivateandsocial(investment)timepreferencesargument,theindivisiblenessandtechnicallarge-scalerisksargumentetc.

4 TheEuropeanNetworkofInnovationAgencies,seehttps://www.taftie.org5 TheOsloManual2018(OECD2018)aswellastheEuropeanInnovationScoreboard(EuropeanCommission2019)alsointroducedinnovationswhicharenot

R&Dbased.


andproblemfocus)andtobetterunderstandtheirinnovationprocesses.Regardingthecommunicationofthepilotprogrammeitturnedoutthatthereferencemodelofaninnovationprocess(seeFigure2)wassimplebutveryeffectivetoestablishacommonunderstanding,everyoneinvol-vedcouldreferto.Thisquickevaluationenabledquickchangesforthefollowingcall2018.

Second,theCentreforSocialInnovation(ZSI)wasassignedwithas-sessingwhetherthepilotcallhasmettheprogramme´sobjectives.ZSI´sapproachcomprisedthefollowingmethods:

• First, adescriptive analysis of theapplyingorganisationsonthebasisoftheFFGdatabasewascompiled.

• Second,buildingonthisanalysissemi-structured interviews with successful and rejected applicants were carried out toassessthefundinginstrumentatproject-level.Theaimwastounderstand how funded projects designed and implementedthe innovation process, how they involved stakeholders anddeployedinnovationmethodsasdemandedbytheprogramme.

• Third,ZSIconducteda focus groupwithexpertsinthefieldsofinnovation(policy),includingstart-ups,socialentrepreneurshipandcrowd-fundingexpertsasrepresentativesofabroaderin-novationeco-systemunderstandingtoassesstheimpactofthenewfundinginstrumentatprogrammelevelandintheAustrianinnovationsystem.

ATTRACTING NEW INNOVATORSInthecourseofthePilotcall,104organisationsorindividualssubmit-

tedtheirproposalstotheFFGofwhichonly16werechosenforfunding.Theobjectiveofattractingnewapplicantswaswellachieved.65percentofthemwerefirst-timeapplicantswhileonly17applicantshadalreadysubmittedmorethan10proposalsduringthelast20years.Interestingly,experiencedapplicantswerenotmoresuccessful inobtainingfundingthanthosewhohadnopriorexperienceinsubmittingproposalstotheFFG.“ImpactInnovation”isonlyopentosmallfirmsandorganisations;itwasneverthelesssurprisingthatthemajorityoforganisationsapplyingweremicro-enterprisesorsoleentrepreneurs,onlythreehadmorethan50employees.The thematic focusof thesubmittedproposalswasca-tegorisedaccordingtotheSDGs6bytheFFG.Ingeneral,thesubmittedproposalscouldbeattributedtoelevenoutofthe17SDGspointingtotheheterogeneityoftheproblemstheproposalswantedtotackle.MostsubmissionscouldbeattributedtoSDG9“Industry,InnovationandInf-rastructure”,whichisthetraditionalfocusofFFG.However,onlytwoofthemwerefunded.AlthoughitisdifficulttodrawconclusionsregardingtheapprovalrateperSDGgiventhelownumberofcases,itcanbesaidthatathirdoftheprojects,whichcontributedintotaltoSDG4“QualityEducation”,SDG8“DecentWorkandEconomicGrowth”aswellasSDG15“LifeonLand”werechosenforfunding.Thefundinginstrumentma-nagedtoattractanewgroupofapplicants,that(i)mostlyhadnoorlittleexperienceinapplyingtoFFG,(ii)wereSMEs(mostlymicro-enterprises)and(iii)aimedatfindingsolutionsforavarietyofproblemsthatareusu-allynotwithinthescopeoftraditionalfundinginstrumentsofFFG(seeTable2).

PILOTING THE APPROACHWith thisnewapproach tosupportalsonon-technical innovations,

thenotionofinnovationbecamemorediverse.However,therewerestillalotofunknownsanduncertaintiesonhowtodesignaprogrammeforthispurpose:Howdothesenewtypesofprojectslooklike?Fromwhichindustrieswilltheproposalscome?Whatkindoforganisationswillap-ply?Isittherightapproachatall?Sincethesearequiteseverequestions,FFGdecided touseadesignapproach todevelopand testeachstep.Partlywithestablishednetworkpartners,partlywithleadusersandpart-lywithnewlyestablishednetworks(socialinnovationcommunity)smallelementsweretested(criteria,application,communication)anditeratedbeforestartingafundingcall.Althoughoverthecourseof1.5yearsFFGalreadylearnedalotaboutnewtargetgroups,alotofuncertaintyaboutdemandandunderstandingoftheneedsremained.ThiswaswhyFFGdecidedtocarryoutasmallpilotcall.Themobilisationoftheapplicantswasfacilitatedbythenewlyestablishednetworks,theLeadUsersandmultipliersthattheFFGhadidentified.

Thefollowingtablegivesanoverviewofthekeyfiguresofthepilotcall.

Project volume: upto150,000€

Funding quota: 50%,upto75,000€

Duration: upto12months

Number of submissions: 104

Accepted projects: 16(=15%)

Applicants with previous FFG experience:

37(=36%)

Target group: SMEsincludingstart-upsandenterprisesinthecourseofformation,corporationsandpartnerships,associations,NPOs,individuals

Table 1:Keyfiguresofthepilotcallof“ImpactInnovation”Source:ownelaboration

ASSESSING THE PILOT PROGRAMME

THE FFG ASSESSED THE PILOT PROGRAMME IN TWO STEPS:

First,theFFGassignedBlueLabwithassessingtheservicedesignofthepilotcalldirectlyafterthefundingdecisionstolearnabouttheappli-cants’understandingofthecall,theirmotivationsforapplying(simplicity

6 UN´sSustainableDevelopmentGoalsseehttps://sustainabledevelopment.un.org/andUnitedNations(2015).


Project Focus Applicant Region

SocialInclusionofElderlyviaVirtualReality SME(Start-Up) UpperAustria

GEARingupInnovationinDiagnosticsforAntibioticResistance SME(Start-Up) Vienna

DevelopmentofaBayesianplanningHRandePlanningToolinHealthServices SME(Start-Up) UpperAustria

VirtualRealityasanHRDevelopmentTool SME(Start-Up) Tyrol

OpenInnovationProcessDevelopmentforScalingandMultiplyingImpact-ImpactfulPreschool-andParents’programmes

SME(non-profit) Vienna

–ServiceTooltoSimplifyShoppingandDeliveryforChineseTouristsinEurope(whomostlyshopfortheirrelativesandoftendon’t’gettoexperiencethecitytheyarevisiting)

SoleEntrepreneur Vienna

NewToolforLevellingouttheUnder-constructionofTerracestosimplifyanddrasticallyshortentheinstallationprocess

SME UpperAustria

Developmentofacommunity-basedLearningApproachforJournaliststotacklenewchallengesin(traditional)media

Association Vienna

BiomimicryThinkingDesignProcessasaninnovationmethodforthecraftsmenofthe„WerkraumBregenzerwald“

Association Vorarlberg

DevelopmentofanOnline-Platformtoconfigurateandmarketfuneralservices SME(Start-Up) Vienna

DevelopmentofanAITooltoassessthe“easytoread”criteriaoftexts SME(SocialEnterprise) Styria

AutomaticTranslationofPackageLeafletsofPharmaceuticalProductsinSignLanguage

SME(SocialEnteprise) Vienna

IntegrativePropertyManagementthattakessocialandeconomicaspectsintoaccount

SME(SocialEnterprise) Styria

DevelopmentofInnovativeSupportServicesforSocialEntrepreneursinRuralAreas IntermediaryOrganisation Vienna

Developmentofatooltomakeuseoflocalexpertknowledgetoassessnaturalhazardsfortrafficinfrastructures

SME(Start-Up) Tyrol

DevelopmentofanOrientationGuideforFeminineHygieneProducts SME(SocialEnterprise) Vienna

Table 2:„Overviewofthefundedprojectsofthepilotcallof“ImpactInnovation”Source:ownelaboration

The interviews with applicants revealed that the programme was attractive to themforthreereasons:

• First, in comparison to other funding schemes, the call wasopentomanyformsoforganisationsandthereforeconstitutedoneofvery fewpossibilities forassociationsorsoleentrepre-neurstohavetheirinnovationactivitiesfunded.

• Second,aspointedoutabove, thebroaderdefinitionof inno-vation enabled non-technological innovations such as serviceorprocessinnovations,whicharesupportedbyonlyfewotherfundinginstrumentsinAustria.

• Third,as intendedby theprogrammedesign, the interviewedapplicants appreciated that the focus of “Impact Innovation”liesontheinnovationprocessitselfratherthanonapre-definedresult.Thisfocusgaveapplicantsthefreedomandtheresources

tounderstandthecomplex issuestheywerefacing, test theircentralassumptions,doprototypingandadapt theirsolutionsifnecessary,whereastraditionalfundinginstrumentsoftende-mandtofollowtheplanandsolutionslaidoutintheapplicationform.

Oneoftheintervieweesstated:„Impact Innovation is a new idea, a new aspect which is treated only rarely. I think It is cool that the FFG is going to fund such projects.” (own translation)


Itisimportanttounderlinethatthelargest innovation potential lied in the combination of the three forms of innovation.Withtheexcepti-onoftwoprojects,alldevelopedinnovativeconceptsandserviceseitherhadadigitaloratechnologicalaspect.However,comparedtotraditio-nalR&Dthetechnological innovationherewasminorandwouldhavenot been funded by traditional instruments. In the context of “Impactinnovation”technologicalinnovationsconstitutedameansindeliveringservicestoa(partlymarginalized)targetgroup.

Beyond thoseoutcomes the fundedprojectsalsocreatedvaluable impacts. By engaging with stakeholders, the funded projects createdvital links among those stakeholders and therefore contributed to astronger integration of the field they are active in. Taking on the roleasaninnovationleaderintheirfield,theycouldalsoincreasetheirownvisibilityandreputation.Intwocasesthefundingscheme“ImpactInno-vation”wasevenavitalfactorintheconstitutionofthefundedorganisa-tion.Furthermore,theinterviewsrevealedthattheapplicantswouldnothavebeencapable(mostlydueto lackofresources)tofind innovativesolutionswithoutobtainingfundingbythisprogramme.Therefore,itcanbeconcludedthattheprogrammefilledagapinthefundingecosystem.

Althoughallofthefundedprojectsachievedgreatresults,theyarenowfacedwiththechallenge of further developing their solutionstomakethemmarket-ready.Forwell-establishedfor-profitenterprisesthefurtherdevelopmentoftheirinnovationsisastrategicdecisionofwhe-thertoinvestownresourcesornot.Start-upsandsocialentrepreneurs,however,oftenlackthefinancialandtimeresourcestocarrytheirinno-vationprocessforward.Therefore,theyneedtofindadequatefollow-upfunding opportunities. Given the scarcity of funding opportunities forsocialenterprisesthelackoffollow-upfundingisthreateningtheinno-vationtobefullyrealised.

PROGRAMME´S AND ECOSYSTEM´S LEVEL

The“Impact Innovation”programme itself isan innovative initiativewhichfillsagapinthefundinglandscape.Inthecurrentinnovationeco-system,thereisnearlynocomparablefundingschemethatworkswithsuchabroadunderstandingofinnovation,whichexplicitlyincludesnon-technological innovations,andstartsat thisearlystageof theproblemidentification:

• Itallowsmore timeandresources tobe invested in the inno-vationanddevelopmentprocess.Thisenablesstakeholderstobecomebetterinvolvedandresultsinatargeteduseofinnova-tionmethods.

• Itenablesthepromotionofinnovativeactivitiesforbeneficiariesforwhomnoadequatefundingprogrammeexists inthefield.Through the programme, some social enterprises have beenabletoimplementinnovationactivities.

• With itsbroaderconceptof innovation, theprogrammeoccu-piesanalmostuniquepositioninAustria’sfundingeco-systemwithagreatpotentialforinnovativeprojects.

Althoughthepilotprogrammehasaperceptibleimpactontheinno-vationecosystem,itsexplicit inclusionofsocialandeducationalenter-prisesalsoraisedanumberof issuesthatwerediscussed,particularlywithin the focus group.Considerationwasforinstancegiventodividingtheprogrammeintotwolinesofintervention.Afirstlineofintervention

INNOVATION THROUGH NEW INNOVATIVE METHODS AND STAKEHOLDER ENGAGEMENT

In line with the focus on the innovation process, the programmemade it compulsory for funded projects to apply innovation methodssuchasdesign thinking,hackathonsor innovationworkshops.Hence,all of the fundedprojectsapplied thesemethods,albeit toadifferentextent.Ontheonehand,thoseorganisationsorprojectsthatwerewell-establishedanddirectedthefundstowardsdevelopinganewactivity,serviceorproductinadditiontotheircorebusinessdesignedtheirinno-vationprocessquitecarefully.They“innovated”inaspecificsetting,withdedicatedtime,resourcesandusedcreative,innovativeorscientificme-thods.Ontheotherhand,thoseorganisationsthatwereintheirstart-upphasehandledtheinnovationprocessmoreflexible.Innovationmethodsas well as constant testing and adaption are an integral part of theirtacitknowledgeandhencetheirdailyactivities,butoftennotreflected.Furthermore,thefundedprojectsallengagedtheirmostimportantstake-holder(groups),mostlytoobtainfeedbackandtestcentralassumptions.However,noneofthefundedprojectfully integratedstakeholders intotheinnovationprocess.Inconclusion,theassessmentrecommendedabetterexplanationandtrainingsofinnovationandco-creationmethodsfortheapplicantstoensurethattheyarewell-understoodanddofertilizetheinnovationprocess.

OUTCOMES AND IMPACTS AT PROJECT LEVEL

Thepilot call of “Impact Innovation”canbe regardedassuccess-ful since every funded project produced valuable outcomes. Manyprojects could test their central assumptions by engaging their keystakeholders.Moreover, the innovationprocesshelped to improve the“solution-fit” of the developed process, service or product. Those pro-jects thataimedatdevelopinganapporaweb-platformmanaged tocreateprototypeswhicharewelladvanced,butnotyetmarket-ready.In-terestingly,theengagementofstakeholdersandtheinnovativesolutionscontributedtotheimprovementofexistingproductsandservicesaswell.

Asdescribedabove,oneoftheprogrammeobjectiveswastobroadentheunderstandingof innovationto includenon-technological innovationandinnovationoutsideoftraditionalR&D-areas.Theassessmentidentifiedthreedifferentkindsofinnovations;twoofthembeingnon-technological:

• Thefirstgroupofinnovationscanbelabelledasinnovativeedu-cation/trainingandserviceconcepts.Mostlybymakingknowl-edgemoreaccessiblethroughadaptingittotheneedsoftheirtargetgroupsthoseprojectscontributedtotheempowermentofvulnerablegroups,increasedtransparencyforcustomersandencouragedactors in finding innovativewaysofdealingwithsocietalchallengesthemselves.

• Thesecondgroupconsistsofprojectsdevelopingdigitalservic-eslikeplatformsorappstolinkstakeholders,improveservicesandtheaccessibilityofinformationfortheirusers.

• Thethirdandsmallestgroupsweretechnologicalinnovations.


European Commission(2019):EuropeanInnovationScoreboardhttps://ec.europa.eu/growth/industry/innovation/facts-figures/score-boards_en

OECD (2018): Oslo Manual. Guidelines for Collecting, Reporting andUsingDataonInnovation,4thEdition,Paris.http://www.oecd.org/science/oslo-manual-2018-9789264304604-en.htm

Nelson, R. R.(1959):Thesimpleeconomicsofbasicscientificresearch.JournalofPoliticalEconomy,LXVII(3),June,297-306.

Nelson, R.R. & Winter S.G.(1982):AnEvolutionaryTheoryofEconomicChange.Cambridge,Massachusetts:TheBelknapPressofHarvardUni-versityPress.

Pavitt, K.(1984):Sectoralpatternsoftechnicalchange:towardsataxo-nomyandatheory.ResearchPolicy13,343–373.

Pavitt, K. (1987):Technologicalaccumulation,diversificationandorga-nisation in UK companies, 1945-1983. DRC discussion paper, SciencePolicyResearchUnit,UniversityofSussex.

Pavitt, K. (1999):Technology,ManagementandSystemsofInnovation.EdwardElgarPublishing

Technopolis et al. (2016): Ökonomische und verwaltungstechnischeGrundlagen einer möglichen öffentlichen Förderung von nichttechni-schenInnovationenhttps://www.bmwi.de/Redaktion/DE/Publikationen/Studien/studie-zu-nichttechnischen-innovationen.pdf?__blob=publicationFile&v=2

United Nations(2019):TheSustainableDevelopmentGoalsReport2019https://unstats.un.org/sdgs/report/2019/The-Sustainable-Development-Goals-Report-2019.pdf

AUTHORSPHILIPP AIGINGER-EVANGELISTIFFG – Austrian Research Promotion Agency Sensengasse1,1090WienE:[email protected]

BARBARA GLINSNER ZSI – Centre for Social InnovationLinkeWienzeile246,1150ViennaE:[email protected]

DOROTHEA STURNZSI – Centre for Social InnovationLinkeWienzeile246,1150ViennaE:[email protected]: non-technological innovation, innovation processes, social innovators,stakeholders´involvement

couldbeaimedatsocialenterprisesthatprovideinnovativesolutionsforservicesinthepublicinterestanddonotoperateinamarketorquasi-markets,whileasecondlineofinterventioncouldpromotemarket-orien-tedinnovationwithsocietalimpacts.

Whatever theoutcomeofadecisionon this issuewillbe,“ImpactInnovation”iscurrentlyfillingthegapinthecreationofearly-stagein-novations,whichisauniquesellingpointintheportfolioofinnovationsupportschemes.

CONCLUSIONS AND RECOMMENDATIONS

Despitetheconsistentlypositiveresultsthathavebeenshown,theprogrammepresentsanumberofchallengeswhichrequirefurtherre-flection. These refer to the programme’s key objectives of addressingnewtypesofinnovationandnewtargetgroups.Theassessmentthere-foreendswiththefollowingrecommendations:

• Welcomenewapplicantsmoreexplicitlyanddevelop specificformatsforadvisingthem

• RethinkamatchingofFFG´sfundingwithcrowd-funding• Simplifyformalrequirementsasfaraspossible• Systematicallygivefeedbacktotheapplicantsandprojects• Initiateexchangeamongprojects• “Mainstream” “Impact Innovation”: Integrate some of the

programme´scharacteristicsintootherfundingschemes.• Developwaysandmethodstoassesstheprojects´impacts• Communicatetheprogrammeandprojectsmoreclearly• AddressregionalmultipliersinallAustrianprovinces

IMPLEMENTATION OF RECOMMENDATIONS

Some changes in the call 2019 directly refer to these recommen-dations,especiallytheonesonestablishingnetworksbetweenfundedprojectsandtheprovisionoftailor-madesupportfornewapplicants.Inaddition, the communication with regional multipliers outside Viennawasimproved.In2020,apilotonSocialCrowdfunding(matchingpublicfundingwithcrowdfunding)willbe launched.There isstill somepro-gresstobemadetomainstreamthe“ImpactInnovation”approach,butalsotocommunicatetheimportanceofthoroughinnovationprocesses–evenbeyondR&D–toapplicantsorpotentialapplicants.

REFERENCESArrow, K. J.(1962):EconomicWelfareandtheAllocationofResourcesfor Invention. InUniversities-NationalBureauCommittee forEconomicResearch, Committee on Economic Growth of the Social Science Re-searchCouncil(ed):TheRateandDirectionofInventiveActivity:Econo-micandSocialFactors,PrincetonUniversityPress

Buchanan, J.M. (1968):DemandandSupplyofPublicGoods,Chicago:RandMcNally&Company.


also practical constraints exist (Borgmann 2012). In addition, researchculturesconcerningdatasharingpracticesvaryobservablyfordifferentresearchfields(Tenopiretal.2011).

TheGermanResearchFoundation starteda call for applications in2010, and set up an ongoing funding programme from 2013 onwardswhereresearcherscansubmitafundingproposalatanytime.Anaddi-tionalsecondcallin2015called“researchdatainpractice”focusedmoreonthepracticalutilisationofresearchdatainfrastructuresas“proofofconcept” in concrete researchprojects. Theaimof thewhole fundingprogramme“InformationInfrastructuresforResearchData”istoimprovedata sharing and to support the development of tools and infrastruc-turesinordertofacilitatethedistributionandaccesstoqualityassuredresearchdata.“The funding programme aims to support science and the humanities in drawing up and implementing specific and needs-oriented requirements for future structures, or structures undergoing further de-velopment, for the improved handling of research data and research data repositories.”1Applicantsfortheprogrammeareresearcherscooperatingwith scientific information-infrastructure institutions such as libraries,archives,computingandmediacentres,orinformationscienceexperts.

Researchers applied for a funding volume of€135m, of which theDFG approved€48m for funding. The average funding volume rangesfrom€489,000inthe2010callto€668,000inthe2015calland€780,000intheongoingfundingprogramme.

Toevaluatethe long-termsuccessandsustainabilityof thefundedprojects, the DFG studied the implementation of the programme indepth.Thefullstudycontainsfundingstatistics,adescriptiveanalysisofthefundingcriteriaandqualitativecasestudies,carriedoutbytheInsti-tuteforInnovationandTechnology(iit)atVDI/VDEInnovation+TechnikGmbH,Berlin.

Acentralquestionoftheevaluationstudywastoanalyseaccordingtowhichcriteriathereviewpanelsof theDFGchooseapplicationsforfunding. For this purpose, an in-house team at the DFG analysed thecontentofreviewgroupprotocolsfor158programmeapplicationsquan-titatively. The full report contains thecasestudiesand thedescriptiveanalysisofthereviewprotocolsincludingadetailedcodeschemewithexamplesforeverycode(DFG2019a).

AnexpertcommissionformedbymembersoftheCommitteeforSci-entificLibrariesandInformationSystems(AWBI)andfurtherinformationmanagementexpertsaccompaniedaprogrammeevaluation.Italsoof-

ABSTRACT

Researchersincreasinglyrecognisethatdata-sharing,improveddatamanagementand theavailabilityof researchdata infra-structures serves the effectiveness of the science system.

Funding agencies support this cause and react to it. The German Re-searchFoundation(DFG)designedthefundingprogramme“InformationInfrastructuresforResearchData”toaddressthisneed.Theprogrammewasevaluatedin2019inrespecttothelong-termsuccessandsustain-abilityofthefundedprojects.Thefullstudycontainsfundingstatistics,adescriptivecontentanalysesofreviewpanelprotocolsandqualitativecase studies. For the content analysis, an in-house team at the DFGcodedthecontentofreviewgroupprotocolsfor158programmeapplica-tions.Anexpertcommissionaccompaniedtheoriginalevaluationandof-feredrecommendationsforthefurtherdevelopmentoftheprogramme.This article builds on this study and adds a statistical analysis of theprogrammespecificfundingdecisionbasedontheoriginaldataofthecontentanalysisofreviewpanelprotocols.Whichcriteriaaredecisiveforfundingselection?Themultivariateanalysisofthefundingdecisionmod-elstheoutcomeofthegrantpeerreviewunderconsiderationofthear-gumentsandassessmentsmadebythereviewpanels.Theresultsshowthattheassessedqualityoftheresearchplanhasthestrongesteffectonthefundingdecision.Thisisinlinewithotherstudiesonpeerreviewcri-teria.Moreprogramme-specificistheconclusionthatthescientificde-mandfortheplannedresearchdatainfrastructureshasamarkedimpactonthefundingdecision,too.Anunexpectedresultisthelowimportanceoftheinstitutionalenvironmentforthefinalfundingdecision.

INTRODUCTIONInan increasinglycollaborativeanddata-intensive sciencesystem,

researchers emphasise the necessity for data sharing infrastructures(Tenopir et al. 2011). As a result, science policy makers and fundingagencies pay attention to the prerequisites of data sharing and datapracticesthatfostertheaccessibility,discovery,re-useandpreservationof research data. Even though many researchers agree on the advan-tagesofdatasharing (Piwowaretal.2007,Tenopiretal.2011), therearestillmanyreasonsforresearcherstowithholddata,andsometimes

RICHARDHEIDLERDOI:10.22163/fteval.2020.467

FUNDINGRESEARCHDATAINFRASTRUCTURES:FUNDINGCRITERIAINGRANTPEERREVIEW

1 https://www.dfg.de/en/research_funding/programmes/infrastructure/lis/funding_opportunities/research_data/(accessedon10.10.2019)


reducedto158proposals(Table1).Outoftheseproposals,64wereac-cepted(includingoneormorerenewalapplicationsperproject),belong-ingto52fundedprojects.Thisexcludesapplications,whichhavebeendecided by written procedure, by other means (e.g. a subcommittee),and a total of 24 applications which were recommended for rejectionwithout discussion in peer the review panel because of the negativewrittenreviews.

Table 1:Numberofproposalsbyprogrammevariant

Applications discussed in review panel

Total Accepted Rejected

Call“InformationInfrastructureforResearchData”2010

63 28 35

Call“ResearchDatainPractice”2015

46 11 35

OngoingFundingProgramme2010to2017

49 25 24

Total 158 64 94

Theanalysisisfacilitatedbythefactthattheminutesofthereviewpanelandthestructureofthesemeetingsareveryuniform.Thereviewpanelminutesrepresentasynthesisofthereviewstatementsfromthewrittenreviewspreviouslyobtainedandthepanelreviewer'sarguments,which iswhytheyarewellsuitedforacontentanalysisof thereviewcriteria.

METHODSAquantitativecontentanalysisofthereviewpanelprotocolsof158

applications serves to systematically identify and differentiate the di-versecriteriaforthefundingdecisioninthisprogramme.HartmannandNeidhardt(1990)usedasimilarprocedure,howeverfocusingonwrittenreviews,notonreviewpanelprotocols.Theyexamined639reviewsof242 applications in the German Research Foundation. Reinhart (2009)performed a content analysis of 212 written reviews for 68 randomlyselectedapplicationsfrombiologyandmedicineattheSwissNationalScienceFoundation(SNSF).

Theuseofthereviewpanelprotocolsinsteadofthewrittenreviewsforthecontentanalysismayhaveconsequencesforthemodelofthere-viewdecision.Reinhart(2010,p.318)arguesthatpaneldiscussionmayincreasethepressuretoproduceaconsistentdecisionandthusleadtoanincreasedimportanceof“social”factorsincomparisonto“scientific”or“epistemic”aspects:“panelsseemtobeespeciallysusceptibletone-gotiationandmediationamongthepanellists;therefore,anagreementonfairdecision-makingisamorepressingneedthansharedepistemicstandards.Itcouldbearguedthatpeerreviewwithoutpanelsissuperiorwhenitcomestoenforcingepistemicstandards.”Tostudytheseaspectsindepth,aseparateandadditionalcodingofthewrittenreviewswouldhavebeennecessary.Howevercontradictorystatementsfromwrittenre-viewsaretakenintoaccountindirectly,sinceinsuchcasereviewpanelprotocols contain contradictory statements in respect to the assesseddimension.Usually in suchcases theprotocols first report statementsformthewritten review,and thengivecontradictoryevaluationof thereviewpanel.Overall33percentofthereviewpanelprotocolscontaina

feredrecommendationsforthefurtherdevelopmentoftheprogramme(DFG2019b).

Forthisarticle,weaddamultivariateanalysisofthefundingdecisionbymodellingtheoutcomeofthegrantpeerreviewunderconsiderationoftheargumentsandassessmentsofthereviewpaneltothedescriptiveanalysisof theoriginalstudy.Themultivariateanalysisserves to iden-tifywhichreviewcriteriaweredecisiveforthefundingdecisionandtoweighttheircontributiontothefinalfundingdecisionwhilecontrollingforcontextualfactors(e.g.fieldofresearch,typeofapplicationetc.)thatmayalsoaffectthesuccessrates.

RESEARCH QUESTIONThepeerreviewanddecisionfindingprocessinthisprogrammeaims

toensuretheallocationofthefundingtothebest-suitedproposalsandapplicants.At leastoneexperton thevery research fieldandanotherfor the infrastructureside (informationsciencerelatedexpertise)writeareviewofeachproposal.Subsequently,areviewpaneldiscussestheproposalsbasedonthewrittenreviews,assessesthequalityofthepro-posalsandproposeswhichprojectsshouldreceivefunding.

Reviewscontainargumentsfororagainstthefundingofaproposal,measured against the aims of the respective funding programme andthusrevealhowthegrantreviewsystemisworking.Nevertheless,con-tentanalysisofreviewdocumentsisscarceandthesubstanceofgrantpeer review is seldomanalysed. Thus, the resultsof ouranalysismaylead to a deeper understanding of the peer review process (Reinhart2010, 317). Although there is already some research on the practicesandfundingcriteriausedforclassicgrantpeerreviews(HartmannandNeidhardt1990,Langfeldt2001,Reinhart2009,2010),weknowquitelittleabouttheadaptionofreviewingpracticeswithinfundingprogramsliketheonethat isat thecentreof thisstudy.Fundingcriteria for thepromotionofinformationinfrastructuresofresearchdataneedtoincludeadditionalanddifferentcriteriacomparedtoclassicalgrantpeerreviewsuchas

• theconsiderationofstandardsandinteroperability inthepro-jectproposal,

• thedemandfordata-sharingactivitiesinthefield,• theacceptancebythescientificcommunity,• theinformationsciencequality• asustainableinvolvementofinfrastructuressites.

“Classic”criteriafortheassessmentofresearchgrantsliketheorigi-nalityoftheresearchquestionaremuchlessimportant.

In the conclusions, we will discuss the question to which extentthereviewcriteriadifferfromclassicalresearchgrantpeerreviewandhow they fit the goals of the programme “Information InfrastructuresforResearchData”.Furthermore,wediscussintheconclusions,towhatextent the content analysis contributed to the further development oftheprogramme.

DATAThebasisof theanalysisareallapplicationssubmittedsince2010

untilJuly2017.Sincenotall213proposalsweredealtwithinthereviewpanel,thenumberofcasesasastartingpointforthecontentanalysisis


Togiveanexample:Asubcodeofthescientificdemandistheques-tionwhethertheapplicantshaveperformedademandanalysis.Aposi-tivevalencecanbegiventostatementsthatindicatethatthedemandanalysishasbeenperformed,like:“The demands analysis was convinc-ingly performed due to the presentation of various already ongoing ac-tivities and preliminary work.”Anegativevalencewouldbeassignedtostatementsthatremarksthatsuchananalysisismissing,e.g.: “In addi-tion, statements on the target group and a comprehensible needs analysis is missing.” Anegativevalencewasalsocodedifasimilarexistinginfra-structurehasnotbeentakenintoaccount,likeinthisstatement:“Finally, the first rapporteur points out that a number of similar systems already exist, which is not referred to in the application.”

Wegiveasecondexampleforthereviewcriterion“researchplan”.Asub-codeofthisconceptistheadequatenessoftheamountofmoneyrequested (“suggested costs”). Statements of adequate requested re-sourceslike: “Time, personnel and resources are all calculated in a com-prehensible manner”arecodedwithapositivevalence.Statementsoftoo low (“The second reviewer considered the requested resources, in particular the personnel capacities, to be undersized and assumed that the applicants underestimated the task”),toohigh(“In addition, the com-paratively high budget applied for and the staffing level were not plausibly explained and comprehensibly justified”)orunclear(“The expenditure is also not calculable or comprehensible for lack of quantity information”)resourceplanswerecodedasnegativestatements.

contradictorystatementin(mostly)onedimension,thefinalmodelwilltest,whethersuchcontradictorystatementshaveanindependenteffectonthefundingdecision.

The development of a code plan (Table 2) containing the reviewstatementswasan iterativeprocessbasedon the reviewpanelproto-cols.Variousstepsensuredthevalidityandreliabilityofthecodingandthecodescheme.Inafirststep,theexpertcommissionaccompanyingtheprogrammeevaluationworked through the reviewpanelprotocolstoprovide informationonapossiblecodescheme.Reviewstatementstypically contain judgement statements; the coding focuses on suchstatements that containeither anegative or apositive assessment ofa certain aspect of the proposal. The iterative process led to 94 indi-vidualsubcodesthatcanbeaggregatedwithregardtotheircontentasnegativeorpositivejudgementin24distinctcodedimensions.Atotalof1,858uniquesubcodesfromthe94subcodetypeswereassignedintherespectiveapplications,correspondingto11.8subcodesperapplication.Subcodesareonlycountedonceaspositiveoronceasnegativeineachofthe24differentcodedimensions.

Based on this 24 more detailed dimensions we identify four mainreviewcriteriathatwerebroughtupastopicsinthereviewpanelpro-tocols:

1. Thescopeofthescientificdemandforthesuggestedresearchdatainfrastructure,

2. thequalityoftheconcreteimplementationconcept(i.e.there-searchplan),

3. theexpertiseoftheproposingscientistand4. theadequatenessoftheinstitutionalenvironment.2

2 Theassignmentof the individualcodes to thecodedimensions isdescribed inAppendixAof theoriginalstudywithexamples foreverysubcodeanddefinitionsforall24codedimensions.

Table 2:Codeplan

4 Review criteria

24 Dimension Positive subcode (+) Negative subcode (-)

Scie

ntifi

c De

man

d

General Veryhigh Unclear

Existent/high/relevant Weak

Willincrease

Increasesefficiency

Generallynecessary

Improvement

Otherwisedatawillbelost

Acceptanceinscientificcommunity Wellintegrated Acceptanceuncertain

Notinvolved

Usabilityunduser Highandwelldefined Unclear

Tonarrow

Notreflected

Internationality/supra-regional Internationalrelevance Regionalrelevance

Supra-regionalrelevance

Environmentandneedsanalysis Performed Missing

Similarprojectnotconsidered


Rese

arch

pla

n

General Wellelaborated Inconsistent

Coherentandplausible Unclear

Potential Toabstract

Bad

Fittotheprogram Verygood Unclear

Good Bad

Previouswork Outstanding Notenough

Succeful/good

Suggestedcosts Appropriate Tohigh

Unclear

Tolow

Originality Yes Unclear

No

Theoreticalrelevance Veryhigh Weak/unclear

High

Methods Verygood Unclear

Good Weak/outdated

Data/Licenses Metadatawelldefined Metadataunclear

Dataprotectionaddressed Metadatanotwelldefined

Licensesclear Dataprotectionissues

Dataqualityhigh Licensesunclear

Qualitycontrolexistent Dataqualityunclear

Dataqualitybad

Qualitycontrolnotexistent

Standards Considered Notconsidered/unclear

Feasibility Realistic Uncleariffeasible

Notfeasible

Projectgoals Interesting Notwelldefined

Welldefined

Interoperability Ensured Notensured

Subsequentuse Ensured Unclear

Notensured

Expe

rtis

e

General Excellent Partially

Highreputation Notgood

Informationscience/IT (Very)good Notcovered

Subjectspecific Excellent Subfieldnotcovered

Highreputation

Inst

itutio

nal

envi

ronm

ent

General/subjectspecific Highreputation Importantfacilitymissing

Goodcollaboration Notsufficient

Infrastructure Highreputation Cooperationproblematicormissing

Sustainability Guaranteed Unclear

Missingconceptorfacility

Notguaranteed


model.Thisisthecaseforonefifthoftheproposals.Aslastadditionalcontrolvariablewhichmayhaveaneffectonthefundingdecisionweincludetheamountofthefundingrequested(avg.€613,000forthe158analysedcases)ascontinuousvariableinthemodel.

Toanalysetheeffectoftheassessmentofthemainreviewcriteriaonthefundingprobability,forallfourdimensions,respectiveindicatorsareconstructed.Thefourindicatorsrootinthe24dimensionsdescribedinthecodeplaninTable2.Everydimensioncanbementionedpositivelyornegativelyifatleastonepositiveoronenegativesubcodeoccurs.Di-mensionscanalsobecodedpositivelyandnegativelyatthesametime,ifatleastonenegativeandonepositivesubcodewasgiven.However,suchcontradictionintheassessmentofthesamedimensionoccurratherseldom,asFigure1depicts.Thefigureshowsthenumberofdimensionswithonlyapositive,negativeorwithacontradictoryassessment,dif-ferentiated between approved and rejected applications. The analysisshowsthatfundedanddeclinedapplicationsdiffermarkedlyintheirva-luation:Whileforapprovedapplicationsapositiveassessmentisrepor-tedonaverageforfivedimensionsandanaverageof1.3dimensionsisdecidednegatively,theratioisalmostreversedforrejectedapplications(4.3negativeversus1.6positive).

Inaddition,itisnoticeablethatthereviewpanelusesforsingleap-plicationsonlyafractionofthe24maximumpossibleassessmentdimen-sions,whichthecodeplanidentifiedacrossallapplications.Ontheonehand,thisisbecausesomeassessmentdimensionsoccurratherrarelyoverall.Inaddition,ifnopositive,negativeorcontradictoryrating,forex-amplefor“sustainability”,wasrecordedthisdoesnotnecessarilymeanthatsustainabilityis(not)given,butonlythatthematterofsustainabilityoftheproposedprojectwasnotaddressedinthepeerreviewgrouppro-tocols.Thismayalsobedue,forexample,thatthisaspectwasalreadytreatedasunproblematicinthewrittenreports.

Thecompletestudygivesamoredetailedandqualitative interpre-tation of the different dimensions. For the purpose of this article, wefocusonthequantitativeanalysisofthefourmainreviewcriteria.Forthemodelofthefundingdecision,theresultsofthecodingarefurtherag-

The coding was performed with the qualitative analysis softwareMAXQDA, the further quantitative analysis of the data was then car-riedoutwiththestatisticalsoftwareSTATA.Thereliabilityofthecodeswassystematicallytested.Basedonarandomsample,30reviewpanelprotocolswerecodedasecondtimebythesameperson.Thisprocedurehelpedtofurtherspecifythecodedefinitionsandtoreduceambiguitiesinthecodeplan.Finally,asecondpersoncoded30randomlyselectedreviewpanelprotocols,tomeasuretheinter-coderreliability.Cronbach’salphawascalculatedatthelevelofsubcodesandtheresultingvalueof0.85canbeclassifiedas“good”.

ANALYSISThecentralgoaloftheanalysisistomodeltheeffectofthepositiveor

negativeassessmentsofthefourdifferentmaincriteriaaddressedbythereviewersonthefundingdecision.Sincethedependentvariableofthemodelisbinary(fundingornofunding),weappliedalogisticregression.

Themodelincludesseveralstructuralcontrolvariablesthatmayinflu-encethefundingchances.Thetwocallsandtheongoingfundingpro-grammearedifferentiated,sinceforthesecondcallthefundingratewaslowerduetothehighnumberofproposals.Furthermore,the16renewalproposals(whichoccuronlyintheongoingprogram),haveahighersuc-cessrateandthisinformationisthereforeincludedascontrolvariable.

Asadditionalmultinomialcontrolvariable,thescientificdisciplineoftheproposal is included. If theproposal isaffiliated tomore thanoneofthefourmainscientificdisciplines,theproposalisregardedasmul-tidisciplinary(16percentofallproposals).ThehighestdemandfortheprogrammecanbefoundintheHumanitiesandSocialSciencesandtheLifeScience(both35percent),lessproposalsbelongtotheNaturalSci-ences(8percent)ortheEngineeringSciences(5percent).

Wherenecessaryandreasonable,infrastructuralfacilitieslikelibrar-ies or computing centres should be involved in the planned project.Therefore,theparticipationofaninfrastructurefacilityisincludedinthe

4,3

1,3

0,3

0,5

1,6

5,0

17,8

17,2

Rej

ecte

dap

plic

atio

ns(n

=94)

Fund

edap

plic

atio

ns(n

=64)

Only negative valence Positive and negative valence Only positive valence Not mentioned

Figure 1:Averagenumberandvalenceofrateddimensions(total24)


to+5andfor“expertise”and“institutionalenvironment”from-3to+3.Toaccountforthesedifferencesinvariationforthefinalmodelallfourscalevariablesweretreatedascontinuousvariablesandz-standardised,tomakethecoefficientsmorecomparable.3We interpret theresultingreview criteria indicators as a measurement of the net valence in thenumberofdimensionswithpositiveornegativeassessmentsasnotedinthereviewpanelprotocolsfortherespectivetopic.Anegativevalueindicatesthatmoredimensionshavebeenratednegativethanpositive,apositivevalueviceversa.Figure2showsthedistributionoftheheightoftheindicatorsvaluesforthefourreviewcriteriaforacceptedandre-jectedapplications.

gregatedtogenerateacontinuousindicator.Wecomputedforeveryap-plicationforallfourreviewcriteriaavalueforascalevariable,containingthecumulatedvalencesineachofthefourmaindimension(Figure2).

Some review criteria comprise more dimensions than others: theexpertise and the institutional environment contain three dimensions,thescientificdemandfivedimensions,andtheresearchplan13dimen-sions.Insideeachreviewcriterioneachdimensioncanaddorsubtractthevalueone(orbothatthesametimeforcontradictorystatements)totherespectivecumulatedindicatorvalue.Thereviewcriterion“researchplan”thushasatheoreticalrangefrom-13(ifalldimensionswouldhaveatleastonenegativesubcodeandnopositivesubcode)to+13(vicever-sa).Therangeforthereviewcriterion“scientificdemand”goesfrom-5

80% 70% 60% 50% 40% 30% 20% 10% 0% 10% 20% 30% 40% 50% 60% 70% 80%

3210

-1-2-3

3210

-1-2-3

13121110

9876543210

-1-2-3-4-5-6-7-8-9

-10-11-12-13

543210

-1-2-3-4-5

Inst

itutio

nal

envi

ronm

ent

Expe

rtise

Res

earc

hpl

anSc

ient

ific

dem

and

Proportion of applications (n=158)

Rejected Accepted

Rev

iew

crit

eria

indi

cato

r val

ue

3 Allotherscalevariablesinthemodelarez-standardized,too.

Figure 2:Distributionofthefourreviewcriteriaindicatorsbyfundingdecision

+

+

+

+

–

–

–

–


correlated, thecorrelationsare rather low,whichsupports theasserti-on that the four identifiedcriteriacanberegardedasdistinctaspectsoftheapplicationswhicharereviewedindependentlyfromeachother.Scientificdemandandtheresearchplancorrelatehighestwith0.38,thecorrelationoftheindicatorvaluesistheweakestbetweenthescientificdemandandtheexpertise(seeTable3).

Thedescriptiveanalysis (Figure2) reveals that fundedapplicationsreachmoreoftenapositive indicator levelespecially for the“researchplan” (75%versus6%)andthe“scientificdemand”(63%versus23%),withlesspronounceddifferencesfor“expertise”(47%versus25%)and“institutionalenvironment”(23%versus10%).

In how far do the indicators measure independent aspects of theassessedqualityoftheapplications?Acorrelationanalysesofthefourreview criteria indicators shows, that, although all four are positively

Table 3:Correlationmatrixofreviewcriteriaindicatorvalues,allapplications(n=158)

Indicator values Scientific demand Research plan Expertise Institutional environment

Scientificdemand 1

Researchplan 0.384 1

Expertise 0.140 0.294 1

Institutionalenvironment 0.192 0.204 0.297 1

The results of the final model can be found in the coefficient plot(Figure3)andthemodelinTable5.Theoverallmodelhasaratherhighexplanatorypowerwithapseudor2of0.73.Thepredictivepowerofthemodeloriginatesmainlyfromthefourreviewcriteriaindicators,sincethe

Amount requestedParticipation infrastructure facility

Renewal application

Call Research Data in Practice 2015Funding Program 2010 - 2017

Humanities and Social SciencesLife Sciences

Natural SciencesEngineering Science

Scientific DemandResearch Plan

ExpertiseInstitutional Environment

Structural control variables

Ref: Call Information Infr. for Research Data 2010:

Ref: Multidisciplinary Sciences:

Funding criteria indicators

-10 -5 0 5 10Logit Coefficient

Funding Decision (Model 1)

Figure 3:Logitcoefficientplotmodel1fundingdecision(comparetable5)

pseudor2ofamodelincludingonlythecontrolvariablesisconsiderablylowerwith0.12(notdepicted).


reviewcriteria(undercontrolofothervariables)revealsrelevantdifferen-cesindetail:Whileinallfourdimensionsmorepositivestatementshaveapositivepredictivecoefficientforthefundingprobability,thesizeandsignificanceofthecoefficientisvarying.

Sinceallvariablesarez-standardized,boththelogitcoefficientsandthe p-values can indicate the varying importance of the four fundingcriteria. To make the effect of changes in the net number of positiveandnegativedimensionsineachofthefourreviewcriteriamorevisibleweadditionallycomputedfundingprobabilitiesforthreeexemplaryin-dicatorvalues,holdingallothervariablesconstantatthemeans.Table4givesthefundingprobabilities forapplicationswithonenetpositivedimension,azerosum,oranetvalueofonenegativedimensionforeachoftherespectivecriteria(Table4).Thecomputationofpredictedfundingprobabilitiesforhigherorlowerindicatorvaluesthan+1and-1wouldbe

Inrespecttothecontrolvariables,onlythesubmissionasarenewalproposalhasasignificantpositiveeffect,whilebeingpartofthe2015call“ResearchDatainPractice”hasasignificantnegativeeffectonthefunding probability. Higher amounts of money being requested has aslightlynegativeeffecton fundingchances,whereas theparticipationofaninfrastructurefacilityincreaseschances,howeverbotheffectsarenot significant (seeFigure3).Althoughapplications for larger fundingvolumeswouldbepossible,theprogrammeseemstobemoreattractiveforprojectswithasmallerscaleinthelifescienceandsocialsciencesand less forhighly internationalandcollaborativedataand facility in-tensive fields like Climate Science, Particle Physics, Space Science orBioinformatics.

Applicationsfromnaturalandengineeringscienceshaveanegativelogit coefficient compared tomultidisciplinaryproposals;however,dif-ferencesbetweendisciplinesarenotsignificant.Theeffectsofthefour

possible,butisnotpresentedhereforthesakeofthesimplicity.

Table 4:Predictiveprobabilitiesforfundingatthemeans,forthreedifferentvaluesforthefourreviewcriterionindicators

Review criterion indicator valueFunding probability at the means

Scientific demand Research plan ExpertiseInstitutional environment

1 51.3% 68.2% 32.6% 54.2%

0 26.3% 37.0% 26.4% 31.8%

-1 10.8% 13.9% 21.1% 15.6%

Thestrongestpredictivevaluecanbefoundforthe“researchplan”.Holdingallothereffectsconstant,themarginaleffectatthemeansgivesa funding probability of 68% for applications with a net value of onepositive assessed dimension, compared with a clearly lower fundingprobabilityof14%forapplicationswithonenetnegativestatement inthistopic.Thecoefficientishighlysignificantwithap-valuebelow1%.Slightlyweakeristheeffectoftheassessmentofthescientificdemandfortheapplicationbythereviewpanel,whilestillbeingsignificantwithap-valuebelow5%.Thecomparisonofthepredictiveprobabilitiesshows

afundingchancereachingfrom51%foranindicatorvalueof+1to11%for an indicator value of -1. As reflected in the funding probabilities,whichdifferonlyatasmallscaleforindicatorvaluesfrom+1to-1,theassessmentoftheexpertisehasonlyaminorandnon-significanteffectonthefundingdecision.Finally,theinstitutionalenvironmenthasaposi-tiveeffectonfundingprobability;however,thecoefficientisslightlyabo-vethesignificancelimitof5%.Althoughthedifferenceinthepredictedfundingprobabilitiesisstillvisible,reachingfrom54%to16%.

Table 5:Logisticregressionmodelofthefundingdecision

Funding decision (Model 1) Funding decision (Model 2)

Coef. Std. err. p-value Coef. Std. err. p-value

Structural control variables:

Amountrequested -1.425 0.90 0.11 -1.402 0.9 0.12

Participationofinfrastructurefacility 0.773 1.19 0.52 0.842 1.19 0.48

Renewalapplication 4.604 2.14 0.03* 4.403 2.29 0.05+

Reference category: Call 2010

Call“ResearchDatainPractice”2015 -3.878 1.24 0.00** -3.827 1.24 0.00**

OngoingFundingProgramme2010-2017 -1.314 1.1 0.23 -1.361 1.1 0.22


Funding decision (Model 1) Funding decision (Model 2)

Coef. Std. err. p-value Coef. Std. err. p-value

Reference category: Multidisciplinary Sciences

HumanitiesandSocialSciences 0.365 1.22 0.77 0.379 1.24 0.76

LifeSciences -1.776 1.28 0.17 -1.701 1.31 0.20

NaturalSciences -3.892 2.28 0.09+ -3.807 2.3 0.10+

EngineeringSciences -2.161 2.13 0.31 -2.036 2.15 0.34

Funding criteria indicators:

Scientificdemand 1.544 0.64 0.02* 1.513 0.65 0.02*

Researchplan 3.755 0.78 0.00*** 3.783 0.79 0.00***

Expertise 0.207 0.51 0.68 0.161 0.52 0.76

Institutionalenvironment 0.745 0.41 0.07+ 0.744 0.40 0.07+

Numberofcontradictorydimensioncodes 0.148 0.34 0.66

Constant 0.835 1.22 0.49 0.774 1.24 0.53

N=158,PseudoR2=0.7323,LRchi2=156.19 N=158,PseudoR2=0.7332,LRchi2=156.39

+p<0.10,*p<0.05,**p<0.01,***p<0.001

The question in how far the funding decision would differ if onlywritten reviewswere taken intoaccountand inhow far contradictoryassessmentsfromthewrittenreviewsandthereviewpanelaffectthedecision remains open. Although there is no separate analysis of thewrittenreviews,wecanatleastindirectlytestthisassertion.Outofthe158cases,45caseshavecontradictorystatementinonedimension,fivecasesintwodimensions,twocasesinthreeandonecasesinfourdimen-sions.Thiscountvariableisincludedasadditionalz-standardisedcontrolinthedescribedmodel(comparemodel2inTable5).Wefindnosigni-ficant positive or negative effect of the number of review dimensionswithcontradictorystatementsonthefundingprobability.Furthermore,thecoefficients’heightandsignificanceofthefourreviewcriteriaindi-catorsremainunchangedbetweenmodel1andmodel2.Nevertheless,additionalresearchisnecessarytostudytheinterplayofwrittenreviewsandreviewpanels.

CONCLUSIONS AND OUTLOOKTheanalysisshowedthatitispossibletomodelthefundingprobabi-

lityofapplicationsbasedonacontentanalysisofreviewpanelprotocolswhilecontrollingforstructuralparameters,andtoweighttheimportanceofdifferentreviewcriteria.TheimportanceoftheresearchplanforthefundingdecisionisinlinewiththeresultsofReinhart(2009)andHart-man(1990)forstandardresearchgrants.

The lowrelevanceof theassessmentof theexpertiseof theappli-cantsforthefundingdecisiongoesinhandwithanoverallreluctancetoraisethistopicbyreviewersfoundinotherstudies.Thiscorrespondsto the observation by Reinhart and Hartmann “that reviewers display goodwill and civility towards the applicant, an attitude that he sees roo-ted in the norm of not speaking negatively about colleagues”(Neidhardt,1988:119).Analternativeexplanationwouldbethattheexpertiseoftheapplicantsisdifficulttodiscern.

Whatseemstobemorespecificforthisprogrammeistheimportanceofthe“scientificdemand”forthefundingdecision.Thisaspectincludesontheonehandthesupplyside,byassessingwhetherapplicantsdidanenvironmentandneedsanalysis,anddefinedwelltheusersandusabili-tyoftheenvisioneddatainfrastructure.Ontheotherhand,thisdimensi-onalsolooksatthedemandside,wherethereviewersassessthescopeofthedemandofsuchaninfrastructureandthepotentialacceptanceinthescientificcommunity.

Themultivariatemodel shows that the institutionalenvironment islessdecisivethenexpectedbasedonthestatedprogrammegoals.Thisis inlinewiththefindingsoftheevaluationstudyandtherecommen-dationsoftheexpertgroupaccompanyingtheevaluation.Althoughtheexpertgroupwasnot inpossessionofthepresentedmultivariateana-lysis, their conclusions in respect to the reviewprocess,basedon thedescriptive evaluation study and the case studies, are covered by theresultspresentedhere.Theystatedthatthereviewprocesswithwrittenreviews in combinationwithpaneldiscussionsworkswell andshouldcontinue.Lessunder reviewerscrutiny thanexpectedwas theassess-mentoftheinstitutionalenvironment,includingthelong-term(financial)sustainabilityoftheinfrastructure.Theexpertgroupconcluded-basedonthecompletestudyincludingthequalitativecasestudies-thatthere-viewerstooseldomaddressedthisaspectandthereisatensionbetweentheinnovativenessofaproposalandthelong-termsustainability.Theyrecommended:“the criteria for sustainability of the project results should be defined more precisely and revised. This requires a clearer identification of an expected sustainable operation of the scientific data infrastructure. Sustainability is to be evaluated in relation to the innovativeness of the projects” (DFG2019b,4).To reachthisgoal, theysuggestsplittingtheprogrammeinthreesegmentsdifferencing“maturemajorprojects”andcommunitybuilding“initialmajorprojects”frominnovativehigh-riskpro-jects.Inthelastsegment,demandsforsustainabilityareweakenedandreplaced by the minimal expectation of further usage and integrationoftoolsinexistinginfrastructures,whileinnovativenessismorecentral.


AUTHORRICHARD HEIDLERInformation Management, German Research Foundation Kennedyallee40,Bonn,53175(Germany)E:[email protected]: PeerReview,ResearchData,DataSharing,GrantPeerReview,ReviewCriteria,DeutscheForschungsgemeinschaft,ProgrammeEvaluation

ACKNOWLEDGEMENTSIamgratefultoAnkeReinhardtforhervaluablefeedbackandcon-

structive suggestions for both the analysis and the article and StefanWinkler-Neesforaddingtothequalitativetextanalysisandaccompany-ingthewholeproject.

REFERENCESBorgman, C. L.(2012):Theconundrumofsharingresearchdata.Advan-cesininformationscience,63,1059-1078.

DFG(2019a):BewertungdesFörderprogramms„Informationsinfrastruk-turenfürForschungsdaten“.doi.org/10.5281/zenodo.2636516

DFG (2019b): Weiterentwicklung des Förderprogramms „Informations-infrastrukturenfürForschungsdaten“.doi.org/10.5281/zenodo.2650866

Langfeldt, L. (2001):TheDecision-makingconstraintsandprocessesofgrantpeerreview,andtheireffectsonthereviewoutcome.SocialStu-diesofScience,31,820–841.

Piwowar, H. A., Day, R. S., Fridsma, D. B. (2007): Sharing DetailedResearchDataIsAssociatedwithIncreasedCitationRate.PLoSONE2:e308.

Reinhart, M. (2009): Peer reviewofgrant applications inbiologyandmedicine.Reliability,fairness,andvalidity.Scientometrics,81,789-809.

Reinhart, M. (2010):Peerreviewpractices:acontentanalysisofexter-nalreviewsinsciencefunding.ResearchEvaluation,19,317-331.

Hartmann, I. & Neidhardt, F.(1990):PeerreviewattheDeutscheFor-schungsgemeinschaft.Scientometrics,19,419-425.

Tenopir, C., Allard, S., Douglass, K., Aydinoglu, A. U., Wu, L, Read, E., et al.(2011):DataSharingbyScientists:PracticesandPerceptions.PLoSONE6:e21101.


stillsignificantlypositive,istheperceivedsocialsupport.Overall,theIn-nosuissestart-uptraininghelpsstudentanduniversitymemberstocometoamoreinformeddecisioninfavororagainstapotentialbusinessfor-mationandtodeveloptheirskillsandknowledge.

BACKGROUNDTheInnosuissestart-uptrainingaimsatsupportingstudentsanduni-

versitymemberswhoare interested insettingupknowledge-intensiveand technology-based firms. Thegeneralprogramobjectives comprise(1)thefosteringofanenvironmentthatallowsyoungknowledge-inten-sivefirmstodevelopsuccessfully,(2)thepromotionofanentrepreneurialmind-setatSwissuniversitiesand(3)theconductofpracticeorientedand interconnected trainingmodules forstudents,universitymembersandyoung(student)entrepreneurs(Kägietal.,2018).

ABSTRACT

ThepresentpaperanalyzestheInnosuissestart-uptrainingpro-gram in an empirically well-tested socio-psychological model,theTheoryofPlannedBehavior(TPB).Theaimistoanswerthe

question,whetherthetrainingmodules(aimingathigh-techstart-ups)enhancetheparticipants’intentiontofoundabusiness,andwhichde-terminantscontributetoachangeinthisintention.Datahasbeencollec-tedinthreeconsecutivesurveysforallcoursesofferedintheyears2016and2017.Theestimationresultsindicatethatthosewhofeelempowe-redshowahigherintention,whileothersrealizeduringthecoursethatabusinessfoundationisnotwhattheyreallywant(atthatpointoftime).Thelargestimpactonthechangeintheintentionstofoundabusinesscomesfromtheperceivedbehavioralcontroloftheparticipants,i.e.theknowledgeaboutrunningabusiness;toasomewhatlesserextent,but

ELISABETHNINDLANDPETERKAUFMANNDOI:10.22163/fteval.2020.468

ANALYSISOFTHEINNOSUISSESTART-UPTRAININGINATHEORYOFPLANNEDBEHAVIORFRAMEWORK1

1 ThispaperdrawsontheevaluationreportbyKägi,etal.(2018).WethankourcollaboratorsfromBSSResearchandConsultingfortheircontributionsduringthestudy,andourclientfromInnosuisseforconstructivediscussions.Duringtheevaluationperiod,thenameoftheprogramwas‘CTIEntrepreneurshipTrainingProgram’.

Business Creation Business Growth

JUMPSTART YOURBUSINESS

GROW YOURSTART-UP

5-dayintensivecoursetojumpstartyourventure.

5-daycourseondevelopingandimplementing

strategiesforgrowth.

FOR MEMBERS OF UNIVERSITIES

MODULE 3 MODULE 4

Business Ideas Business Concept

FEEL THE START-UPGROOVE

GET THE START-UPTOOLBOX

2-hourmotivationaleventformembers

ofuniversities.

Eveningcourseformembersofuniversities/university

studentswithbusinessideaswhoaspiretosetupcompany.

FOR MEMBERS OF UNIVERSITIES

MODULE 1 MODULE 2

Figure 1:Start-uptrainingmodules1-4Source:https://www.innosuisse.ch/inno/en/home/start-and-grow-your-business/start-up-training.html(16.10.2019)


THE THEORY OF PLANNED BEHAVIOR

Theempiricalevaluationoftheeffectofthestart-uptrainingontheparticipantsbuildsontheTheoryofPlannedBehavior(TPB),anempiri-callywell-testedmodelfromsocio-psychology(Ajzen,1991).Accordingto themodel, the intention toperformacertainbehavior inaspecificcontext can be explained and predicted by the attitude towards thisbehavior, the individual’s subjective norm (the influence by importantothers)anditsperceivedbehavioralcontrol(PBC).

Attitude refers to the individual subjective perception, sensationandassessmentofacertainbehavioranditsdesirability.Incontrasttothisinnerappraisal,subjectivenormaccountsforsocialfactorssuchastheperceived social support,disapprobationorpressure fora specificbehavior from the closer social environment (friends, family or peers).Perceivedbehavioralcontrol,asthethirdcomponent,referstotheper-ceptionof theeaseordifficulty toperform thebehaviorof interest. Itdescribesone’sconfidenceintheabilitytoperformabehaviorandcanbeinfluencedbytheindividual’schoiceofactivitiesandthepreparationforanactivity,theexpendedeffort,thethoughtpatternsandemotionalreactions.Onthesegrounds,theelementsofperceivedbehavioralcon-trolcanbestimulatedthrougheducationandtraining.

AsisshowninFigure2,thethreefactorsattitude,subjectivenormandPBCcanencourageordiscouragetheintentiontoperformabeha-vior.Inaddition,theTPBassumesthatthePBCnotonlyaffectsacertainbehaviorviathechannelofintentions,butalsoexhibitsadirecteffectonthebehavior,whichisinourcontextthefoundingofabusiness.Duetothistwofoldeffect,perceivedbehavioralcontrolisregardedasthemostimportantcomponentoftheTPB.

The following Figure shows a part of the overall intervention logic(outputtoimpact)oftheprogram,inwhichtheTPBisembedded.Nati-onwidecoverage,theparticipationofthetargetgroup(i.e.theintendedoutreachoftheprogram)andthequalityofthetrainingarethedirectoutputsoftheprogramimplementation.Theseoutputsshouldtranslateintooutcomesinthetarget(treatment)groups.Wefocusinthisarticlesolelyonthe(measurable)changesinattitude,subjectivenorm,percei-vedbehavioralcontroland intentions.Theempiricalresultsfromotherstudiesshowthatintentionsconstituteareliableindicatorforfutureent-repreneurialbehavior(e.g.HeuerandKolvereid,2013,LiñánandFayolle,2015,Mirallesetal.,2016).

Thefourmodulesare:• Module 1: Awareness raising for entrepreneurship in the

knowledge-andtechnology-basedsector;focusonmembersofuniversitiesanduniversitiesofappliedscience:students,doc-toralstudents,postdocs,researchfellows;durationtwohours

• Module 2:Provisionofskillsforfoundingabusiness, identifi-cationofpromisingbusinessideas,encouragementofthepar-ticipantstostarttheirownbusiness,promotionofanentrepre-neurialspirit;focusonmembersofuniversitiesanduniversitiesof applied science: students, doctoral students, postdocs andresearchfellowswithanentrepreneurialideaintheknowledge-andtechnology-basedsector;durationteneveningsessionsàfourhours(onesemester)

• Module 3: Assessment of the market potential of businessideas, identifying success factors and common pitfalls, plan-ningandrealizingbusiness ideas;focusonbusinessfounders(shortlybeforeoraftersettinguptheircompany);durationfivedaysspreadoverseveralweeks

• Module 4:Movingfromthefirstclientsandpartnerstoagrow-ingcompany;focusonfoundersandheadsofknowledge-andtechnology-basedcompaniesalreadyoperating in themarket;durationfivedaysspreadoverseveralweeks

Onbehalfof theSwissCommission forTechnologyand Innovation(KTI,since2018Innosuisse),BSSResearchandConsultingandtheAust-rianInstituteofSMEResearchwerecommissionedtoperformaprogramevaluationofthestart-uptrainingprogram“CTIEntrepreneurship”(to-day“Innosuissestart-up”).Theevaluationwascarriedoutintheyears2016to2018andusedamixofqualitativeandquantitativemethods.Itcoverstheyears2016and2017andanalyzesthestructureofthepartici-pants,theconception,realizationandeffectofthemodulestwotofour.The trainingmoduleswereofferedby five leading institutions (univer-sities,universitiesofapplied sciences,businessparks)and29partnerinstitutions in four Swiss regions (Zürich East, Region Central, RegionWestandTessin)(Kägietal.,2018).2

Inthispaper,wefocusonthedirectoutcomeofthecourses,whichistheimmediatebehavioraleffectonthetargetgroup,i.e.whetherthecourseparticipantsintendtotakethenextstepstowardsentrepreneur-ship.Wecouldnotobserveduringthisstudywhetherthecourseparti-cipantsreallyset-upabusiness(impact),becausethisrequiresoftenalongertimehorizon.Thetimefromthefirstbusinessideatoitssuccess-fulimplementationmayeventakeseveralyearsandanimpactanalysiscouldthusbeafruitfultaskforfutureresearch.

Inthefollowing,weintroducethetheoreticalframeworkanditsin-corporation into the program’s intervention logic. Second, we give anoverviewof thedata. Ina thirdstep,wedescribetheregressionsandpresentselectedestimationresultsincludingitsinterpretation.

2 Thewholeevaluationreportisavailableathttps://repository.fteval.at/469/


Intheevaluationperiod2016and2017,all678participantsofmodule3wereinvitedviaemailtocompletethesurvey.Thefirstquestionnaireatthebeginningofthecoursewasansweredby451participants(67%),thesecondsurveyby402(60%)andby201(30%)inthethirdwavesixmonthsafter thecourse.Duetomissinganswers,another30%of theobservations were discarded from the sample. Table 1 shows the de-scriptive statisticsof theassessment inQI for thefinal sampleof347participantsansweringthefirstandthesecondsurvey,and158indivi-dualsansweringallthreesurveys.Thevaluesforbothsamplesareverysimilar,sothatwecanruleoutthatourresultsaredrivenbythegroupcompositionoftherespondents.

DATA AND DESCRIPTIVE STATISTICS

Following the conceptualization of the study, the data was collec-tedbyBSSResearchandConsultancyinspecificallydesignedsurveys.Formodulestwo,threeandfour,thecourseparticipantswereaskedtoanswerthreesurveys:thefirstatthebeginningofeachcourse(QI),thesecondasks thesame itemsafter theendof thecourse (QII) and thethirdsurveysixmonthsaftercompletionofthetrainingprogram(QIII).Five questions relate to the participants’ attitude towards creating anownbusiness,threeitemsmeasuresubjectivenorm,anotherthreeitemsfocus on perceived behavioral control. Intention was measured usingfouritems.Additionalcontrolvariablesaregender,age,theparents’en-trepreneurialbackground,previousworkexperienceinasmallornewlyfoundedfirmandeducationalattainment.

Inthisarticle,wepresentonlytheresultsformodule3;theresultsformodule2arequalitativelyandquantitativelysimilar.Duetothelownumberofparticipantsinmodule4,itcannotbeanalyzedinthestructu-ralequationframework.

Figure 2:EmbeddingtheTPBtocapturethecourseoutcomesintheinterventionlogicIllustrationbyKägietal.(2018);TPB:Ajzen(1991)


QI ∩ QII in % QI ∩ QII ∩ QIII in %

Intention

Choice:ownbusinessvs.employee 6.16 6.24

Goal:creatingabusinessoneday 5.99 5.98

Readiness:todoanythingtobecomeanentrepreneur 5.30 5.28

Likelihood:Incorporate/registeracompanyinthenext2years 5.96 6.08

Attitude

Disappointing–Rewarding 6.36 6.35

Badforme–Goodforme 6.22 6.22

Worthless–Worthwhile 6.46 6.44

Negative–Positive 6.43 6.46

Harmful–Helpful 6.18 6.13

Subjective Norm

Supportofyourfamily 5.60 5.72

Supportofyourfriends 5.51 5.58

Supportofyourcolleagues 5.23 5.28

Supportofyourentrepreneurialpeers 5.59 5.72

Perceived Behavioral Control

Decision Making:Decisionmakingunderriskanduncertainty

5.34 5.33

Probability of Success:Probabilityofsucceedingwithanownfirm

5.05 5.10

Time Sacrifice:Sacrificethenecessarytimeandenergytotheproject

5.97 6.12

Background/Control variables

Female 80 23.1% 38 24.1%

Age 34.9 35.3

Entrepreneurialparents 122 35.2% 58 36.7%

Previousworkexperience 180 51.9% 85 53.8%

StudentUni 11 3.2% 8 5.1%

StudentA.S. 19 5.5% 10 6.3%

GraduateUni 61 17.6% 40 25.3%

GraduateA.S. 41 11.8% 23 14.6%

Foreigneducation 22 6.3% 14 8.9%

Othereducation 24 6.9% 17 10.8%

Educationmissing 169 48.7% 46 29.1%

N 347 158

Table 1:Descriptivestatistics,Module3(means)Source:Kägietal.(2018),owncalculationsA.S….UniversityofAppliedSciences.Allvariables(excludingbackgroundvariables)rankedona7-pointLikertscalewithhighervaluescorrespondingtoabetterassessment.Thetabledisplaysthemeansofthevariablesand,wherepossible,thesharesoftotal.


ESTIMATING THE TPB IN A STRUCTURAL EQUATION MODEL

Wetest theTheoryofPlannedBehaviorwithastructuralequationmodel (SEM)as inCarrandSequeira (2007),LortieandCastogiovanni(2015)orZapkauetal.(2015),usingordinaryleastsquaresregressions.Fortheestimation,wefirstaggregatetherelevantitemsofeachfactor.Applying (standardized) Cronbach’s Alpha as a selection criterion, weidentifywhichitemsshouldbeused.ThehigherthevalueofCronbach’sAlpha, themoreconsistently the itemscapture theunderlying theore-ticalconstruct.Themeasureshouldexceed0.7,butas thecalculationinvolves thenumberof items, the thresholddeclines inasettingwithonlyfewitemsperfactor(RosendahlHuberetal.,2014).

Forthetraineesofmodule3answeringallquestionnaires,Cronbach’sAlpharangesbetween0.62and0.87inQI,withthelowestvaluesfortheitemsofintentionandhighestfortheattitudeitems.Forthedatacoll-ectedinQIII,Cronbach’salphaincreasesstronglyfortheintentionitemsanddecreases for thoseofPBC,especiallydecisionmakingunder riskandprobabilityofsuccess.Overall,theconsistencyofmostoftheitemsincreasesafterthecourse,suchthatweuseallitemsforthecalculationofthefactorsattitude,subjectivenormandperceivedbehavioralcontrolfortheestimationofthestructuralmodel.

Figure3showstheshareofparticipantswithchangingassessmentsbetweenthesurveysinQIandQIIIfortheaggregateditemsofattitude,subjectivenormandPBC,andseparatelyfortheitemsofintention–thedependent variables of the subsequent regressions. Interestingly, thedeterminantsof intentionsshowalargervariationbetweenthebegin-ningofthecourseandsixmonthslaterthanthemeasuresofintention;especiallythechoicetobecomeanentrepreneurisverystable.TakingintoaccountthelevelofchangeasreportedinTable2itappearsthatfortheitemsofsubjectivenormandattitude,thepositiveandnegativechangesoutweigheachother.

Ingeneral, theparticipants’ intentions tobecomeanentrepreneurareveryhigh–especiallythechoiceforstartingabusiness–whilethereislessagreementonthereadinesstodoanythingtobecomeanentre-preneur. Also, the attitude towards entrepreneurship is very high andonlylittlevariationcanbefoundbetweenthefivemeasureditems.Theperceptionofthesupportfromtheclosersocialenvironmentisslightlylowerandmoreheterogeneous.AlsothePBCitemsareassessedquiteheterogeneously–whiletheparticipantsarehighlywillingtosacrificethenecessarytimeandenergy,theyratetheirabilitiesofdecisionma-kingunderriskandtheprobabilityofsucceedingwithhisorherownfirmlower(butstillatahighlevel).

BetweenthetwosurveysQIandQIII(seeTable2),weobservesig-nificantandquantitativelylargedecreasesintheintentionitemsonthelikelihoodofcreatingabusinessinthenexttwoyearsandthetrainees’readiness to do everything to become an entrepreneur. For the itemsofperceivedbehavioralcontrol, the trainees reportasignificant incre-ase in theirperceivedprobabilityofsucceedingwithanownfirmandat thesame timeasignificantand largedecline in theassessmentofthewillingnesstosacrificethenecessarytimeandenergyfor runningabusiness.Thesefindingsalready indicatethatthetrainingmayhavecausedasomewhatmorerealisticassessmentofentrepreneurship:trai-neeslearnedabouttherequiredtimeandeffortandthattheymightnotbewillingorabletomakethesecontributions;thosewhostillwishtobe-comeanentrepreneurnowfeelahigherprobabilityofsucceeding(seealsoOosterbeeketal.,2010).Thisissupportedbyasignificantincreaseinthevaluationthatrunninganownbusinessisworthwhile.

QI QIII Change

IntentionChoice 6.16 6.17 0.01Goal 6.00 6.02 0.02*Readiness 5.38 5.23 -0.15**Likelihood 6.00 5.36 -0.64***AttitudeDisappointing–Rewarding 6.35 6.35 0.00Badforme–Goodforme 6.22 6.24 0.02Worthless–Worthwhile 6.44 6.54 0.11**Negative–Positive 6.46 6.41 -0.05Harmful–Helpful 6.13 6.12 -0.01Subjective NormSupportofyourfamily 5.72 5.48 -0.24Supportofyourfriends 5.58 5.44 -0.13Supportofyourcolleagues 5.28 5.03 -0.25Supportofyourentrepreneurialpeers

5.72 5.50 -0.22

Perceived Behavioral ControlDecisionMaking: 5.33 5.45 0.11ProbabilitySuccess 5.10 5.29 0.20*TimeSacrifice 6.12 5.72 -0.40*

Table 2:ChangeintheTBP-itemsbetweensurveysQIandQIIISource:Kägietal.(2018),owncalculations.N=158;significantdifferencesforp-values<0.1:*…p-value<0.1,**…p-value<0.05,***…p-value<0.01


Panel 1 My professional goal is to create a business someday

(1) (2) (3) (4)

Female -0.362 -0.464 -0.899** -0.779**

Age 0.021 0.019 0.003 0.013

EntrepreneurialParents -0.032 0.053 0.143 0.089

PreviousWorkExperience -0.457* -0.490* -0.737** -0.651**

Perceived Behavioral Control 0.152*** 0.151**

Attitude 0.074** 0.026

Subjective Norm 0.063* 0.033

N 133 134 92 86

AdjustedR2 0.114 0.071 0.141 0.251

FStatistic 3.432*** 2.462** 3.137*** 4.162***

Panel 2 I am ready to do anything to be an entrepreneur

(1) (2) (3) (4)

Female -0.091 -0.217 -0.366 -0.239

Age 0.011 0.008 -0.007 0.010

EntrepreneurialParents -0.071 -0.0001 -0.147 -0.186

PreviousWorkExperience 0.099 0.025 -0.192 -0.209

Perceived Behavioral Control 0.236*** 0.200***

Attitude 0.135*** 0.065

Subjective Norm 0.096*** 0.040*

N 135 136 94 88

AdjustedR2 0.169 0.132 0.064 0.306

FStatistic 4.881*** 3.922*** 1.907* 5.256***

Table 3:StructuralequationmodelofModule3Source:Kägietal.(2018),owncalculationsAllTBP-variablesaremeasuredastheaveragesumofchangesbetweenQI and QIII; significant differences for p-values<0.1: *…p-value<0.1,**…p-value<0.05,***…p-value<0.01with robuststandarderrors.Allregressionsincluderegionaldummiesandaconstantterm.

The data allows us to perform an innovative approach in the TPBframework.Toourknowledge, theanalysesusuallyapply theTPBap-proachbyusingtheabsolutelevelsoftherelevantitemsandfactors.Ourpaneldatastructureallowsustousetherelativechangeovertimeintheestimation.Thereby,wecanobservethedynamicsintheTPB,e.g.whe-theran increase inperceivedbehavioralcontrolcausesan increase intheintentiontobecomeanentrepreneurinsteadoflookingatthedeter-minantsofentrepreneurialintentionsinlevels.Inthissense,themodelcombinesabefore-aftercomparisonwithastructuralequationmodel.

Fortheexplanatoryvariables,weaggregatethechangeforeachitemandrespondentbetweenQIandQIIIforthefactorsattitude,subjectivenorm,perceivedbehavioralcontrol,andtakethemean(averagechangeperperson).Furthercontrolvariables (measured in levels)are theent-repreneurialbackgroundof theparents,workexperience inasmallornewlyfoundedfirm,age,genderandtheregion(servesasauniversity-dummy).DuetomissingvaluesduetothedifferentsurveyapplicationsacrosstheSwissregions,wearenotabletoproperlycontrolfortheedu-cationalbackground.

Table3showstheregressionresultsfromOLSestimationwithhete-roscedasticity-robuststandarderrorsfortheintentionitems“myprofes-sionalgoalistocreateabusinesssomeday”(panel1)and“Iamreadytodoanythingtobeanentrepreneur”(panel2).Inpanel1,allthreeTBP-factorsexhibitasignificantlypositiveeffectontheintentiontocreateabusinesswiththequantitatively largesteffectforperceivedbehavioralcontrol. Even when we include all three TPB-factors in the regression(column4),thecoefficientofPBCremainsunchangedandisstillsignifi-cant.Incolumns3and4thatcontrolforthechangeinsubjectivenorm,thedummyvariableforfemalesturnssignificant.Thiscouldindicatethatoncewetakeintoaccounttheperceivedsupportfromthecloseenviron-ment,femaleshavelessoftenthegoaltobecomeanentrepreneur(evenamongthosewhoparticipate in thecourses; theirshare isonlyabout25%). The effect of previous work experience is significantly negativeinall regressions.Anexplanation is thatapotentialpositive impactofpreviousworkexperiencerunsindirectlyviatheTPB-variablesandthattheremainingeffectonintentionisnegative(Mirallesetal,2015).

Figure 3:Percentageofrespondentschangingtheirassessment(QI-QIII,Module3)Source:Kägietal.(2018),owncalculations.N=158


REFERENCESAjzen, I.(1991).TheTheoryofPlannedBehavior,OrganizationalBehaviorandHumanDecisionProcesses(50),pp.107-122

Carr, Jon C., and Sequeira, J.M. (2007).Priorfamilybusinessexposureasintergenerationalinfluenceandentrepreneurialintent.ATheoryofPl-annedBehaviorapproach.JournalofBusinessResearch60,pp.1090-1098

Heuer, A., Kolvereid, L.(2013).EducationinentrepreneurshipandtheTheoryofPlannedBehaviour,EuropeanJournalofTrainingandEduca-tion,38(6),pp.506-523

Kägi, W., Oswald, A., Suri, M., Kaufmann, P., and Nindl, E. (2018).CTIEntrepreneurship-WirkungsanalyseundEvaluation.StudiedurchBSSVolkswirtschaftliche Beratung und KMU Forschung Austria im AuftragvonInnosuisse,Bern

Liñán, F., Fayolle, A. (2015). A systematic literature review on entre-preneurialintentions:citation,thematicanalyses,andresearchagenda,InternationalEntrepreneurshipandManagementJournal,pp.907-933

Lortie, J., and Castogiovanni, G.(2015).Thetheoryofplannedbehavi-our inentrepreneurshipresearch:whatweknowandfuturedirections.InternationalEntrepreneurshipandManagementJournal11,pp.935-957

Miralles, F., Giones, F., and Riverole, C.(2016).Evaluatingtheimpactifpriorexperienceinentrepreneurialintention.InternationalEntrepreneur-shipandManagementJournal12(3),pp.791-813

Osterbeek, H., van Praag, M,. and Ijsselstein, A.(2010).TheimpactofentrepreneurshipeducationonentrepreneurshipskillsandMotivation.EuropeanEconomicReview54,pp.442-454

Rosendahl Huber L., Sloof, R., and van Praag, M. (2014).Theeffectofearlyentrepreneurshipeducation:Evidencefromafieldexperiment.EuropeanEconomicReview72,pp.76-97

Zapkau, F.B., Schwens, C., Steinmetz, H., and Kabst, R. (2015).Disen-tanglingtheeffectofpriorentrepreneurialexposureonentrepreneurialintention.JournalofBusinessResearch68,pp.639-653

AUTHORSELISABETH NINDL E:[email protected]

PETER KAUFMANNE:[email protected]

KMU Forschung Austria – Austrian Institute for SME ResearchGusshausstraße8,1040ViennaKEYWORDS: Entrepreneurshiptraining,TheoryofPlannedBehavior,structuralequa-tionmodel

Inpanel2,onlytheTBP-factorshavesignificanteffectsonchangesintheintentiontodoanythingtobecomeanentrepreneur–theesti-matedcoefficientsarequalitativelyandquantitativelysimilartothoseinpanel1.Attitudeandsubjectivenormexhibit,asinpanel1,assigni-ficantlypositiveeffectwhenincludedseparatelyintheregressionbutturninsignificant(lesssignificant,panel2)incolumn4duetomulticol-linearity.Overall,regardingthesizeandsignificanceoftheestimatesaswellastheshareofexplainedvariation,theestimationworksbestforthe intention item readiness that shows the largest change betweenthe two measurement points (the same holds for the intention-itemlikelihood,notreportedinthetable).Finally,robustnesscheckslimitingthesampletothoseobservationsincludedintheregressionsincolumn4showthattheresultsarenotdrivenbythesamplesizeandcompo-sition.UsingdatacollectedinQIIratherthanQIIIleadstosmallerandlargely insignificantestimates; this isplausibleas theQII surveywasconductedrightafterthecourseandthedescriptivestatisticsshowthatthe(full)changeintheparticipants’assessmentsonlyappearswithatimelag.

SUMMARY AND CONCLUSIONS The paper presents the estimation results of a structural equation

modelusingtheTheoryofPlannedBehavior,performedincourseoftheimpactanalysisoftheInnosuissestart-uptrainingprogram(Kägietal.,2018).Thestart-up training (called“CTI-EntrepreneurshipTrainingPro-gram” during the evaluation period) aims at supporting students anduniversity members interested in setting up knowledge-intensive andtechnology-basedcompaniesbyofferingfourdifferentcoursemodules.Formodulestwotofour,theparticipantscompletedthreesurveys,thefirstatthebeginningofthecourse,thesecondrightafterthecourseandthethirdsixmonthsafterthecourse.

Thepanelstructureofthedataallowsustorelatethechangeintheintentiontobecomeanentrepreneurtothechangesinattitude,subjec-tivenormandtheperceivedbehavioralcontrolofthecourseparticipants.TheestimationresultsconfirmthehypothesesoftheTheoryofPlannedBehavior.Thestructuralequationmodelsshowthatanincreaseintheperceivedbehavioralcontrol(i.e.thenecessaryskills) leadstoastatis-ticallysignificant increaseintheintentiontobecomeanentrepreneur.ThisisparticularlyvisibleforModule3,whereparticipantsalreadyhavetangiblebusinessmodelsintheirmindorarealreadyintheprocessofsettinguptheirbusiness.Thus,theybenefitfromthisfive-days-coursemainlybytrainingtheir(perceived)skills.Whilealsotheirattitudeandthe perceived support from the social environment change over time,thesefactorsareatthisstagelessimportantfortheformationofinten-tions.

Overall,ifthecourseparticipationcausesachangeinthePerceivedBehavioralControl,andthesechangesrelatetotheintentiontobecomeanentrepreneur,thenwecanconcludethatthetrainingprogramsuc-cessfullycontributestotheparticipants’beingabletomakeamorein-formedchoiceabout thembecominganentrepreneur, toenhance theentrepreneurialspiritforthosewhodecideinfavorofit,andtoprogresson their way toward fulfilling their intention by equipping them withthenecessary skills.However, as theanalysisdoesnot involvea con-trolgroupandthusisnotabletoaccountforunobservedheterogeneitybetweenparticipantsandnon-participants,theresultshavetobeinter-pretedwithcare.


logic.Thistypeofevaluationusuallyfocusesoncombiningsurveydatawithcasestudies,some(limited)networkanalysisandapplies,asacon-sequence of the additionality assessment, some (limited) before/aftergroupcomparisons(ibid.).

However, even holistic evaluations performed today fall short inapplyingmethods,which focuson (1) thepossible futureevolutionofrelevantcontextsofaninterventionaswellas(2)presumedstrategiesof different types of actors towards the anticipated futures. Still, eva-luation methods and monitoring practices are largely based on linearideasandmostevaluationsarebackwardlooking(expost)despitethedevelopmentandapplicationofexanteevaluationmethods(NieminenandHyytinen,2015).Inparticular,theapplicationofmethods,whichcanprovidefutureorientedstrategicdecisionsupport,areyetuntappedincurrentevaluationpracticesofinnovationpolicies.

Againstthisbackgroundweaskhowaforward-lookingperspectivecanbeintegratedinevaluationsinacost-efficientandeffectivemanner?NieminenandHyytinen(2015)suggestthattheessentialcharacteristicsofevaluationand foresightmethodologies,complementedbydynamicsystemmodellingaswellasrobustsocietalembedding,canprovidebothhigh-level‘visionary’inputstogetherwithspecificanddetailedinforma-tionfordecision-making.

Takingupthisperspective,wedemonstratehowtheDelphimethodcan be used as a tool not only for validating the evidence gathered,butalsohowto incorporatea forward-lookingperspective indrawingconclusionsandelaboratingrecommendationsbymakinguseofexpertknowledgefromdifferentdomains.Theempiricalbasisforthediscus-sion is theEvaluationof theSupportStructures for implementingtheEuropeanFrameworkProgrammeforResearchandInnovation(H2020),EUREKA, COSME, EEN and ERA in Austria (Dinges et al. 2018) com-missionedby theAustrianFederalMinistryofScience,ResearchandEconomyin2017.

WefirstprovideashortconceptualoutlineonthescopeanduseoftheDelphiMethodas referenced in theacademic literature.We thenproceed to describe how the Delphi-Process was implemented in theEvaluation of the Support Structures for Horizon 2020 in Austria. WeshowhowthefindingsoftheDelphiprocessinfluencedtheprocessofsynthesizingevaluationresultsandhowpolicyrecommendationswereshapedthroughthemethodologicaldesign.Inafinalsectionwediscusshow theDelphiprocesscanmakeevaluationsmore sensitive towardschangingframeworkconditionsanduncertain futures,andwhichpre-requisitesforimplementationhavetobetakenintoaccount.

ABSTRACT

ThisarticlediscussesthescopeofuseoftheDelphimethodinevaluations.ItsuggeststhattheDelphimethodisapromisingapproachforvalidatingtheevidencegatheredbyincorporating

aforward-lookingperspectiveinthedrawingofconclusionsandinela-boratingrecommendationsbymakinguseofexpertknowledgefromdif-ferentdomains.Thereby,theDelphimethodalsofacilitatesinformationand engagement of relevant stakeholder communities in an ongoingevaluation process. Based upon the application of the method in theEvaluationoftheSupportStructuresforHorizon2020,EUREKA,COSME,EENandERA inAustria, thearticledemonstrateshowtheapplicationoftheDelphimethodallowstoanalysethedegreeoffitofanexistingserviceportfolioagainstchanging frameworkconditionsandexpecteddevelopmentsinthefuture.

INTRODUCTIONEvaluationsofR&Iinterventionsfacethechallengeoftransforming

evidenceontheperformanceofaninterventionintorecommendationsondesignoptionsandbroaderpolicyrecommendationsintheobserveddomain. In theprocessof formulatingrecommendations, thecoreper-spectiveofanevaluationchanges:Whiletheanalysisofperformanceispredominantlybackwardorientedbyconsideringtheconstituentactorsand their changing contexts in an ex-post perspective, the process offormulatingrecommendationsanddesignoptionsrequirescarefulcon-sideration of the existing evidence combined with possible future de-velopmentsofcontextsandactorsaddressedbyan intervention.Thustheperspectivechangesfromretrospective(evidence-basedanswertoquestionson ‘whathappened’and ‘whatworkedwellornot’) topro-spective (‘what likelyneeds tobedone toanticipateand successfullytacklefuturechallenges’).

Whileevaluationsareusuallycategorizedasbeinglargelyformativeorsummative(Chen1996,Patton1996),Edleretal.(2012)showintheirempirical analysis that: 1) rather summative issues such as ‘outputs,outcomes, and impacts’, ‘goal attainment and effectiveness’, ‘internalandexternalconsistency’inevaluationsarestronglylinkedtomorefor-mativetopicssuchas‘policy/strategydevelopment’and2)thistypeof“holisticevaluations”seekstounderstandandmeasuretheprogramme

MICHAELDINGES,ANNAWANGANDKLAUSSCHUCHDOI:10.22163/fteval.2020.469

USINGTHEDELPHIMETHODINEVALUATIONS–INCORPORATINGAFUTUREORIENTEDPERSPECTIVEINEVALUATIONS


greaterdepthincludinginparticularpublicpolicy,healthcare,education,andtechnologicalforecasts.Inpublicpolicy,theDelphiMethodseekstoprovidepolicymakerswithabetterunderstandingofpolicydesignandimplementation(AlderandZiglio,1996;LinstoneandTuroff,1975).

THE USE OF DELPHIS IN R&I POLICY AND R&I POLICY EVALUATION

In thedomainofR&Ipolicy, the focusof theuseofDelphischan-gedinthelastdecades.Whereasinthe1970sand80s,DelphiexercisesandcriticaltechnologystudiesconductedintheUS,inFranceandtheNetherlandsfocusedonpredictingandcontrollingthefuture,newformsofDelphishavebeendevelopedthatdonotnecessarilystrivetoachieveconsensusonfutureforecasts,butrathertomapthediversityofopinioninordertoenablepublicpolicytoimaginealternativepathsoffuturede-velopmentsandtodesignpublicpolicyinaresponsivemannertowardsthesepotentialpaths(Havas,SchartingerandWeber2009).Forexamp-le,theforesightstudyinsupportoffutureEUResearchandInnovationPolicy(BOHEMIA,Weberetal.2018),aimedtosupportthedeliberationsonfutureproposalsforapost-2020ResearchandInnovationFramework.The BOHEMIA Delphi statements were not meant to provide a broadoverviewof‘allthingstocome’butstartedfromscenariosontheFutureforResearchandInnovationPoliciesinEurope.

Formonitoringandevaluation,theDelphitechniquecanbeusedinvariousevaluation tasks toanticipatepossible futures, for instancebyassessingthe‘problem’acertainprogramaimstosolveandforecastingfuturechanges2.Itisaparticularusefulmethodinjudgmentandforecas-tingofsituationsinwhichpuremodel-basedstatisticaloptionsarenotpractical (ibidem).Despite itspotentialusefulness, theDelphiMethodhasnotbeenwidelyusedinevaluationsofR&Ipoliciesandinstitutions.

Inthefollowing,wethereforemakethecasehowtheDelphitech-niquewasused in the caseof theevaluationof theAustrian supportstructuresforHorizon2020,EUREKA,COSME,EENandERA.

THE APPLICATION OF THE DELPHI METHOD IN THE EVALUATION OF THE SUPPORT STRUCTURES FOR HORIZON 2020 IN AUSTRIA

SCOPE AND DESIGN OF THE EVALUATION

TheevaluationaimedtoundertakeasystematicassessmentoftheAustrian support structures and implementation of Horizon 2020 andERA,aswellasEUREKA,COSME,and theEnterpriseEuropeNetwork

THE DELPHI METHOD TheDelphiMethodwasoriginallydevelopedbytheRANDCorporati-

onfortechnologicalforecastingandapplyingasystematicapproachtotheutilizationofexpertopinions.TheDelphiMethodattemptstomakeuseof informed intuitive judgement (ofexperts)andderives its impor-tancefromtherealizationthatprojectionsintothefuture,onwhichpo-licydecisionsmustrely,arelargelybasedonthepersonalexpectationsofindividualsratherthanonpredictionsderivedfromawell-establishedtheory(Helmer,1967)1.

Initsoriginalconfiguration,theDelphiMethodsetsoutaprocess,inwhichthevariousopinionsofseveralexpertsonaparticularissue,arecombinedintoasinglecombinedposition.Itisamethodforstructuringagroupcommunicationprocesssothattheprocessiseffectiveinallowingagroupofindividuals,asawhole,todealwithacomplexproblem(Lin-stoneandTuroff,1975;Cuhls,BlindandGrupp,2002).KeyobjectivesoftheDelphiMethodweretoreducethenegativeeffectsofgroupinterac-tions(GuptaandClarke,1996)andtoobtainthemostreliableconsensusofopinionofagroupofexperts(DalkeyandHelmer,1962).KeydesignelementsoftheDelphiMethodareanonymity,iteration,controlledfeed-backandparticipatingexperts(Geist,2009;RoweandWright1999):

• TheanonymityoftheDelphiallowsallpanelliststoberemovedfrom pressures encountered in a face-to-face interaction. Allratings and comments are submitted anonymously, therefore,memberscanchangetheirmindswithoutfeelingjudgedbyoth-ersinthegroup(Roweetal.,1991).

• Group members, or panellists, generate ideas and commentsabouttheissueorproblemfromindividualbrainstorming.Theresearcher distils those responses and presents them to thepanellistsintheformofasurveyforasecondroundofinput.Then, the results and responses are presented to the groupmembersincondensedformforcomment.Thisprocessisbeingiterateduptofourtimes.

• Controlled feedback occurs between iterations when the re-searcherusesqualitativedata(e.g.comments,reasonsforrat-ings,etc.)asaformofqualitativefeedback.Controlledfeedbackpresentedinanorganizedformatallowspanelliststoread,com-menton,andcritiqueallthefacetsoftheissuevirtuallysimulta-neouslybetweeniterations(Roweetal.,1991).

• Statistical group response consists of quantitative feedback(e.g.mediansandinterquartileranges,ormeansandstandarddeviations)basedonthenumericalratingsofeachitem.Afterthefinaliteration,theideasandopinionsarelistedalongwiththedescriptivestatisticsoftheratings(Roweetal.,1991).

Overthedecades,anumberofvariationsofthemethodhavebeendeveloped, adapting the application in different ways, such as tech-niques to selectparticipants, typesofquestionsemployed, toolsusedfortheanalysisofresponses,andtypeofoutcomesought(Hirschhorn2019). The application possibilities for Delphi processes were also wi-dened throughadvances in ICTsupport tools,allowing forexample toimplementreal-timeDelphisandexperimentationbysecuringtheano-nymityofparticipantsetc.Brady(2015)detailsthattheDelphiMethodhasbeenusedinanarrayofdifferentcontexts,whereexpertknowledgeisneededtoinformdecisionmakingortounderstandaphenomenonin

1 https://www.rand.org/content/dam/rand/pubs/papers/2008/P3558.pdf2 https://www.betterevaluation.org/en/evaluation-options/delphitechnique


TheevaluationwasperformedfromAugust2017untilendofJune2018.Withinthistimeframe,thetworoundsoftheDelphisurveywereoperationalisedfromFebruaryuntilbeginningofMay2018.

SELECTION OF EXPERTS Inordertobenefitfromabroadrangeofexpertassessmentsonthe

supportservicesandgovernanceforHorizon2020inAustria,asampleof190expertswerechosenduetotheirhighknowledgeoftheevaluationsubjectathand.Theyareformedfromthefollowingstakeholdergroups:1)senioruniversityleadership(rectorsandvice-rectors),2)managementofnon-universityresearchorganizations,3)managementofenterprisesthatarehighlyactiveinHorizon2020,4)policymakers,includingdelega-tesandexpertsofAustriatoHorizon2020programmecommitteesandrepresentativesofrelevantministries,5)representativesofnationalandregionalfundingagencies.

Toensureanadequate rangeofopinions, theexpertswereappro-ximatelyequallydistributedacross the five stakeholdergroups. In thefirststage,69expertssharedtheirassessmentandweresubsequentlyinvitedtothesecond-stage.39oftheserespondedtothesecondroundoftheDelphi.

IMPLEMENTATION OF THE DELPHI

TheDelphisurveyswerepartofthefinalphasesoftheevaluation,whenotherformsofdatacollectionandanalysishavehadalreadybeenconcluded.Thus,itwasappliedasamethodofgatheringexpertassess-mentsonspecifichypothesesandconclusionsderivedfromtheevalu-ation inordertofeedintoaforward-lookingdevelopmentofscenariosand recommendations. Five overarching thematic areas were covered,eachwiththeircorrespondinghypothesesandconclusions.Thesetopicsinclude:

1. thequality,speed,andtransparencyofcommunicationandin-formationondevelopmentsinEuropeanR&I,

2. theassumednecessityforstrategicallysupportingcompanies,universitiesandresearchorganizations indeveloping(pro-)ac-tiveparticipationstrategiesforHorizon2020,

3. theincreasingdemandforimprovedstrategicsupportservicesinlightofnewthematicandorganisationalchallengesposedbyHorizonEurope,

4. theassumedimportanceofincreasedstrategicmulti-levelcoor-dinationofstakeholdersforEuropeanpublic-publicandpublic-privatepartnershipinstruments,

5. theexpectedimpactsofthenewmission-orientedapproachinHorizonEuropefornationalR&Ipoliciesandgovernance.

Eachtopicwasintroducedbydescribingitscontextandimportance.Inaddition,likelydemandsplacedonR&Igovernanceandsupportser-vices–basedonexpecteddevelopmentsinAustrianandEuropeanR&Ipolicy–wereshortlymentioned.InthefirststageoftheDelphi,asetofthreetofivehypotheseswereassignedtoeachtopic.Thesehypotheseswerebasedonthefindingsofthepreviousanalyticalevaluationsteps

(Dingesetal.2018).Theevaluationfocusedontheassessmentofsup-portservicesprovidedbytheAustrianResearchPromotionAgency–Di-visionofEuropeanandInternationalProgrammes(FFG-EIP),whichisthenationalcontactpointforHorizon2020onbehalfoftheAustrianFederalMinistryofEducation,ScienceandResearch3.FFG-EIPpursuesthefol-lowingobjectives:

• tosupportsuccessfulparticipationinHorizon2020bymeansofinformationandadvice,

• toprovidesystem-orientatedsupportforAustrianR&Iorganisa-tions,

• tobeanexpertpartnerforEuropeanR&IprogrammesandERAdevelopments,and

• to provide analysis on participation and to provide R&I policysupport.

AgainsttheseobjectivesofFFG-EIP,theevaluationcommissionedbytheministryfocusedonthefollowingareas:

• Generalevaluationoftheimplementationofthesupportstruc-turesforHorizon2020:Areorientationandimplementationofavailable formats and support services - within the allocatedbudget-suitableandappropriatelyimplementedtoachievethedesiredeffectsofmeasuresregardingoutputasefficientlyandeffectivelyaspossible?

• Evaluation of specific services: By respecting observable andanticipated developments in the R&I domain (including R&Ipolicy),are theservice formatsadequateandwhich improve-mentsshouldbemade?

• Actionrequiredandoptionsforaction:Whichwhitespotscanbe encountered and which new and better approaches andtools should be established? According to which principlesshouldtheseessentiallybedesigned?

Whilehavingapredominantlysummativeandex-postorientedcha-racter,theevaluationquestionsemphasizedthatalsoanticipateddeve-lopmentsintheR&Idomainshouldbetakenintoaccountandthattheadequacyofsupportformatsneedstobeassessedagainstcurrentandfuturedevelopments in theEuropeanandAustrianresearchand inno-vationssystem.Futuredevelopments, forexamplerelatedto theEuro-peanR&IpolicydomainandinparticulartothedevelopmentofthenewFramework Programme for R&I, Horizon Europe, as well as the futureshapingoftheEuropeanResearchArea,butalsotothedevelopmentofstrategiccapacitiesofR&Iactors,shouldbeconsidered.

Theevaluationapproachwassetupagainstanimpactmodel,whichlinkedactionsofFFG-EIPwithdesiredoutcomesandimpacts.Foranswe-ring theevaluation questions, amixedmethodevaluation designwaschosen. Itallowedfortriangulationofquantitativeandqualitativeme-thods. Key components included online surveys with key stakeholdergroups,interviewswithabroadrangeofR&Ipolicyactorsandstakehol-ders,focusgroupinterviews,theDelphiMethod,validationworkshops,andcriticalcommentingthroughanexternaladvisoryboard.

Withinthisoveralldesign,thetwo-stageonlineDelphiMethodwaschosenasakeycomponent inthevalidationofevaluationresultsandthedevelopmentofscenariosandpolicyrecommendationsbyprovidingconvergingexpertassessmentsonhypothesesandpreliminaryconclusi-onsduringthefinalphaseoftheevaluation.

3 ThisisthecurrentnameoftheformerAustrianFederalMinistryofScience,ResearchandEconomy.


andformulatedaspreliminaryconclusionsorrecommendationstoR&Ipolicymakers.Theparticipatingexpertswereaskedtorateeachquanti-tativelyusingafive-pointLikertscalefrom“Yes,Ifullyagree”to“No,Istronglydisagree”.Additionally,expertswereaskedtogiveaqualitative

statement explaining their rating for each. Table 1 Example of Delphistage1questionsprovidesanexampleofhowatopicwaspresented,aswellashowbothopen-endedandclosedquestionswereutilizedintheDelphi.

Topic: Mission-orientation and preparation for Horizon Europe

Hypothesis:

HorizonEuropewillmostlikelybecharacterizedbyastrongermission-orientationofR&Ipolicy.Thus,thenewframeworkprogrammewillhaveasetofpre-definedcross-thematicandcross-disciplinaryR&Igoalsforfunding.Thesegoalsshouldhavehighsocietalimpacts(e.g.,attheinterfaceofenergy,environment,mobility,health,security,etc.)thatshouldbemeasurablyachievedinarelativelyshorttimeframeandcarrywiththemsignificantvalueforsociety.Thisnewmission-orientedapproachtoR&Ipolicydemands:i)acommonunderstandingofspecificjointgoals,ii)astrongalignmentofEuropeanandnationalR&Ipolicies,iii)stronggovernanceandstrategicmissionmanagementonprogrammeandprojectlevels.Therefore,mission-orientationimposeshighdemandsontheformulation,implementation,andsupportofR&Ipolicy.

Please assess the following statements:

Statement 1: Innovation is not sufficiently important in the European Research Area.

¡ 1–No,Istronglydisagree¡ 2¡ 3¡ 4¡ 5–Yes,Ifullyagree

Please explain your answer:

Statement 2: In case there is a stronger mission-orientation on European level, Austria needs a national mission strategy, i.e., a with national stakeholders coordinated common approach.



Statement 3: With a stronger mission-orientation on European level, Austrian R&I funding needs to be adjusted to align with European missions.



Statement 4: With a stronger mission-orientation on European level, the Austrian Research Promotion Agency needs to improve its support services in information provision, community management, and coordination.



Table 1ExampleofDelphistage1questions


POLICY PATHWAYS FOR AUSTRIA IN VIEW OF HORIZON EUROPE

BasedontheresultsoftheDelphisurveythreealternativepolicypa-thways for the future orientation of Austrian governance and supportservicesforHorizonEuropeweresynthesizedandfinallydiscussedwithR&Ipolicy-makersinAustria.Thesepathwayswereinparticulardeve-lopedinordernottolimitthefurtherdesignoftheroles,functionsandtasks of the FFG-EIP to rectify existing deficiencies or just to improvethemagainstthebackdropofcurrenttasksandchallenges,buttotakeinto account future challenges stemming from changing frameworkconditions suchas theEC’sproposal for the9thEuropeanFrameworkProgrammeforResearchandInnovation(“HorizonEurope”)(seeDingesetal,2018forfurtherdetails).

Ourevaluative findingsabout theexpectationsof theAustrianR&Icommunityclearlyshowedthatchangeswillbenecessaryingovernanceat national level and also at the level of the interface with Europeanpolicy,aswellas inthesupportservicesfortheR&Icommunity. Itbe-camealsoclearthattheextentofthesechangesdependsonAustria’sintendedpositioningregardingEuropeanR&Ipolicy.Thethreepathwaysreflectoptionsforactionatnationallevelandtherespectiveconsequen-cesthatthesewouldhaveforthesupportstructures.Theywereframedas“foodforthought”forfurtherdiscussioninAustria,notleast,alsowithregardtothedevelopmentofanewR&Istrategy.

Thethreefollowingscenarios/policypathwayswereconstructed:1. “Enhancementincontinuity”scenario:Incrementalchange2. “Smartandproactivealignment”scenario:R&Ipolicyasacata-

lystintheEuropeanmultilevelsystem3. “Distributedempowerment”scenario:Strengtheningandcross-

linkingtheR&IcommunityThecentralideaofthefirstscenarioisthatthewell-establishedand

largelywell-functioningstatusquoismaintainedandincrementallyad-aptedtotherequirementsstipulatedbythenewtoolsandinitiativesatEuropean level,butwithoutsignificantchangeshaving tobemade inAustria,e.g.intheareaofgovernance.Consequently,elementsofnatio-nalstrategyplanningandprioritisation(e.g.withregardtoAustrianpar-ticipationinstrategicpartnerships)isnegligibleorlimitedtoindividualpreferencesofministries.

Inthesecondscenario,Austrianpolicydevelopsitsroletothatofa(pro)activecontributortoEuropeanR&Ipolicy,andtomakemoretarge-tedandeffectiveuseoftheopportunitiesresultingfromthisforAustria(‘smartalignment’).TobebetterabletopositioningAustriaasanintegralelementofthemultilevelinnovationecosysteminEurope,Austriawouldneed to implement a range of changes within the national system toachievemore intensiveandmore influentialcooperation in thedesignandsubsequentlyintheuseofEuropeanR&Ipolicy.SpecifyingsuchaconceptforaconsistentAustrianpositioningwithintheoverallEuropeanR&IpolicywouldneedtobeacentralelementwithintheforthcomingAustrianR&Istrategy.

The third scenario sees the extension of participation and involve-mentinEuropeanR&Ipolicy,particularlybymeansofempoweringthestrategy and networking capabilities of R&I actors themselves. Thisscenarioassumesthatorganisationshaveanindependentdevelopmentstrategyandabilitytoself-organisationinstrongnetworks.However,forthispolicy-pathwayalsoappropriateresourcesandcapacitiesarerequi-

ANALYSIS OF RESULTS OF THE FIRST STAGE

Overall,expertsagreedmoderatelytostronglywiththehypothesesofthefirststage.Additionally,theuseoffreetextanswersforeachstate-mentunderscrutinyallowedthemtoelaborateontheirquantitativeas-sessment. This feedback provided valuable input and explanations for(dis-)agreementandhighlightedideasforareasofimprovementinR&Ipolicydesign.Thus, itcanbearguedthatthefirststageoftheDelphisurveycanbecharacterizedasservingtwokeyfunctions:i)validationofevaluationfindingsandpreliminaryconclusions,andii)scopingforward-lookingoptionsforR&IpolicydesigninresponsetoexpectedchangesatEuropeanandnationalR&Ipolicylevel.

Theresultsof the firststagewerecompiled,analysed,synthesisedandpresentedtotheexpertgroupduringthesecondDelphistage:First,the quantitative ratings were calculated for each question and sum-marized inabarchart.Thenthe free textanswerswereanalysedandsummarizedand,ifrelevantdifferencesbecameapparent,differentiatedbystakeholdergroupings.Theaimwastosynthesizeallanswersintoa‘story’topresenttherangeofopinions,ifandwhythehypothesiswas(in-)correct,andwhetherany importantaspectsweremissing.The re-sultsofboththequantitativeandqualitativeanalysiswerethenusedtore-formulatehypothesesintoconclusionsbytakingintoaccountinputsandideasraisedbytheexperts.

THE SECOND STAGE OF THE DELPHI

InthesecondroundoftheDelphisurvey,therespondentsofthefirstroundwereconfrontedwiththesummativeresultsofthefirstroundintheformsofagraphicalrepresentationofquantitativeassessments,thesummariesofopen-endedanswers,aswellas re-formulatedconclusi-ons,sometimescomplementedbyrecommendations.

Theformulationofnewquestionscloselyresembledthoseofthefirststage by making use of both quantitative and qualitative assessmentoptions: For each conclusion, participants were asked to give again aquantitativeassessmentonafive-pointLikertscaleandwereinvitedtotaketheopportunitytocomment.

SYNTHESIS OF RESULTS

Theresultsofthesecondstageshowedthatexpertopinionsconver-gedtoacertaindegree.Mostoftheresponsesdisplayedhighagreementwithourconclusions.Theanalysisandsynthesisofresultsfollowedthesame two-stepmethodof summarizingquantitative results,draftingasummarized overview of qualitative responses, and, if necessary, re-formulatingconclusionswhileincorporatingadditionalpointsraisedbysurveyedexperts.

Asa resultof the two-stageprocess, theDelphiproducedasetofvalidated conclusions that took into account anticipated demands onchangesinpolicyorientationandgovernanceassociatedwithfuturede-velopmentsatthelevelofnationalandEuropeanR&Ipolicy.TheDelphisurveyshowedinparticular,thatthefuturerole,functionsandtasksofFFG-EIPdonotonlydependon the frameworkprogramme - theyalsodependonAustria’sintendedpositioningvis-a-visEuropeanR&Ipolicy.


Despite thechallengeofstatisticalmortality, theDelphiMethod isparticularly useful in situations where a broad range of stakeholdersmightbeaffecteddifferentlyorplacedifferentdemandsonR&Ipolicydesigninresponsetoexpectedchanges.Itisastructuredmeansofinter-actioninanevaluationprocess,whichalsoallowstopresentanddiscusscorefindingsofanevaluationwithabroadercommunityofstakeholders.

Inamoregeneralperspective,theDelphiMethodcanbeseenasastakeholderengagingmethod,whichallowsto1)putstrongeremphasisonchangingframeworkconditionsinthesynthesisofevaluationresults,2)facilitatestoincorporateex-postfindingswithamoreforwardlookingperspective,and3)providesbetterlegitimationofrecommendations.

Compared with large, iterative stakeholder workshops, the DelphiMethodinR&Ipolicyevaluationfacilitatestheformulationoftargeted,forward-lookingpolicyoptionsandrecommendationsthatsynthesizethecollectiveexpertiseandknowledgeavailableinamoretime-andcost-efficientmanner.Alsofeedbackfrommoreremoterespondents(intermsofgeography)canbeincluded,whowouldusuallyrathernotcometoaworkshoporganisedinthecapitalcityVienna.TheresultsoftheDelphisurveycanbefurtherfedintothediscussionprocesswiththecontractorandanumberofcorestakeholderswheretheycancontributetoincreaseacceptanceofevaluationresultsandincreaseunderstandingforpossiblepolicyoptions.

REFERENCESAdler, M., and Ziglio, E. (Eds.). (1996).Gazing intotheoracle.Bristol,PA:Kingsley.

Brady, S. R.(2015).UtilizingandAdaptingtheDelphiMethodforUseinQualitativeResearch.https://doi.org/10.1177/1609406915621381

Chen, H-T(1996).Acomprehensivetypologyofprogramevaluation.Eva-luationPractice,Volume:17issue:2,page(s):121-130.Issuepublished:June1,1996;https://doi.org/10.1177/109821409601700204

Cuhls, K., Blind, K. and Grupp, H. (2002). InnovationsforourFuture.Delphi`98:NewForesightonScienceandTechnology.Series:Technolo-gy,InnovationandPolicy(ISI).Physica-Verlag.

Dalkey, N. and Helmer, O. (1962).Anexperimentalapplicationof theDelphiMethodtotheuseofexperts.PreparedfortheUSAirForcePro-jectRand.Manuscript.RANDCooperation.

Dinges, M. et al.(2018).EvaluierungderUmsetzungvonH2020,EURE-KA,COSME,EENundERAinÖsterreich.10.22163/fteval.2018.291.

Edler, J., Berger, M., Dinges, M. and Gök, A.(2012).Thepracticeofeva-luationininnovationpolicyinEurope.ResearchEvaluation,21(3),167-182.

Geist, M. (2009).UsingtheDelphiMethodtoengagestakeholders:Acomparisonoftwostudies.Evaluationandprogramplanning33(2):147-54.DOI:10.1016/j.evalprogplan.2009.06.006

Gupta, U. G., and Clarke, R. E.(1967).TheoryandapplicationsoftheDelphitechnique:Abibliography(1975–1994).TechnologicalForecastingandSocialChange,Volume53,Issue2,October1996,Pages185-211.

red, whose mobilisation needs to be supported by R&I policy (e.g. bymeansoffinancialincentives,networkingactivities,informationsharing,etc.).TheexperiencesofotherEuropeancountriesshowthattherecanbelosersaswellaswinnersinthisempowermentprocess.

DISCUSSION AND CONCLUSION: THE UTILITY OF THE DELPHI METHOD IN R&I POLICY EVALUATION

AsdemonstratedbythecaseoftheEvaluationoftheSupportStruc-turesforHorizon2020,EUREKA,COSME,EENandERAinAustria, theDelphi Method can be a useful tool for supporting the formulation ofpolicyrecommendationsandpathwaysthatconsiderchallengesandpo-tentialsforre-orientationofR&Ipoliciesthatareassociatedwithfuturedevelopments.

ThecaserevealsthattheimplementationofaDelphiinevaluationofR&Ipolicymustbewell-timedintheoverallresearchdesign,andbestappliedinthefinalphasesofanevaluationwiththeaimtoproduceasetofvalidated,future-orientedconclusionsandrecommendations.

ThecombinationofbothaquantitativeandaqualitativeelementineachquestionallowstheDelphiMethodtobeparticularlyusefulforthevalidationofevaluationfindingswhileatthesametimeservingtogatherexpertideasonimprovementsinR&Ipolicydesign.

Specialcareneedstobetakenintheselectionofexpertstoensurethereflectionofabroadrangeofopinionandexpertise,asthismighthaveahighimpactonthequalityofresults.Duetotheeffortsrequiredfortheanalysisofqualitativedata,thesampleshouldbelimitedinsizebutincludeallrelevantexpertsandstakeholdergroupsinanappropriatedistribution. The relativelyhigh statisticalmortality in runningat leasttworoundsofDelphiremainsaproblematicissueandneedstobeconsi-deredrespectively.Inourcasethestatisticalmortalitywasintotalalmost80%.Thisresultedinanabove-average“survival”ofstakeholdergroupsthataremoreusedtoformulateandtotakepositions(i.e.policy-makersandrepresentativesoflargecompaniesandinterestgroups),whichcanleadtoadistortionofperceptions.

To reduce statistical mortality, the effort for the addressed expertsshouldbekeptaslimitedaspossiblewithoutdestroyingtheoverallnar-rativeof the formulatedhypothesisandthequestionsderivedthereof.OtherwisetheDelphiexercisewouldrunrisktotransformintoaseriesofhardlyconnectedandde-contextualizedsurveys.

Thus, itmaybewouldhavebeenbetterinourspecificcasetocon-fronttheaddressedexpertsfromtheoutsetwithacoupleofscenarios/policypathwaystowhichthehypothesisshouldhaveexplicitlyreferredto.Suchascenario-basedapproach,whichisbrokendowntothelevelof specificquestions,wouldprobablyhaveprovidedmoreclearnarra-tivesandorientationandkepttheattentionoftheexpertsforalongerduration,thusreducingstatisticalmortality.Theapproachtakenbyus,however,wasinthereversedirection:thealternativefuturepolicypa-thwaysfortheAustrianR&IpolicytoapproachthechallengesofthenextFrameworkProgramme forR&Iwere constructedafter theDelphi andnotusedasinputtotheDelphialthoughideasofsuchpolicypathwayswere implicitly already available, but neither transparently formulatednorexplicitlyreferredto.


Havas, A., Schartinger, D. and Weber, M.(2010).TheImpactofForesightonInnovationPolicy-Making:RecentExperiencesandFuturePerspecti-ves.ResearchEvaluation,19(2):91-104.DOI:10.3152/095820210X510133

Helmer, O. (1967). Analysis of the Future. The Delphi Method. Ma-nuscript.TheRANDCorporation.

Hirschhorn, F. (2019). Reflections on the application of the DelphiMethod: lessons from a case in public transport research. Interna-tional Journal of Social Research Methodology, 22:3, 309-322, DOI:10.1080/13645579.2018.1543841.

Linstone, H.A. and Turoff, M. (1975).TheDelphiMethod:TechniquesandApplications,Addison-WesleyPubl.,Reading/Mass.

Nieminen, M., and Hyytinen, K.(2015).Future-orientedimpactassess-ment:Supportingstrategicdecision-making incomplexsocio-technicalenvironments.Evaluation,21(4),448-461.

Patton, M. Q.(1996).Aworldlargerthanformativeandsummative.Eva-luationPractice,Volume:17issue:2,page(s):131-144.Issuepublished:June1,1996;https://doi.org/10.1177/109821409601700205

Rowe, G. and Wright, G. (1999).TheDelphitechniqueasaforecastingtool:issuesandanalysis.InternationalJournalofForecasting,15(1999)353–375.

Rowe, G.,Wright, G. and Bolger, F. (1991).TheDelphitechnique:are-evaluationofresearchandtheory.TechnologicalForecastingandSocialChange,39(3),235-251.

Weber et al. (2018).TransitionsontheHorizon:PerspectivesfortheEu-ropeanUnion’sfutureresearchandinnovationpolicies.FinalreportfromprojectBOHEMIA-Beyondthehorizon:ForesightinsupportoftheEU’sfutureresearchandinnovationpolicy.Luxembourg:PublicationsOfficeoftheEuropeanUnion.doi:10.2777/493572.

AUTHORSMICHAEL DINGESAustrian Institute of TechnologyGiefinggasse4,1210WienE:[email protected]

ANNA WANGAustrian Institute of TechnologyGiefinggasse4,1210WienE:[email protected]

KLAUS SCHUCHCentre for Social InnovationLinkeWienzeile246,1150ViennaE:[email protected]


interventions.Convergentdrivers(e.g.pro-environmentalvalues)stimu-latethemarketuptakeofthetechnology,andsimultaneouslyconstrainreboundeffects.Divergentdrivers(e.g. income)promoteadoption,butsetthestageforensuingreboundeffects.Preventingindirectreboundisfoundmostcriticaltoachieveenergysavings.Insteadofstand-alonemeasures, policy mixes should address multiple impact paths, e.g. bycombining fiscal instruments, awareness building and training of keymarketactors.

EINLEITUNGUmdieambitioniertenKlimazielezuerreichen,die2015beiderCOP21

in Paris beschlossen wurden, setzen zahlreiche Länder auf innovative,energieeffizienteTechnologien.DiebreiteMarkteinführungvonE-AutosoderdieSanierungdesGebäudebestandsdurchWärmedämmungsollenEnergienachfrageundTreibhausgasemissionensenken.DiesepolitischeStrategieisterfolgreich,wenneinerseitsenergieeffizienteTechnologienschnell den Massenmarkt durchdringen, und andererseits technischeEffizienzpotenzialenichtdurchveränderteNutzungkompensiertwerden.DervorliegendeArtikelargumentiert,dassdiesebeidenProzesse,Adop-tionundRebound-EffektdurchveränderteNutzung,vondenselbenFak-torenbeeinflusstwerden.KlimapolitischeInstrumente,mitdemZieldieAdoptionsratezusteigern,legenoftdenGrundsteinfüreinenspäterenRebound-Effekt.BeispielsweisewirdderKaufeinesE-AutosdurchdieAussichtaufreservierteE-ParkplätzeinInnenstädtenattraktiver(Holts-mart&Skonhoft2014).DieguteParkplatzverfügbarkeitlegtesdannaberdenNutzerInnennahe,dasE-AutoauchaufWegenzuverwenden,diefrüher mit dem Fahrrad oder mit öffentlichen Verkehrsmitteln zurück-gelegtwurden.GebäudesanierungwirdmitderAussichtaufgeringereHeizkostenbeworben.JemehrdieseMotivationimVordergrundsteht,destostärkerwirddenBewohnerInnennahegelegt,sichmitdembilli-gerenHeizsystemeinekomfortablereRaumtemperaturzugönnen(delaRueCanetal.2015,FontVivancoetal.2016).

ZUSAMMENFASSUNG

Politikstrategien zur kohlenstoffarmen Transformation treiben diebreite Markteinführung energieeffizienter Technologien voran,übersehenaberoftdiedamitverbundenenReboundeffekte.Der

BeitragillustriertgrundlegendeKonfliktezwischenTechnologieadoptionund –nutzung an den Beispielen E-Autos und Gebäudesanierung. Sys-temmodelleführendieErgebnissevondreikomplementärenForschungs-methoden zusammen: fuzzy cognitive mapping von Expertenwissen,Haushaltsbefragung und makroökonomische Analyse. Indem Politikim-pulse durch das Wirkungsgeflecht verschiedener Einflussfaktoren ver-folgtwerden,könnenHebelelementefürgezieltepolitischeMaßnahmenbestimmt werden. Konvergente Einflussfaktoren (z.B. Umweltwerte)begünstigen den Markteintritt der Technologie und schwächen gleich-zeitigReboundeffekteab.DivergenteEinflussfaktoren (z.B.Einkommen)beschleunigendieTechnologieadoption,ermöglichenaberauchspäterenRebound.DieVermeidungvonindirektemReboundistkritischfürdieRe-alisierung von CO2-Einsparungen. Anstelle von Einzelmaßnahmen sindMaßnahmenbündelzuempfehlen,diemehrereWirkungskanäleanspre-chen,etwadurcheineKombinationvon fiskalpolitischen Instrumenten,bewusstseinsbildendenKampagnenundSchulungenvonMarktakteuren.

ABSTRACTLowcarbontransformationpoliciesadvocatethemarketdiffusionof

energyefficienttechnologies,buttendtooverlookassociatedreboundeffects. For the case of e-cars and building insulation in Austria weaddressinherentconflictsbetweentechnologyadoptionandusage.Sys-temmodelsintegrateresultsofthreecomplementaryresearchmethods:fuzzy cognitive mapping of expert knowledge, household survey andmacroeconomic analysis. By tracing policy impulses through the webofinterlinkeddrivers,thesystemmodelsillustrateleveragefortargeted

VERONIKAKULMER,SEBASTIANSEEBAUERUNDCLAUDIAFRUHMANNDOI:10.22163/fteval.2020.470

WIEKÖNNENWIDERSPRÜCHEZWISCHENMARKTDURCHDRINGUNGUNDREBOUND-VERMEIDUNGGELÖSTWERDEN?SYSTEMANALYSE KONVERGENTER UND DIVERGENTER EINFLUSSFAKTOREN AN DEN BEISPIELEN E-AUTO UND GEBÄUDESANIERUNG


METHODEDasSystemmodell (Walker & vanDaalen2013) integriert drei kom-

plementäreForschungsmethodendiejeweilseinenAusschnittdesSpan-nungsfeldesAdoptionundNutzungbeleuchten:(i)DersemiquantitativeAnsatzdesFuzzyCognitiveMappingübersetztExpertenwissenüberkom-plexerealeSystemeineinfacheUrsache-WirkungDiagramme(Olazabal2016). Fuzzy Cognitive Maps bestehen aus Knotenpunkten, die durchRichtungspfeileverbundensind.DiesenRichtungspfeilenwerden„fuzzyvalues“(unscharfeWerte)zugewiesen,welchedieEinflussstärkedarstel-len(Özesmietal.2004,Papageorgiouetal.2012).DieDiagrammewurdenanhandvon12ExpertInneninterviewsabgeleitet,welcheEinflussfaktorenund Akteure für beide Anwendungsbeispiele identifizierten und derenkausaleZusammenhängegewichteten(Fruhmannetal.2017).

(ii)StrukturgleichungsmodellierungisteineMethodeausdermultiva-riatenStatistikzurempirischenAbschätzungeineskausalenNetzwerksvonMotiven,diegemeinsamzueinembestimmtenVerbraucherverhal-tenbeitragen(Byrne2010).DieMotiveundihreNetzwerkzusammenhän-gewerdenausTheorienzuUmweltverhaltenoderzurTechnologieakzep-tanzabgeleitet(Venkateshetal.2003,Stegetal.2013),statistischaufModellpassunggetestetundaufdieStärkeihrergegenseitigenEinflüssegeschätzt.WirverwendenUmfragedatenvon575E-Auto-Besitzernund1455 Personen, die eine Gebäudesanierung durchgeführt haben, umRegressionskoeffizientenfürdieAuswirkungenvonUmweltwerten,sozi-alenNormenundanderenpsychologischenFaktorenaufdasRebound-verhaltenzuerhalten(Seebauer2019).

(iii)AngewandteallgemeineGleichgewichtsmodelle (computablege-neralequilibrium,CGE)berechnen,wiesicheingezielterWirtschaftsim-puls über Wirtschaftssektoren ausbreitet und zu endogenen Preis-, Ein-kommens-undOutput-Effektenführt(Allanetal.2007,Leccaetal.2014,Broberg et al. 2015). Ein auf die österreichische Wirtschaft kalibriertesCGE-Modellschätzt,wieeine10%igeVerbesserungderEnergieeffizienzinderprivatenVerkehrs-undEnergienachfragezuprozentualenVeränderun-gendesPreisesfürfossileBrennstoffe,derNachfragenachfossilenBrenn-stoffen,desBruttoinlandsprodukts(BIP)etc.führt.DesWeiterenwirddieHöhe des direkten, indirekten und gesamtwirtschaftlichen Rebound Ef-fektsbestimmt,wenndietatsächlicheVeränderungdesEnergieverbrauchsschwächerausgeprägt ist alsderanfängliche10% -Impuls (KulmerandSeebauer2019).AusPlatzgründenstelltdieserArtikeldieübergreifendeDynamikzwischenAdoption,ReboundunddengemeinsamenEinflussfak-torenindenMittelpunkt.DetailszudeneinzelnenForschungsmethodensindden jeweiligenPublikationenzuentnehmen (KulmerundSeebauer2019,Seebauer2018,Fruhmannetal.2017).DieAnalysenbeziehensichaufdieFallbeispieleE-AutoundGebäudesanierunginÖsterreich.

DieEntwicklungundAnwendungdesSystemmodellserfolgt infünfSchritten:Die(1)Identifikationbestimmtausjedemderdrei(semi)quan-titativenMethodenzugängekritischeElemente,welchedieAdoptionunddie Nutzung von Effizienztechnologien wesentlich beeinflussen. JederMethodenzugang beschreibt die Beziehungen zwischen kritischen Ele-mentenhinsichtlichihrerKausalrichtungundEinflussstärke.DerKlarheithalberwerdenElementemitgeringemoderteilweisemEinflusswegge-lassen,wieetwavonExpertenalsvernachlässigbareingeschätzteKausal-zusammenhänge und Regressionskoeffizienten mit einem statistischenSignifikanzniveauvonp>0,05;derVerbrauchvonNicht-Energie-GüternindenHaushalten ist zumgrößtenTeileinkommensabhängigundwirdimzugrundeliegendenCGE-Modellüberden indirektenReboundEffektabgedeckt.

AdoptionundNutzungsinddurchmehrereFacettenmiteinanderver-knüpft.ZumZeitpunktderKaufentscheidungfüreineenergieeffizienteTechnologieantizipiertmanbereits,wiedieTechnologievoraussichtlichgenutztwird–wiegutmandamitseinealltäglichenBedürfnissebefrie-digenkann,wannsichdieInvestitionskostenamortisieren,wiehochdielaufenden Kosten sind, etc. (Wolf &Seebauer 2014).Dadie effizienteTechnologie die Energiedienstleistung mit weniger Energieeinsatz undfolglichgeringerenKostenbereitstellt,steigteinerseitsdieNutzung(di-rekterRebound-Effekt;Sorrell2007,Santarius2014).Andererseitssteigtdurch die Kosteneinsparung das verfügbare Einkommen, welches fürandere energieverbrauchende Güter und Dienstleistungen ausgebenwerden kann (indirekter Rebound-Effekt; Azevedo 2014, Thomas undAzevedo2013).DieseAnpassungsprozessevonAngebotundNachfragesummieren sich über alle Wirtschaftssektoren (gesamtwirtschaftlicherRebound-Effekt;Allenetal.2007,Turner2013,Gillinghametal.2016).Rebound-EffekteaufNutzerInnenebeneentstehennichtnurdurchPreis-anreize,sondernauchdurchMoralLicensing:MitderAdoptionderef-fizienten Technologie hat man das Gefühl, bereits einen ökologischenBeitraggeleistetzuhaben.NundarfmansichohneschlechtesGewisseneinenMehrverbrauchinanderenKonsumbereichengönnen(Friedrichs-meier&Matthies2015).

DieErkenntnis,dasserwarteteEmissionseinsparungendurchener-gieeffiziente Technologien oft nicht vollständig realisiert werden, wirdvermehrtinderpolitischenDiskussionaufgegriffen(FontVivancoetal.2016).DirekteRebound-EffekteinWohnenundVerkehrwerdenauf10-30% der erwarteten Einsparungen geschätzt (Sorrell 2007). Die Band-breitedergeschätztenindirektenundgesamtwirtschaftlichenRebound-Effekteliegtzwischen20%und300%(Allanetal.2007,Guerra&Sancho2010, Turner 2009). Angesichts dieser Höhe von Rebound-EffektenbestehtdringenderBedarf,politischeHandlungsoptionenzurRebound-Präventionzuentwickeln.

SowohlAdoptionalsauch(veränderte)Nutzungfindenimselbenso-ziotechnischenRegime, in InteraktionmitdengleichenMarktakteurenundbeeinflusstvondenselbenPersonenmerkmalenstatt (Geels2004).Anschaffungs- und Betriebskosten, vorhandene Infrastruktur und kon-kurrierendeProdukteamMarkt sind sowohl fürdieKaufentscheidungalsauchfürdielaufendeNutzungrelevant(Boulangeretal.2013).Sub-ventionenundVerordnungensowieKommunikationindenMassenme-dienspielenebenfallseinedoppelteRolle(Stegetal.2015).SowohldieKaufentscheidungalsauchdiealltäglicheNutzungsindabhängigvonEinkommen, Umweltwerten oder Wissensstand der KonsumentInnen(Petersetal.2012).EinPolitikinstrumentdasbeispielsweisebeiderIn-frastrukturansetztoderAnreizefüreinzelneMarktakteurewiez.B.Ein-zelhändlerInnen und HandwerkerInnen bereitstellt, wird daher sowohlAdoptionalsauchReboundbeeinflussen.

BisjetztwurdenEinflussfaktorenaufAdoptionundReboundmitver-schiedenendisziplinärenZugängenuntersucht.Eine IntegrationdieserZugänge istoft schwierig,da sie jeweilsnurAusschnittederGesamt-problematikbeleuchtensowieunterschiedlicheMethodenundMaßein-heitenverwenden.WirstellenhiereinSystemmodellvor,welchesdasWirkungsgeflecht zwischen Adoption, Rebound und einer Palette angemeinsamenEinflussfaktorenkompaktveranschaulicht.Notwendiger-weiseistdiesesSystemmodelleineVereinfachunggegenüberfokussier-ten, disziplinären Zugängen, zeigt aber übergreifende Dynamiken auf.EntlangderWirkungspfadewirdsichtbar,wiesicheinepolitischeInter-ventionimGeflechtderEinflussfaktorenfortpflanztundmöglicherweiseunbeabsichtigteoderkontraproduktiveEffekteauslöst.


Elemente, die in den Systemmodellen beider Fallbeispiele vorkommen

Element Definition

Kauf/InvestitionE-Auto:AnzahlanE-AutoKäufen;AnteilvonE-AutosanZulassungszahlenSanierung:AnzahlanSanierungen;AnzahlanFörderansuchenhinsichtlichteilweiseroderumfassenderSanierung

DirekterReboundNachAdoptionderenergieeffizientenTechnologiesteigtdieNachfragenachderjeweiligenEnergiedienstleistungan

IndirekterReboundAufgrundfreigewordenenEinkommensoderMoralLicensingwerdenandereEnergiedienstleistungenundGütervermehrtnachgefragt

GesamtwirtschaftlicherRebound ProduktionundNachfrageverlagernsichinenergie-undCO2-intensivereSektoren

Anschaffungskosten/AusgabenE-Auto:AnschaffungskostenSanierung:AusgabenjenachIntensitätundQualitätderSanierung

BIP-BruttoinlandsproduktBruttowertschöpfungderVolkswirtschaftzuzüglichdesSaldosvonGütersteuernundGütersubventionen

EinsparungCO2-Emissionen EinsparungangesamtennationalenTreibhausgasemissionenüberalleWirtschaftssektoren

MassenmedienKommunizierteProduktinformationenüberdieTechnologie,CO2-Bilanz,Nachhaltigkeit,VermittlungderVorteilediverserEnergieeffizienzmaßnahmen

SozialeNorm ErwartungendessozialenNetzwerks,obmansichdieenergieeffizienteTechnologieanschaffensoll

Umweltwerte PersönlicheÜberzeugung,dassmaneinenBeitragzumUmweltschutzleistenwill

VariableKostenE-Auto:Kostenprokm,sowohlmonetärealsauchBequemlichkeits-/ZeitkostenSanierung:Kostenprobehaglichbeheiztenm²WohnflächenachderSanierung

VerfügbaresEinkommenZurVerfügungstehendesHaushaltsbudget;KonsummöglichkeitenwerdenbiszumErreichenderpersönlichenSparquoteausgeschöpft

WissenüberProduktmerkmaleE-Auto:WissenüberReichweite,InfoausTypenschein,CO2Emissionenprokm,etc.Sanierung:WissenüberSanierungsmöglichkeiten,Dämmmaterialien,Technologien,etc.

WohlfahrtNutzenallerHaushalteinderVolkswirtschaft,gemessenalsUmfangderKonsummöglichkeitenbeschränktdurchdasverfügbareEinkommen

Zusätzliche Elemente im Systemmodell E-Auto

Element Definition

Angebotsqualität:AlternativenzuMIV LiniennetzundFahrplandichtedesöffentlichenVerkehrs,Radwegenetz

AutohändlerInnenKommunizierenProduktinformationen,Kosten,Verbrauchetc.;durchVertrauensverhältnissindAutohändlerInneneineglaubwürdigeInformationsquelle

LadeinfrastrukturAngebotanöffentlichzugänglichenLadestationen,derMöglichkeitdasE-AutozuHause,amArbeitsplatzoderwährendFreizeitaktivitätenzuladen,dasAngebotanSchnellladestationen,etc.

ProduktpaletteE-Auto AngebotsfülleanverschiedenenE-AutoModellen/E-AutoKlassen

VorzeigeprojekteE-Mobilitäts-ModellregionenoderE-CarSharingModellealsKommunikationskanalzurVerbreitungvonProduktinformationen;alsPlattformenzumAusprobierenundTestenvonE-Autos

Zusätzliche Elemente im Systemmodell Gebäudesanierung

Element Definition

EinwandfreietechnischeUmsetzungUmsetzungohnetechnische/baulicheMängel,IntegrationundrichtigeDimensionierungvonDämmelementeninnerhalbdesGebäudes,VoreinstellungenvonHeizsystemen,etc.

Energiearmut VorderSanierungkonntemanessichnichtleistendieWohnungangemessenwarmzuhalten

EnergieberatungKommunikationvonProduktinformationenüberGebäudedämmung,DämmmaterialienundTechnologiensowietechnologiegerechteNutzung

GelegenheitsfensterdurchLebensdauervonaltenTechnologien

ZeitlicheNähezumEndederLebensdauersowieDringlichkeitderErneuerungvonGebäudeelementenwiez.B.Heizung,Fenster

Gewohnheiten AutomatisiertesBeibehaltenvonAlltagsroutinen

Installateure&BauunternehmenVerantwortlichfürPlanung,UmsetzungvonSanierungen;agierenüberBaumessen,Ausstellungen,etc.;kommunizierenwichtigeProduktinformationen(Kosten,Testberichte,etc.).

KomplexitätderAntragsstellung(Subventionen)NotwendigeSchritteumSubventionenzuerhalten,AnzahlaninvolviertenStellenundAkteurenbiszurFörderzusage(z.B.Banken,BehördenaufGemeinde-/Landes-/Bundesebene)

WissenüberVerwendungderTechnologie WissenüberrichtigesHeizverhaltenundLüften

Tabelle 1:ListederElementejeSystemmodell


Die(4)IntegrationerstelltdaseigentlicheSystemmodell.DieAbfolgeAdoption, Nutzung (betrachtet als direkter und indirekter Rebound-Ef-fekt)undderausderNutzungresultierendekumulierteEffekt(gesamt-wirtschaftlicherRebound-Effekt)bildetdaszentraleAnalysegerüst.DieElementewerdenhinsichtlichihrerWirkungindiesesGerüsteingereihtundmitgerichtetenPfeilen,dieStärkeundRichtungangeben,miteinan-derverbunden.DasSystemmodellzeigt,welcheElementewoundwiestarkimSpannungsfeldzwischenAdoptionundNutzungagierenundsoRebound-Effekteauslösenodervermeidenkönnen.DarauswerdenWir-kungspfadeabgeleitet,diesichentwedergegenseitigverstärkenundzueinemgroßenEffektaufschaukelnodersichgegenseitigaufhebenundsomit den Effekt neutralisieren. Die hier vorgestellten SystemmodellethematisierengemeinsameEinflussfaktorenaufAdoptionundNutzung;deroffensichtlichedirekteEinflussvonKauf/Investitionaufgesamtwirt-schaftlicheElementewirdausgeklammert.

Die(5)PolitikanalysenütztdasSystemmodellumTransformationshe-belzurReboundvermeidungzuidentifizieren.AusgewähltePolitikenver-änderndieAusprägungeinzelnerSystemelemente.DieserImpulspflanztsichüberdieWirkungsbeziehungenzwischendenElementen, jenachEinflussrichtung und -stärke, durch das System fort. Damit ermöglichtdasSystemmodelleineAnalyse,welchepolitischenMaßnahmenoderMaßnahmenbündel am besten geeignet sind, um Rebound-EffektenganzheitlichentgegenzusteuernunddasSpannungsfeld zwischen Ad-optionundNutzungaufzulösen.NatürlichistdiesesSystemmodelleineVereinfachung gegenüber fokussierten, disziplinären Zugängen, zeigtaber übergreifende Dynamiken auf. Eine ausführliche Diskussion undReflexion im Vergleich zu anderen integrativen Zugängen geben See-baueretal.(2019).

ERGEBNISSEDynamikundWirkungsverflechtungenderSystemelementeDasSystemmodellE-AutoumfasstzahlreicheFaktoren,diedenKauf

einesE-Autosfördern(Abbildung1):hohesozialeNorm,hohesverfüg-bares Einkommen, gut ausgebaute Ladeinfrastruktur, eine breite Pro-duktpaletteanverschiedenenE-Fahrzeugen,etc.Nebendiesenpsycho-logischen, sozioökonomischen und technischen Faktoren wirken auchAutohändlerInnenundVorzeigeprojektealsMarktakteurepositivaufdieAnschaffungeinesE-Autos.DiesenbegünstigendenElementenstehenAnschaffungskostenundKostenproKilometeralshemmendeFaktorengegenüber. Kosten pro Kilometer, verfügbares Einkommen und sozialeNorm haben divergente Wirkungen auf Adoption und Nutzung: Einer-seits macht die Aussicht auf höhere Kosten pro Kilometer, verursachtetwadurchsteigendeStrompreise,dieAnschaffungeinesE-Autosweni-gerwahrscheinlich;andererseitsdämpfenhöhereKostendieNutzungs-häufigkeitunddamitdendirektenRebound.DerVergleichderbeidenEffektgrößen zeigt, dass man aus umweltpolitischer Sicht die geringeEinschränkungderAnschaffungsratedurchhöhereKostenproKilometer(-0.1)inKaufnehmenkönnte,umimGegenzugvoneinerstarkenReduk-tiondesdirektenRebounds(0.8)zuprofitieren.VerfügbaresEinkommenundsozialeNormbegünstigendenKaufeinesE-Autos.HaushaltemithöheremverfügbarenEinkommenweiseneinenhöherenindirektenRe-boundauf,spricheinenMehrkonsuminanderenBereichen.

Die(2)KonsolidierungintegriertdieElementeundderenBeziehun-gen in einem gemeinsamen Rahmen. Elemente, die in mehreren Me-thodenzugängeneinekritischeRolleeinnehmen,werdenunterKlärungeines gemeinsamen Grundverständnisses zu einer Einheit verknüpft.HierkommtdieStärkedesSystemmodellszutragen,dassnahezuallesalsSystemelementbeschriebenwerdenkann–AkteureebensowiePer-sonenattribute,technischeoder infrastrukturelleRahmenbedingungen.DiekonsolidiertenElemente(sieheTabelle1)bildendieBasisdesSys-temmodells.

Inder(3)Skalierungwerdendiedisziplinärunterschiedlichenquan-titativen Effektgrößen aufeinander abgestimmt. Während sowohl dieexpertenbasierteGewichtungdesfuzzycognitivemappingalsauchdieRegressionskoeffizientenderBefragungdiegrößtmöglicheEinflussstär-kealsperfektenlinearenZusammenhangverstehen,berücksichtigtdasmakroökonomische CGE Modell, dass zwischen zwei Elementen auchein exponentieller Zusammenhang bestehen kann. Daher werden alledisziplinärenEffektgrößenaufeinegemeinsameSkalavon0„keinZu-sammenhang“ bis 1 „nicht-linearer starker Zusammenhang“ transfor-miert(sieheTabelle2).DieBestimmungderEffektgrößenerfolgt,indemdieErgebnissederdreiMethodenunterdendreiAutorInnendiskutiertwerdenundeingemeinsamerWertvereinbartwird.Diskussion isteinetablierterAnsatz inderqualitativenSozialforschung,umInter-Subjek-tivität zuerreichenunddieÜbereinstimmungzwischenverschiedenenBeurteilereinschätzungenzuverbessern(BortzundDöring2006).ImDis-kussionsprozesswerdendietheoretischenGrundlagenundempirischenErkenntnissejederMethodeerörtert,dasVertrauensniveauderjeweili-genErgebnisseberücksichtigt,WidersprücheundUnklarheitengeklärtundschlussendlichwirdeinegemeinsameEffektgrößeabgeleitet,wel-chedieseÜberlegungenwiderspiegelt (ähnlichdemiterativ-induktivenProzess der Grounded Theory (Strauss und Corbin 1988) oder bei derErstellungvonIPCC-Berichten(IPCC2008)).

Effektgröße Definition

0KeinZusammenhang,eineÄnderungdeseinenElementsbewirktkeineVeränderungdesanderenElements

0.25MittlererZusammenhang,eineÄnderungdeseinenElementsbewirkteinemittelstarkeÄnderungdesanderenElements

0.5StarkerZusammenhang,eineÄnderungdeseinenElementsbewirkteinestarkeÄnderungdesanderenElements

0.75PerfekterlinearerZusammenhang,eineÄnderungdeseinenElementsbewirkteinegleichwertigeÄnderungdesanderenElements

1Nicht-linearerZusammenhang,eineÄnderungdeseinenElementsbewirkteinevielfacheÄnderungdesanderenElements

positiverKoeffizient

positivekausaleRichtung,eineErhöhungdeseinenElementsführtzueinerErhöhungdesanderenElements

negativerKoeffizient

negativekausaleRichtung,eineErhöhungdeseinenElementsführtzueinerVerringerungdesanderenElements

Tabelle 2:SkaladerEffektgrößenimSystemmodell


DasSystemmodellGebäudesanierungenthältmehrundkomplexervernetzteElemente(Abbildung2).DennochsindzentraleWirkungsmus-ter gleich: Umweltwerte tragen zur Auflösung des SpannungsfeldesAdoption und Nutzung bei, während verfügbares Einkommen, sozialeNormundvariableHeizkostendasSpannungsfeldverstärken.WichtigeEinflussfaktorenumSanierungenanzustoßensinddasAufkommeneinesGelegenheitsfenstersundeineniedrigeKomplexitätderAntragsstellungfüreineöffentlicheSubvention.LetztereistdiemitAbstandgrößteHür-dezurDurchführungeinerSanierung.BeiderVermeidungdesdirektenReboundskommenimVergleichzumSystemmodellE-Autozweirelevan-teEinflussfaktorendazu:EnergiearmutundtechnischeUmsetzung.

Abbildung 1:SystemmodellE-Auto

Das Systemmodell enthält ebenso Elemente mit konvergenter Wir-kungsweise.WissenüberProduktmerkmaleundUmweltwertebegüns-tigendieAnschaffungundvermeidendirektenundindirektenRebound.ZusammengenommenverdeutlichendiedivergentenundkonvergentenEffektevonElementen,dasspolitischeMaßnahmen,diestarkauffinan-zielle Anreize setzen oder Prestigegewinn in den Vordergrund stellen,kontraproduktive Wirkungen haben. Informative oder bewusstseinsbil-dendeMaßnahmenhingegenlenkensowohlAdoptionalsauchNutzungineineumweltpolitischerwünschteRichtung.

Abbildung 2: SystemmodellGebäudesanierung


andere Einflussstärken zu anderen numerischen Ergebnissen führen.Hier stehen jedoch die relativen Verhältnisse und Größenordnungender unterschiedlichen Politikinstrumente im Vordergrund, um zentraleHebelelemente zu identifizieren. Mit dieser Anwendung erweitern wirgegenwärtige Rebound-Vermeidungspfade (Font Vivanco et al. 2016)umeinevergleichendeWirkungsabschätzungverschiedenerpolitischerMaßnahmen.

DerderzeitigepolitischeRahmensetztvorrangigauffiskalpolitischeInstrumente zur Reduktion der variablen Kosten um energieeffizienteTechnologienzuforcieren.ZumBeispielistinÖsterreichdasE-AutovonderNormverbrauchsabgabebefreit;StromfürdenBetriebdesFahrzeugswirdnichtgesondertbesteuert; inmanchenGroßstädtensindE-Autosvon Parkgebühren ausgenommen. Im Systemmodell E-Auto führt eineReduktiondervariablenKostenprokmumeineEinheitdazu,dassdieAnschaffung um 0.1 Einheiten zunimmt, aber zugleich die Nutzungbzw.derdirekteReboundum0.8Einheitensteigt.DerdirekteReboundpflanztsichimSystemfortundführtzueinerVerringerungderEinspa-rungenvonCO2-EmissioneninHöhevon0.12Einheiten(0.8*0.2*0.75).Ein ähnliches, aber abgeschwächtes Bild zeigt sich im SystemmodellGebäudesanierung:GeringereEnergiesteuern fürbestimmteHeizungs-energieträger (z.B. Biomasse, Fernwärme) reduzieren die Kosten probehaglichbeheiztenm²Wohnfläche.DasbewirkteinemarginalhöhereInvestitionstätigkeitvon0.1,aberverringertdieCO2-Einsparungenum0.0375(0.5*0.1*0.75).

BewusstseinsbildendeKampagnenzurSteigerungvonUmweltwer-tenversprechenhingegendeutlichhöhereWirkungen.DieunmittelbareWirkungaufdieAdoption istauchhiergering (0.2beiE-Auto,0.1beiGebäudesanierung).DaaberUmweltwertesowohldendirektenalsauchdenindirektenWirkungskanalansprechen,summierensichdieWirkun-genaufdieEinsparungvonCO2-Emissionen.EineErhöhungderUmwelt-werteum1EinheitreduziertbeiGebäudesanierungdieCO2-Emissionenum0.2325Einheiten;vorallemüberdenWirkungspfaddes indirektenRebounds(0.5*0.6*0.75=0.225)undgeringfügigüberdendirektenRe-bound (0.1*0.1*0.75=0.0075). Beim E-Auto zeigt sich das gleiche Bild(0.1*0.2*0.75(direkt)+0.5*0.5*0.75(indirekt)=0.2025).DiehoheWirk-samkeitmachteineSteigerungvonUmweltwertenzueinerattraktivenInterventionsstrategie. Allerdings dürfte eine weitreichende Verände-rung von Umweltwerten nur durch langwierigen gesellschaftlichenWandelzuerreichensein; finanzielleAnreizinstrumentesindhingegendeutlicheinfacherundschnellerumzusetzen.

SchlüsselakteurebieteneinenrascherenundeffektivenZugangzurSteigerungderAdoptionsrate.BeimE-AutoförderteinAusbauvonVor-zeigeprojektenum1EinheitdieAnschaffungeinesE-Autosumgesamt0.4875Einheiten(direkterEinfluss:0.25;viaLadeinfrastruktur:0.75*0.25;viaWissenüberProduktmerkmale:0.5*0.1).DerEinflussvonVorzeige-projektenaufWissenüberProduktmerkmalepflanztsichimSystemfortund trägt geringfügig zur Einsparung von CO2-Emissionen mit 0.0375(0.5*0.5*0.2*0.75) bei. Bauunternehmen & Installateure, das Pendantim Systemmodell Gebäudesanierung, weisen ähnliche Wirkungen auf.Diese Akteure erhöhen die Adoption um gesamt 0.275 (direkter Ein-fluss:0.25;viaWissenüberProduktmerkmale:0.25*0.1)undführenzuEinsparungenvonCO2-Emissionenum0.01875 (0.5*0.5*0.1*0.75).DiegezielteEinbindungvonSchlüsselakteurenbietetsichals flankierendeMaßnahmeineinemPolitikbündelan.EinerseitshabensieeinenklarenHaupteffekt auf die Adoption; andererseits generieren sie durch Wis-sensvermittlungüberProduktmerkmaledenpositivenNebeneffekt,dieCO2-Emissionenabzuschwächen.

DasSystemmodellGebäudesanierungverdeutlichtdieRollevonvor-gelagertenAkteuren.Massenmedien,Bauunternehmen&InstallateureundEnergieberatunghabenkaumunmittelbarenEinflussaufAdoptionoderNutzung,wirkenjedochindirektüberandereSystemelementewieWissenüberProduktmerkmaleoderWissenüberVerwendungderTech-nologie. LetztereshathohesPotentialdirektenRebound zuvermeidenund wird von allen diesen vorgelagerten Akteuren begünstigt. Dieseverzweigten Wirkungskanäle unterstreichen, dass effektive politischeMaßnahmeneinenMixausElementenansprechensollten,anstattsichnuraufjeneElementezukonzentrieren,dieineinerunmittelbarenBezie-hungzuAdoptionoderNutzungstehen.

Beide Systemmodelle weisen auf Schlüsselakteure hin, die wider-sprüchlicheAnreizefürAdoptionundNutzungauflösenkönnen.JemehrBauunternehmen&InstallateurenvertrautwirdundjemehrKompetenzihnenzugeschriebenwird,destoeherentschließtsicheinHaushaltzurGebäudesanierung. Gleichzeitig steigern Bauunternehmen & Installa-teuredasWissenderHaushalteüber richtigesHeizenundLüftenundwirken somitdemdirektenReboundentgegen.BeimE-Autoüberneh-men Vorzeigeprojekte diese ausbalancierende Rolle. VorzeigeprojekteschaffengünstigeRahmenbedingungenfürdenKaufeinesE-Autosundtragen gleichzeitig über Wissensvermittlung zu einer umweltfreundli-chenNutzungbei.IntegrativePolitikstrategiensindgutberaten,solcheSchlüsselakteuregezielteinzubinden.

DergesamtwirtschaftlicheReboundwirdinbeidenFallbeispielenvorallem vom indirekten Rebound angetrieben. Die Verlagerung der Ein-sparungausdemEffizienzgewinn inandereKonsumbereichewirktumeinVielfachesstärkeralsderAnstiegderdirektenNutzung.EinhohergesamtwirtschaftlicherRebound-EffektspiegeltwidersprüchlicheWirt-schafts-, Sozial- und Umweltziele wieder. Mehrkonsum führt zu Wirt-schaftswachstum und folglich steigen Bruttoinlandsprodukt und, be-dingtdurchhöhereLöhneundmehrKonsummöglichkeiten,Wohlfahrt.DurchdenMehrkonsumwirdaberwenigerEnergieundsomitwenigerCO2alsursprünglicherwarteteingespart.AufgrundvonWirtschaftsver-flechtungenkanndieserKompensationseffektsoweitgehen,dassdiegesamteEnergie-undCO2-ErsparnisdurchMehrkonsumausgeglichenwird.

DieSystemmodellebeiderFallbeispielezeigendieselbenAngelpunk-tezurVermeidungvonindirektem(undinFolgegesamtwirtschaftlichem)Rebound:(i)hoheUmweltwerte,wodurchderKonsumvorwiegendaufnicht-energieintensivenachhaltigeProdukteverlagertwird,(ii)niedrigesozialeNorm,dadannderPrestigegewinndurchdieenergieeffizienteTechnologiewenigeralsRechtfertigungfürMehrkonsumherangezogenwird,und(iii)niedrigesverfügbaresEinkommen,wodurchderKonsumverringertoderzuwenigerenergieintensivenProduktenverlagertwird.DendrittenAspektdurcheinpauschalesWegbesteuernvonEffizienzge-winnenpolitischzunutzen,dürftejedochandieGrenzenvonMachbar-keitundAkzeptanzstoßen.

POLITIKSIMULATION MITTELS SYSTEMMODELL

Die Politiksimulation skizziert, welche politischen Maßnahmen ambesten geeignet sind, um Rebound-Effekten ganzheitlich entgegen-zusteuern und das Spannungsfeld Adoption und Nutzung aufzulösen.DieEinflussstärkenderSystemelementeunddamitdiesimuliertenPo-litikwirkungen sind naturgemäß mit Unsicherheiten verbunden. In an-derenLändernodermiteinemanderenStrom-MixfürE-Autos,würden


Energieträger in der Herstellung von Produkten und Dienstleistungen;folglich wären Verlagerungseffekte in andere Konsumbereiche wenigerCO2 intensiv. Individuelle Emissionsobergrenzen, etwa als jährlichesCO2-BudgetproPerson, lenkenKonsumverlagerungeninRichtungkoh-lenstoffarmeProdukteundDienstleistungenundzeigendenWeghinzusuffizientenLebensstilen.ImGegensatzzuProduktstandardsistabernurschwer vorstellbar, wie individuelle Emissionsobergrenzen in der Praxisadministriertundkontrolliertwerdenkönnten.

UmdieWirkungsmechanismenvonProduktstandardsundindividu-ellenEmissionsobergrenzenabbildenzukönnten,müsstendieSystem-grenzenbeiderSystemmodelleerweitertwerden.GegenwärtigsinddieSystemmodelle auf die konkreten Effizienztechnologien zugeschnittenund umfassen lediglich jene Elemente, die mittelbar oder unmittelbarauf Adoption und Nutzung wirken. Andere Konsumbereiche, die Pro-duktionsseite der Wirtschaft oder Faktoren weit außerhalb des Ent-scheidungsspielraums der Haushalte, sind (noch) nicht enthalten. DieEinführungzusätzlicherSystemelementewürdeaberdasSystemmodelldrastischkomplexermachenunddieInterpretierbarkeiterschweren.

DerbewusstvereinfachendeZugangdieserStudie reichthingegenbereits aus, um den grundlegenden Widerspruch ökonomischer Inst-rumente aufzuzeigen, die gemeinsam mit der Adoption energieeffizi-enter TechnologienauchdenRebound-Effekt inderenanschließenderNutzungfördern. IntegrierteStrategienfürdieTransformationzueinerkohlenstoffarmenGesellschaftsolltendaherdieRollevonsozialpsycho-logischenMerkmalenundSchlüsselakteurennichtunterschätzen.

DANKSAGUNGDas Projekt CATCH (https://catch.joanneum.at) wurde aus Mitteln

desKlima-undEnergiefondsgefördertundimRahmendersiebtenAus-schreibungdesAustrianClimateResearchProgrammedurchgeführt(Nr.B464789).

LITERATURVERZEICHNISAllan G, Hanley N, McGregor P, Swales K, Turner K (2007)The im-pactofincreasedefficiencyintheindustrialuseofenergy:acomputablegeneralequilibriumanalysisfortheUnitedKingdom.EnergyEconomics29(4):779–798.https://doi.org/10.1016/j.eneco.2006.12.006

Azevedo, I. (2014). Consumer end-use energy efficiency and reboundeffects.AnnualReviewofEnvironmentandResources39,393–418.

Boulanger, P.-M., Couder, J., Marenne, Y., Nemoz, S., Vanhaverbeke, J., Verbruggen, A., Wallenborn, G.(2013).Householdenergyconsump-tionandreboundeffect.FinalreporttotheResearchProgrammeScienceforaSustainableDevelopment,Brussels:BelgianSciencePolicy.

Bortz J, Döring N(2006)ForschungsmethodenundEvaluation.EnglishTranslation:Researchmethodsandevaluation.Springer,Berlin

Broberg T, Berg C, Samakovlis E (2015) The economy-wide reboundeffectfromimprovedenergyefficiencyinSwedishindustries:ageneralequilibriumanalysis.EnergyPolicy83:26–37.https://doi.org/10.1016/j.enpol.2015.03.026

SCHLUSSFOLGERUNGEN UND AUSBLICK

Die breite Markteinführung energieeffizienter Technologien, einezentrale Strategie in der kohlenstoffarmen Transformation der Gesell-schaft, steht im Spannungsfeld von Adoption und Nutzung. Die hiervorgestellten Systemmodelle fürdieBeispieleE-Auto undGebäudesa-nierung integrieren Ergebnisse aus drei komplementären Forschungs-methoden und bestimmen Transformationshebel zur Auflösung diesesSpannungsfeldes. Die Systemmodelle zeigen die Dynamik zwischenAdoption,Rebound-EffektenundderPaletteangemeinsamenEinfluss-faktoren.

FinanzielleAnreizinstrumentewieeineSteuerbefreiungvonE-Autos(wie inÖsterreichundDeutschland)oderAusnahmeregelungen fürE-Autos bei städtischen Mautsystemen (wie in London und Stockholm)stehenmittenimSpannungsfeldvonAdoptionundNutzung.SiefördernzwarschwachdieAnschaffungderenergieeffizientenTechnologie,wir-kenabergleichzeitigstarkaufdirektenRebound.DafinanzielleAnreizetechnologiespezifisch gesetzt werden und den entscheidenden Wir-kungskanaldesindirektenReboundsaußerAchtlassen,istdieGesamt-wirkungaufCO2-Einsparungengering.DiesstehtinklaremWiderspruchzurpolitischenBeliebtheitmarktwirtschaftlichorientierterInstrumente.

StattdessensindMaßnahmenbündelzuempfehlen,diemitflankie-rendenMaßnahmendieBedeutungvonUmweltwertenundSchlüsse-lakteuren aufgreifen. Diese beschleunigen einerseits die Marktdurch-dringungohneunerwünschteNebenwirkungenundfedernandererseitsWirkungenaufdenindirektenReboundab.KampagneninMassenme-dienundsozialenNetzwerkenkönntenUmweltwertevermitteln sowiebestehendeumweltfreundlicheWerthaltungenbestärken.Bauunterneh-men&Installateurekönntengezieltgeschultwerden.EigenestaatlicheFörderprogramme könnten die Umsetzung von Vorzeigeprojekten undTestregionenunterstützen.

Solche Maßnahmenbündel können auch ausgleichen, dass ver-schiedene Maßnahmen ihre Wirkungen über verschiedene Zeiträumeentfalten.SteuernundSubventionenwirkenunmittelbarundkurzfristig;Schulungen, Kampagnen oder Medienaktivitäten wirken mittelfristig;einWertewandelodereineÄnderungvonKonsumpraktikenentwickelnsich langfristig über einen Zeitraum von bis zu einer Generation. DieTransformation zu einer kohlenstoffarmen Gesellschaft wird sich übermehrereJahrzehnteerstrecken.Esscheintdahersinnvoll,kurz-,mittel-undlangfristigeMaßnahmensystematischzustaffeln.FüreinezeitlicheDimensionmüsstendiehiervorgestelltenSystemmodelleerweitertwer-den,etwaumRückkopplungseffekteabzubildenoderumzuberücksich-tigen,dasssichüberdieZeitEinflussstärkenund–richtungenverändernoderneueSystemelementehinzukommenkönnten.

BeideSystemmodelleunterstreichendiedominanteRolledesindirek-tenRebound-Effekts.DieVerlagerungderEinsparungenausdemEffizi-enzgewinninandereKonsumbereicheübertrifftbeiweitemdenAnstiegder direkten Nutzung. Indirekte Verlagerungen münden häufig in eineansteigendeNutzungvonenergieintensivenGüternundDienstleistungenwieelektronischeGeräte,TourismusundVerkehr.ProduktstandardsundindividuelleEmissionsobergrenzenkönntenindirektenVerlagerungenge-gensteuern.Produktstandardsgibtesbereits inzahlreichenKonsumbe-reichen(z.B.EmissionsstandardsbeiFahrzeugen,Energieeffizienz-Labelsbei Elektronikgeräten, diverse ISO-Normen). In je mehr Konsumberei-chenEmissionsstandardsgelten,destogeringerwärederAnteilfossiler


Olazabal M, Pascual U(2016)Useoffuzzycognitivemapstostudyur-banresilienceandtransformation.EnvironmentInnovationandSocietalTransitions18:18–40.https://doi.org/10.1016/j.eist.2015.06.006.

Özesmi U, Özesmi SL(2004)Ecologicalmodelsbasedonpeople’sknow-ledge:amulti-stepfuzzycognitivemappingapproach.EcologicalModel-ling176:43–64.

Papageorgiou EI, Kontogianni A(2012)Usingfuzzycognitivemappinginenvironmentaldecisionmakingandmanagement:amethodologicalprimerandanapplication. In:SilvernSE,YoungSS (eds) Internationalperspectivesonglobalenvironmentalchange. IntechOpen.https://doi.org/10.5772/29375

Santarius, T. (2014). Der Rebound-Effekt: Ein blinder Fleck der sozial-ökologischenGesellschaftstransformation.GAIA23(2),109–117.

Seebauer, S.(2018).Thepsychologyofreboundeffects:Explainingener-gyefficiencyreboundbehaviourswithelectricvehiclesandbuildingin-sulationinAustria.EnergyResearch&SocialScience46,311-320.

Seebauer, S., Kulmer, V., Fruhmann, C. (2019). Promoting adoptionwhileavoidingrebound.IntegratingdisciplinaryperspectivesonmarketdiffusionandcarbonimpactsofelectriccarsandbuildingrenovationsinAustria.Energy,SustainabilityandSociety,9(1),26.doi:10.1186/s13705-019-0212-5.

Sorrell, S. (2007).The reboundeffect:anassessmentof theevidenceforeconomy-wideenergysavingsfromimprovedenergyefficiency.U.K.EnergyResearchCenterReport.

Steg L, Nordlund A(2013)Modelstoexplainenvironmentalbehavior.In:deGrootJIM,StegL,vandenBergAE(eds)Environmentalpsychology:anintroduction.BPSBlackwell,Chichester.

Steg, L., Perlaviciute, G., van der Werff, E.(2015).Understandingthehumandimensionsofasustainableenergytransition.Frontiers inPsy-chology6,805.

Strauss A, Corbin J (1998)Basicsofqualitative research: techniquesandprocedures fordevelopinggroundedtheory.Sage,ThousandOaksCA

Thomas, B., Azevedo, I.(2013).EstimatingdirectandindirectreboundeffectsforU.S.householdswithinput–outputanalysisPart1:Theoreticalframework.EcologicalEconomics86,199–210.

Turner, K. (2009). Negative rebound and disinvestment effects in res-ponsetoanimprovementinenergyefficiencyintheUKeconomy.EnergyEconomics31(5),648–666.

Turner, K.(2013).“Rebound”effectsfromincreasedenergyefficiency:atimetopauseandreflect.EnergyJournal34(4),25–42.

Venkatesh V, Morris MG, Davis GB, Davis FD (2003)Useracceptanceofinformationtechnology:towardaunifiedview.MISQuartly27(3):425–478.https://doi.org/10.2307/30036540

Byrne BM(2010)StructuralequationmodelingwithAMOS:basiccon-cepts, applications and programming, 2nd ed. Routledge, New York/London.

Font Vivanco, D., Kemp., R., van der Voet, E.(2016).Howtodealwiththereboundeffect?Apolicy-orientedapproach.EnergyPolicy94,114-125.

Friedrichsmeier, T., Matthies, E.(2015).Reboundeffectsinenergyef-ficiency–aninefficientdebate?GAIA24(2),80-84.

Fruhmann, C., Tuerk, A., Kulmer, V., Seebauer, S.(2017).Systemcom-plexityaskeydeterminant inachievingefficaciouspolicytranspositionand implementation. In: Ashiabor, H. et al. (Hrsg.), The Green MarketTransition.Carbontaxes,energysubsidiesandsmartinstrumentmixes.CriticalIssuesandEnvironmentalTaxationseries,vol.19.EdwardElgarPublishing,193-208.

Geels, F.W. (2004).Fromsectoral systemsof innovation tosocio-tech-nicalsystems:insightsaboutdynamicsandchangefromsociologyandinstitutionaltheory.ResearchPolicy33,897–920.

Gillingham, K., Rapson, D., Wagner, G.(2016).Thereboundeffectandenergyefficiencypolicy.ReviewofEnvironmentalEconomicsandPolicy10(1),68-88.

Guerra, A., Sancho, F. (2010).Rethinkingeconomy-widereboundmea-sures:Anunbiasedproposal. EnergyEfficiencyPoliciesandStrategieswithregularpapers38(11),6684–94.

Holtsmark B., Skonhoft A.(2014).TheNorwegiansupportandsubsidypolicyofelectriccars.Shoulditbeadoptedbyothercountries?Environ-mentalScience&Policy42,160-168.

IPCC(2008)AppendixAtothePrinciplesGoverningIPCCWork.Proce-dures for the preparation, review, acceptance, adoption, approval andpublicationofIPCCreports.https://www.ipcc.ch/documentation/proce-dures/.Accessed27Feb2019.

Kulmer, V., Seebauer, S. (2019).How robust areestimatesof the re-boundeffectofenergyefficiencyimprovements?Asensitivityanalysisofconsumerheterogeneityandelasticities.EnergyPolicy132,1-14.

Lecca P, McGregor PG, Swales JK, Turner K (2014)Theaddedvaluefromageneralequilibriumanalysisofincreasedefficiencyinhouseholdenergyuse.EcologicalEconomics100:51–62.https://doi.org/10.1016/j.ecolecon.2014.01.008

Peters, A., Sonnberger, M., Dütschke, E., Deuschle, J. (2012). The-oretical perspective on rebound effects from a social science point ofview:WorkingPapertoprepareempiricalpsychologicalandsociologicalstudiesintheREBOUNDproject.WorkingPaperSustainabilityandInno-vation,S2/2012,FraunhoferISI.

de la Rue du Can, S., McNeil, M. & Leventis, G. (2015). ReboundEffectsintheContextofDevelopingCountryEfficiencyPrograms.FinalReport.LawrenceBerkeleyNationalLaboratory.


Walker W., van Daalen C. (2013).SystemModels forPolicyAnalysis.In:ThissenW.,WalkerW.(eds)PublicPolicyAnalysis.InternationalSe-riesinOperationsResearch&ManagementScience,vol.179.Springer,Boston,MA

Wolf, A., Seebauer, S.(2014).Technologyadoptionofelectricbicycles:Asurveyamongearlyadopters.TransportationResearchPartA69,196-211.

AUTORiNNENVERONIKA KULMERJOANNEUM RESEARCH Forschungsgesellschaft mbHLIFE Zentrum für Klima, Energie und GesellschaftWaagner-Biro-Straße100/9,8020GrazE:[email protected]:+433168767651

SEBASTIAN SEEBAUERJOANNEUM RESEARCH Forschungsgesellschaft mbHLIFE Zentrum für Klima, Energie und GesellschaftWaagner-Biro-Straße100/9,8020GrazE:[email protected]

CLAUDIA FRUHMANNJOANNEUM RESEARCH Forschungsgesellschaft mbHLIFE Zentrum für Klima, Energie und GesellschaftWaagner-Biro-Straße100/9,8020GrazE:[email protected]

SCHLAGWORTE: Reboundeffekt,Systemmodell,Energieeffizienzpolitik

KEYWORDS: reboundeffect,systemmodel,energyefficiencypolicy

Eine englischsprachige, erweiterte Fassung dieses Artikels ist erschienen als:

Seebauer, S., Kulmer, V., Fruhmann, C. (2019). Promoting adoptionwhileavoidingrebound.IntegratingdisciplinaryperspectivesonmarketdiffusionandcarbonimpactsofelectriccarsandbuildingrenovationsinAustria.Energy,SustainabilityandSociety,9(1),26.doi:10.1186/s13705-019-0212-5.(CCBY4.0).


1.INTRODUCTIONDespitemanyeffortsandgradualincreases,women’sshareinmany

academicSTEMM(Science,Technology,Engineering,MathematicsundMedicine) fields is low,althoughwithwidevariationsat regional andnational levelsaswellasforscientificdisciplinesandcareer levels. IntheEU,48%ofalldoctoralgraduateswerewomenin2016:Theywereover-represented for instance in education (68%), but clearly underre-presented in information and communication technologies (21%) orengineering,manufacturingandconstruction(29%).Atthelevelofpro-fessors (gradeA staff),women’s shareswithin theEUareparticularlylowforengineeringandtechnology(12%)ornaturalsciences(18%),andhighestforthehumanities(32%).(AllfiguresfromEuropeanCommission2019-SHEFIGURES2018).

Thereasonsforthedisproportionatelylowparticipationofwomeninmanyfieldsaremanifoldandhavebeendiscussedextensively(seee.g.TheLancet2019;PLOTINA2015;Ranga,Gupta&Etzkowitz2012;Natio-nalAcademyofSciencesetal.2007):Theyincludesocietalcauses(suchas role models, typical male and female fields, negative stereotypes)andearlycareerchoicestakeninschool–which influencetheavaila-blewomen’stalentpoolat theverybeginningofacademiceducation.ButevenwhenwomendecidetopursuetheirstudiesinSTEMMfields,thereisahighprobabilitythattheyarethrownofftheircareerpathbya phenomenon labelled “leaky pipeline”. This can be observed in allfieldsofscience(andinindustryaswellasinallothersocietaldomains):Alongcareerandhierarchical levels, the representationofwomende-clinescontinuouslywitheachstepup.This isalsotrueforfieldswhe-rewomen’ssharesofbachelor/masterstudentsanddoctorateshavebeenlargeforyearsandthustherewouldbeenoughqualifiedwomenavailableforhigh-levelpositions(seeNationalAcademyofSciencesetal.2007).Theleakypipelinecanbeconsideredaresultoftheinterplayofmanyhinderingfactors,suchasinstitutionalclimateatuniversitiesandresearchorganisationsandunfavourableworkingconditions(i.e.,short-termcontracts,longworkinghours,lackoffamilyfriendlinessandwork-life-balance).Also,culturalandstructural,frequentlyunconsciousbiasesplayadecisivepartinthiscontext(e.g.,homo-socialityinnetworks,“all-boysteam-networking”,maledominanceofevaluationandpeer-reviewprocesses).Unconsciousbiasesinfluenceourperceptionsanddecisions,based on previous experiences, associations and preferences alreadymadeinthepast(seee.g.Staatsetal.2017foranoverview).Despitestrivingforobjectivity,weassessapersonnotonlybyperformance,butalsobyaffiliationtoaspecificgroupthatwe(unconsciously)consideraspositiveornegative.Also,itcanbeaquestionofvisibility,forinstancewhensettinguparesearchorprojectteam.Theprincipalinvestigators

ABSTRACT

Researchersaremoreandmorefrequentlyrequiredtoreportthegenderbalanceof their teams inordertoreceivefundingfortheir research projects. In Europe for instance, Horizon 2020

guidelinesdeterminethatapplicationswithabalanced,50/50represen-tation of women and men will be given preference, and each projectmustatleastjustifythecompositionoftheirteamsandleadershippo-sitions.

Inscientificfieldswherewomenarestillaminority,likeroboticsorartificial intelligence,ormanySTEMMfields ingeneral, thisapproachhaslefttheapplicantswiththeissueofhowtojustifytheratioofwomenontheirteams.Forindividualprojectsandprojectleaders,realisticobjec-tivesarerequiredthattakeintoaccountspecificframeworkconditionsindifferentscientificfields.

Thispaperexaminesapproaches tomeasure thedisciplinaryback-groundandcareerdevelopmentofwomenandmen insciencebyas-sessingarangeofavailabledatasources.Itprovidesinsightsonhowtoderivefiguresallowingscienceprojectstoevaluatetheirgenderratiosagainstapossibleunderrepresen-tationofwomen.

Acknowledgement:OurresearchhasreceivedfundingfromtheEu-ropeanUnion’sHorizon2020Frame-workProgrammeforResearchandInnovation under the Specific Grant Agreement No. 785907 (HumanBrainProjectSGA2).

TABLE OF CONTENT1 Introduction 602 Benchmarkinggender-balanceinR&D-projects–

adata-basedapproach61

2.1 Relevantdatasources 622.2 Selectedindicators 632.3 CaseStudyReferenceDataforComputerSciences 663 SummaryandConclusions 694 References/Literature 70

MAGDALENAKLEINBERGER-PIERER,SIMONPOHN-WEIDINGERANDKARINGRASENICKDOI:10.22163/fteval.2020.471

FAIRPROJECTS–BADDATA?EVALUATING THE GENDER BALANCE IN SCIENCE PROJECTS


In this context, thispaperaddresses the followingquestions:Howshould a research team determine its gender balance goals? Whatis a good and fair gender balance at different career levels (PhD stu-dents, work package leaders etc.) and for different scientific disci-plines? How can it be measured? What are good reference numbers?Thesequestionsarenotonlyofrelevanceforresearchteams,projectsorprojectconsortiawhoapplyforfunding,butalsoforthefundingagen-cies,programmemanagersandevaluatorsof fundingprogrammes,aswellasforuniversitiesandresearchorganisations(e.g.inthecontextofperformanceagreementsandthegoalsthataredeterminedbythem).

Theaimofthispaperistomakeacontributiontoanevidence-baseddiscussion in this field. We have analysed international data sourcesthat cover gender-specific data in research and assessed the useful-nessofthesesources.Afterprovidinganoverviewofthesesourcesandpotentiallysuitableindicators,weapplythemtoacasestudyfromthefieldofComputerSciences.Weconcludewithoursuggestionsofhowtoproceedwhenassessingandsettinggoalsforateam’sgenderba-lance.

2. BENCHMARKING GENDER-BALANCE IN R&D-PROJECTS – A DATA-BASED APPROACH

In the lastdecades,aseriesofattemptshavebeenundertaken toestablish gender-related data sources in science. At the institutionallevel,manyuniversitiesand researchorganisationshave implementedgender-monitoringsystems.Therearealsoarangeofdatacompilationsthatcoverandcomparemanycountriesand/ororganizations.

Beforediscussingthedifferentdatasourcesinmoredetail, itmustbeclarifiedwhichcriteriaadatabaseshouldfulfiltoberelevantforthepurposeofagender-balancebenchmark.

CRITERIA FOR THE RELEVANCE OF DATA SOURCES

• Regular update of data:Severalpublicationswhichofferhighlyrelevantinsightsonthegenderbalanceinsciencesandrelatedprofessionalfieldsarenotavailableonaregularbasis.Thisin-cludesforinstancetheElsevierreportongenderintheglobalresearchlandscape2017(seebelow).Someofthesereportssetaspecificdisciplinaryfocus,forinstance,theWorldEconomicForum’s“GlobalGenderGapReport”2018focussesparticularlyonArtificialIntelligence1.However,one-timereportsorstudiesarereducedintheirvalue,sincethereferencevalueswillnotbeupdatedonaregularbasis.Anessentialcriterionforthedatasourcesweassesshereisthattheyareupdatedregularly.

In addition to this formal criterion, several content criteria are ofrelevance.Databases inquestion shouldgive informationabout thoseframeworkfactorswhichhaveanimpactonthenumberofwomenre-

andproposalwritersrefertopeopletheyalreadyknow,whoarepartoftheirnetwork,whohavecontributedsubstantiallyinthepastandhavebeenabletoattractattention.

At the organizational level, many universities and research organi-zationsacttoincreasethenumberofwomen,toremovediscriminatingbarriersinscienceanddecision-making,toovercomeunconsciousbiasesandtocounteracttheleakypipeline.Theseactionsincludeforinstanceadvertisingcertainfieldsofscienceinschoolsorevenkindergartenorof-feringsummerschoolstoexplorewhatitmightbeliketostudy.Intermsof keeping qualified women in science and research, gender equalityplansaredevelopedandimplemented(asforinstancesupportedbytheongoingPLOTINAproject–seePLOTINA2015).

With regards to research funding, European and national fundingagenciesincreasinglyrequireprojects to report on their gender balan-ce and makethisacriterionintheirfundingdecisions.Thisisanattempttourgeleadingscientiststoimprovethegenderbalanceoftheirteams.Forinstance,projectsfundedbytheEU’sResearchandInnovationpro-grammeHorizon2020shouldpayattentiontogenderequalityintermsofhumanresources(balancedparticipationofwomenandmenintheresearchteams),aswellasinresearchcontents(EuropeanUnion2019).Inparticular,thecriteriaforhumanresourcesisexplainedasfollows:

“When applying for a grant under Horizon 2020, you are encouraged to promote gender balance at all levels in your teams and in ma-nagement structures. Applicants should seek at having a balanced participation, as close as possible to 50/50, of both men and women in the teams and among the leading roles. At the evaluation stage, gender balance in staff is one of the ranking factors that come into play to prioritise the proposals above the threshold with same scores. When it is used, evaluators need to compare the shares of men and women in the personnel named in the proposals (in Part B, section 4.1, of the proposal template) and they will rank higher the proposal with the share closer to 50/50.” (European Union 2019).

Besidesbeingavalueinitsownright,genderequalitymakessenseintermsofinnovation,betterresultsorpositiveworkingatmosphere(seee.g.Schiebingeretal.2011-2018;Bert2018).Andmanymeasuresandinitiativesarealreadyinplacethatsupportthisdevelopment(seeabove).

Butintheshortterm,giventhecurrentsituationasdescribedabove,demanding a balanced participation of 50:50 in projects is highly un-realistic for a range of scientific fields, in particular from the STEMMdomain.Still, thepressure is there,andproject leadersareconstantlyaskedtoraisethenumberofwomen,regardlessofthefieldsofscienceinvolvedor theaimof theproject.Researchersandprojectapplicantsconfronted with respective criteria might be unsettled by such de-mands and question whether they actually have the responsibility toactwithintheirprojectandthepossibilitytodosogiventheframeworkconditionsintheirspecificscientificfields(seeaswellGrasenick2019).Thus, for individualprojectsandproject leaders, realisticgoalsare re-quired.Inordertogetanideaofwhichtargetvaluescouldberealisticandatthesametimechallenging,knowledgeoftheactualproportionofwomen in research isanecessaryprerequisite fora target-orienteddiscussion.

1 SeeWorldEconomicForum(2018).Anotherexampleisthe“GlobalSurveyofPhysicists”conductedin2009/2010bytheUnionofPureandAppliedPhysics(IUPAP).Currently,thesameorganisationconductsaglobalsurveyandstudyofpublicationpatternsofMathematical,ComputingandNaturalScientists,seeButcheretal.(2019).


CROSS-COUNTRY DATABASE

European Commission (2019). “She Figures 2018”: Probably the most useful source in this context are the “She Figures”, which are updated every three years by the European Commission.Thelastre-leaseof“SheFigures2018”waspublishedinFebruary2019(EuropeanCommission2019).Thereportprovidesdataforawiderangeofgender-specific indicators in the field of R&D, universities and innovation. AlldataarepresentedbysexandattheindividualcountrylevelaswellasthebroaderEUlevelforthecurrent28EUMemberStatesandtheas-sociatedcountries.ManyindicatorsarepublishedforsixmainFieldsOfR&D(“FORD”)accordingtotheOECDFrascatiManual5.Otherindicatorslike“doctoralgraduates”arebasedonthe ISCED-F2013classification(UNESCO Institute of Statistics, 2014) which distinguishes 29 narrowfieldsofeducationandtraining(“fieldsofstudies-FoS”)organisedin10broadgroups6.OnelimitationofthissourceisthatmostcountriesfromoutsideoftheEUarenottakenintoaccount.

Elsevier (2017). “Gender in the Global Research Landscape. Ana-lysis of research performance through a gender lens across 20 years, 12 geographies, and 27 subject areas”:Unlike“SheFigures”thisreportcoversworldwidedataandshowsdevelopmentover20years.However,thereisnoclearevidenceforaregularupdateofthereport.ThestudyisbasedonpublicationsfromScopusandScienceDirectandacombinationofAuthorProfileswithgender-namedatafromdifferentplatforms.Thereport,publishedin2017,includessharesandabsolutenumbersofmenandwomenasresearchersby27differentsubjectareas7.ThesesubjectareasarebasedontheclassificationwhichisusedbytheScopusdata-baseanddiffersfromclassificationslikesFoSorFORDmentionedabove.Dataareprovided for12comparator countries: theEU-28asagroup,aswellasfourselectedindividualEUmemberstates(UnitedKingdom,France,Denmark,Portugal)andsevencountries fromothercontinents(UnitedStates,Canada,Australia,Brazil,Japan,Mexico,Chile).

UNESCO data-base and UNESCO Science Report (2015): TheUNESCO Science Report is published every five years and maps STI(Science,Technology&Innovation)dataaroundtheworldandreliesondataprovidedbytheUNESCOdatabase(UNESCOInstituteforStatistics2019).Onechapter in thecurrent report (2015)dealswith thegendergapinscienceandengineeringandprovidesgeneralgenderrelateddataonaninternationallevel(country/world-regions).Someoftheindicatorsarepresentedbybroadscience fields (“FORD”).Apart from the report

presentedinresearch(seee.g.Ranga,Gupta&Etzkowitz2012).Someoftherelevantdimensionsare:

• Field of research: Women’s participation varies substantiallybetweendifferentresearchfields.Ingeneral,inHumanitiesandSocialSciencestheirparticipationishigherthaninmostEngi-neeringorNaturalSciences.

• Countries:Women’sparticipationisalsoaquestionofacoun-try’s“researchculture”.Evenwithinthesamefieldofresearch,onecanfindverydifferentparticipationratesdependingonthecountry.

• Leaky pipeline:Thesocalled“leakypipeline”isawell-knownpatternacrossallsciencesandcanbesummarizedasfollows:The higher the career-level the lower the representation ofwomen.

So, when searching and selecting a database, it must be clarifiedwhichof theseparametersarecoveredbytheprovided indicators. Toanticipateourfindings:Noneofthereportsanddatabasesanalysedco-versallrelevantdimensionatonce.Therearewellelaborateddatabasesthatarecertainlyusefulforspecificpurposes,buteachoneofthemhasrestrictions.Someofthemarelimitedtocertaincountries2orregions3.Othersonlycovercertainresearchfields4orwillnotbeupdated.

In this chapterweprovideanoverviewofdatabasesand selectedindicatorsthatweconsideruseful toassesswhetherthegendercom-positionoftheresearchteamiswellbalancedwithinthe(international)researchframework.Totestifthesuggestedindicatorsarefeasible,weelaborateacasestudyintheresearchfieldofcomputersciences.Thefindingsaresummarizedinaconcludingchapter.

2.1RELEVANTDATASOURCESSinceourfocusisoninternationalresearchgroups,wehavelimited

thesearchtothosedatabasesthatprovidedataonaninternationalle-vel.Ascreeningof internationaldatasourcesshows that thereareatleast four approaches which can help research consortia in assessingtheirgenderbalance.Threeofthemprovidecountry-specificdata,oneis collecting comparable (publication) data on the level of universities(“Leidenranking”).

2 Forinstance,the“ScienceinAustraliaGenderEquity”(SAGE)initiative(SAGE2019).3 AwellelaboratedexampleisthegenderreportoftheuniversitiesofNordrhein-Westfalen(Germany)thatispublishedeverythreeyears.Thisreport,anda

well-presentedonlineportalprovidedetailedgenderrelateddata(NetzwerkFrauen-undGeschlechterforschungNRW2019).4 Forinstance,forbiomedicalresearchfieldsthereisaverydetaileddatacollectionbasedonworldwidepublications(seeHolman,Stuart-Fox&Hauser2018).5 AccordingtotheOECDFrascatiManual(OECD2015)thesefieldsare(1)Naturalsciences(2)Engineeringandtechnology,(3)Medicalsciences,(4)Agricul-

turalsciences,(5)Socialsciencesand(6)Humanities.ThebreakdownofresearchersbyfieldofR&Disbasedonthefieldwheretheyworkandnotaccordingtothefieldoftheirqualification(seealsoEuropeanCommission2019-SheFigures2018,p.188).

6 AccordingtotheISCED-F2013classification,these10broadgroupsare:(1)education;(2)humanitiesandarts;(3)socialsciences,journalismandinforma-tion;(4)businessadministrationandlaw;(5)naturalsciences,mathematicsandstatistics;(6)informationandcommunicationtechnology;(7)engineering,manufacturingandconstruction;(8)agriculture,forestry,fisheriesandveterinary;(9)healthandwelfare;and(10)services.

7 ScopusispublishedbyElsevier.Theclassificationdistinguishesbetween27areas,whichare:Multidisciplinary(journalslikeNatureandScience),Agricultur-al&BiologicalSciences,Arts&Humanities,Biochemistry/Genetics/MolecularBiology,Business,Management,&Accounting,ChemicalEngineering,Chem-istry,ComputerScience,DecisionSciences,Dentistry,Earth&PlanetarySciences,Economics/Econometrics/Finance,Energy,Engineering,EnvironmentalScience,HealthProfessions,Immunology&Microbiology,MaterialsScience,Mathematics,Medicine,Neuroscience,Nursing,Pharmacology,Toxicology,&Pharmaceutics,Physics&Astronomy,Psychology,SocialSciences,Veterinary


Database covering different…

databasefields

of researchcountries

research organisations

career stages

UNESCOScienceReport

yes (yes) no no

Elsevier–Genderreport

yes (yes) no no

SheFigures yes yes no yes

Leidenranking yes (no) yes no

Table 1:Relevantdatabasesandthedimensionstheycoversource:owncompilation

INTRA-ORGANISATIONAL DATABASES

In thedatabasesdiscussedabove,we find threecross-countryap-proaches and one cross-organisational database (“Leiden ranking”).Theyprovideorientationontheinternationalsituationconcerningspe-cificgender-relatedindicators.Thesedatacanserveasabenchmarkforcheckingthegenderbalanceofspecificresearchconsortiaagainsttheinternationalcontext.

A similar benchmark could also be derived directly in a more bot-tom-upapproach,withdatafromthepartner-organisationsofresearchconsortiathemselves:Todaymanyuniversitiesandresearchinstitutionsprovideannualgendermonitoringreports,whichgiveanup-to-dateover-viewofwomen’sparticipationintheareaofteachingandresearch.Mostofthesemonitoringreportsalsoincludewomen’sparticipationbycareerstageandscience field (whichnormallyhas thestructureofa“leaky-pipeline”).Evenifauniversitydoesnotpublishsuchreports,internalmo-nitoringsystemsareusuallyinplaceincludingtherespectiveinformation.Forexample,theUniversityofManchester(UOM)publishesanEqualityInformationReport9withinformationonallstaffandstudentsdifferen-tiatedbydiversitydimensions.Itincludesstatisticsoftheproportionofwomenfortheuniversityoverall(allsciencesaggregated).However,thishastobebasedonmoredetailedinformationregardingdepartmentsandsciencefields.Forinstance,theDepartmentofComputerScience,reportsthat “women make up 24% of academic staff, higher than UK average” (University of Manchester – Department of Computer Science 2019).Similarly,theTechnicalUniversityMunich(TUM)offersadiversityreader,whichincludesanoverviewonwomenatdifferentcareerlevels(Techni-scheUniversitätMünchen2018).

2.2SELECTEDINDICATORSMostofthedatabaseswediscussedaboveincludeaseriesofgen-

der-relatedindicators,whichcoverawiderangeoftopics.Thescreeningoftheseindicatorsrevealsthatforthepurposeofextractingreferencevalues,onlyafewofthemareofrelevance.Thesewillbepresentedinthefollowing:

UNESCOisalsorunninganopensourcedatabasewheregenderrelateddataonscience,technologyandinnovation(STI)bycountryandbroadfieldsofsciencesaremonitored (UNESCOInstitute forStatistics2019,data.uis.unesco.org/). In general, the database covers 163 countriesworldwide (includingall12countries thatareusedascomparatorsbyElsevier,for instance,andallEUmemberstates).Butcountrydataareincompleteorevenfragmentaryforimportantindicators.

CROSS-ORGANISATIONAL DATA BASE

Leiden Ranking (2019): The current CWTS Leiden Ranking 2019includesinformationofscientificperformanceofnearly1000majoruni-versities from 56 different countries. This covers for instance universi-tiesfrommostEUmemberstates8andfromall12comparatorcountriesthatwereusedintheElsevierReport(2017).TheCWTSLeidenRankingbenchmarksuniversitiesaccordingtotheirpublicationperformance.TheCWTSLeidenRanking2019isbasedonbibliographicdatafromtheWebofSciencedatabaseandpresentsavarietyofindicatorstoexploretheperformanceofuniversitiesfromdifferentangles.Since2019italsoin-cludes gender indicators based on publications. Data are provided onthelevelofuniversities,whichbythemselvesaremappedbycountries.Thedataarepresentedalongfivescientificfields(Biomedicalandhealthsciences,Lifeandearthsciences,Mathematicsandcomputerscience,Physicalsciencesandengineering,Socialsciencesandhumanities).Thisclassification is more restricted compared to the data of She Figures,sincedataofnarrowscientificfieldsarenotavailable.

OVERVIEW OF DATABASES

Table1givesanoverviewwhichrelevantdimensionarecoveredbyeachdatabase:

• Alldatabasesdocoverdifferentresearchfieldstoacertainex-tent.Someprovidedatafordetailedfieldsofresearchandde-velopment(“FORD”)orfieldsofstudy(“FoS”),othersarelimitedtobroadclassifications.

• Concerningthecoverageofcountries,alldatabaseprovidedataonthelevelofcountries.However,intheElsevierandUNESCOdatabases,countries thatare important fromaEuropeanper-spectivearemissing.TheLeidenrankingisbyconceptcompar-ingresearchorganisationsandnotcountries.Butastheorgani-sations are also linked to countries one can indirectly derivecountryspecificinformation.

• OnlySheFigures includesdifferentcareerstage (likedoctoralgraduatesorprofessors).

8 Theranking2019includesnouniversitiesfromthefollowingfiveEUmemberstates:Bulgaria,Cyprus,Latvia,Luxembourg,Malta.9 Forthe2019reportseeUniversityofManchester(2019).E.g.womenmakeup49.8%oftheworkforceoveralland42.2%ofacademicstaff,butnoinformation

onthelevelofdepartmentsorscientificdisciplinesisgiven.


CAREER LEVEL

Doctoral graduates: “Proportion (%) of women among doctoral graduates”,2016.(Source:SheFigures2018):Theindicatorisprovidedfor all researchers (p. 20), as well as by broad fields of study11 (p.23).Furthermore, for selected STEM-fields like natural sciences/mathema-tics and statistics, ICT and engineering/manufacturing and construc-tion(p.26)dataarealsoavailablebynarrowfieldsofstudy12.DataarepresentedbycountryandEU-28.Usually,doctoralgraduatesareaveryimportantgroupinacademicresearchteams,astheyfrequentlyarere-sponsible for the (time-consuming) field research (laboratory researchetc.).Therefore,thisindicatorcanserveasameaningfulbenchmarkforresearchgroupsapplyingforprojects.

Full professorship: proportion (%) of women among Grade A po-sitions(Source:SheFigures2018):Forthelevelofleadership the“SheFigures2018”providesdataforfullprofessorsbygender.Inthetermino-logyofthereport,thisgroupislabelledasGradeA13:Inthiscontext,twoindicatorsarepublished:Theindicator“Evolutionoftheproportion(%)ofwomenamongGradeApositions,2013vs.2016”,(p.119)providesdataforallsciences(aggregated)andasecondindicatorprovidesdatabysixbroadfieldsofR&D(“Theproportion(%)ofwomanamonggradeAstaffamongbymainfieldofR&D14, p.121).

PUBLICATIONS:

Proportion of women researchers in publications. (Source:LeidenRanking2019)(“The number of female authorships as a proportion of a university’s number of male and female authorships”)15:Dataareavaila-bleon the level ofuniversities.However, theLeiden rankingdoesnotdifferentiatebetweenfirstandco-authorsorthescientificimpactofthepublications.Theproportionofwomen’sauthorships fromthis rankingcouldbeusedasaroughreference(thoughnotadirectbenchmarkofpublications)forthegenderbalanceofaspecificresearchteamorpro-jectconsortium.

PROPORTION OF WOMEN RESEARCHERS IN GENERAL AND FOR SPECIFIC RESEARCH FIELDS

“Share of female researchers by country, 2013 or closest year (%)”, (Source: UNESCO Science Report, p. 87f.): Values are given forcountries and regions all over the world for all fields of sciences. For(world-)regions like EU, Latin America or West Asia single values arepublished. Unfortunately for most individual countries, only ranges ofvalues are published. For instance, according to the report, in Austriawomen’sshareofresearchersisbetween25%and34,9%.Afurtherre-striction is that the indicator does not differentiate between differentlevelsofcareerstages.

“Female researchers by field of science, 2013 or closest year (%)” (Source:UNESCOScienceReport,p.87): This indicatorgoesonestepfurtherthantheformerindicator.Itcoversmorethan75countriesfromallovertheworldanddifferentiatesbroadresearchfields(Naturalscien-ces,Engineeringandtechnology,Medicalsciences,Agriculturalscien-cesandSocialsciencesandhumanities).Althoughvaluesareavailableformorethan75countries,formanyimportantcountriesinsciencethe-rearenodata(e.g.USA,Germany,UK,Italy,France,Austria)provided.Furthermore,theindicatoralsodoesnotdifferentiatebetweendifferentlevelsofcareerstages.

“Proportion and number of researchers by gender […] and re-search areas, 2011 – 2015”, (Source: Elsevier): This indicator is pro-videdintwovariations.Thefirstgivesanoverallpictureofwomenre-searchers(p.18),thesecondindicator(p.24)differentiatesbetween27researchareas(e.g.Medicine,Engineering,Neuroscience)accordingtotheScopusclassificationoffieldsofstudy(ASJC).Theindicatorscoverselectedcountriesoutside theEU (e.g.US,CAN,BR,AUS)aswell asthe EU-28 and selected individual EU member-states (UK, FR, P, DK).However,importantresearch-intensecountrieslikeGER10,IT,AT,CHetc.arenotincluded.Therefore,therearecertainrestrictionsconcerningtheregionalcoverageofthedata.Anotherdisadvantageisthattheindicatordoesnotdifferentiatebetweencareerlevels.

10 However,thereisaseparatereportforGermanythatwaspublishedbeforetheGlobalReport(Elsevier2015).11 TheISCED-F2013classification(UNESCOInstituteofStatistics,2014)distinguishes29narrowfieldsofeducationandtrainingorganisedin10broadgroups:

education;humanitiesandarts;socialsciences,journalismandinformation;businessadministrationandlaw;naturalsciences,mathematicsandstatistics;informationandcommunicationtechnology;engineering,manufacturingandconstruction;agriculture,forestry,fisheriesandveterinary;healthandwelfare;andservices.

12 Selectednarrowfieldsofstudy:Naturalsciences,mathematicsandstatistics(Biologicalandrelatedsciences;Environment;Physicalsciences;Mathematicsandstatistics);InformationandCommunicationTechnologies;Engineering,manufacturingandconstruction(Engineeringandengineeringtrades;Manufac-turingandprocessing;Architectureandconstruction)

13 “GradeAeithercorrespondstotherankoffullprofessor,ortothehighestpostatwhichresearchisnormallyconducted.”(SHEFigures2018,p.118andp190)

14 FieldsofR&D:NS=naturalsciences;ET=engineeringandtechnology;MS=medicalsciences;AS=agriculturalsciences;SS=socialsciences;H=humanities.

15 ThisindicatorisabbreviatedasPA(F|MF)intheLeidenRanking.


Table2summarisesthediscussedindicators.

Source Fields of research/study Country level

All fields (aggregated)

broad fields narrow field

Proportion of women Researchers (general)

“Shareoffemaleresearchers,2013(%)orclosestyear(%)”

UNESCOSciencereport,p.88ff.(UNESCOopensourcedata)

yes No no

yes(butimportantdevelopedcountriesmissing,formanycountriesonlyvaluerangesavailable)

“Femaleresearchersbyfieldofscience,2013orclosestyear(%)”

UNESCOSciencereport,p.87ff.(UNESCOopensourcedata)

no Yes(FORD*) noyes(butimportantdevelopedcountriesmissing)

Proportionofresearchersbygender(2011-2015)andsubjectarea

Elsevier,p.24 yes No Yes(ASJC**)

yes(butonlyselectedEU-andnon-EU-states,EU28included)

Career Level

Doctoralgraduates:Proportion(%)ofwomenamongdoctoralgraduates,2016

SheFigures,p.19f.,p.23,p.26

yes Yes(FoS**)Yes,butonly

forSTEM-fields(FoS**)

yes

GradeA:proportion(%)ofwomenamongGradeApositions,2016

SheFigures,p.119,p121

yes Yes noYes(somecountriesmissing)

Publication

“Thenumberoffemaleauthorshipsasaproportionofauniversity’snumberofmaleandfemaleauthorships(2014-2017)”

LeidenRanking no Yes no(no)(butindirectbylocationofuniversities)

Table 2Usefulgender-relatedindicatorsfrominternationaldatabases/reportsSource:owncompilation,*FORD:FieldofR&D,**FoS:fieldofstudy,***ASJC:AllScienceJournalClassificationCodes(Scopus)

UNIVERSITY BASED INDICATORS FOR TEAMS AND CONSORTIA

Benchmarking the gender balance of a research team against thedata from the above databases is one possible way of estimating thegenderbalanceofa teamwithin the international research landscape.Theinternationalperspectiveishighlyrelevant,sinceatleastforpost-docpositionsonward,itistheglobalscientificcommunitythat’srelevantandteamsatoneuniversityorinstituteareoftencomposedinternationally.

However,aproject teamorconsortiamightbecomposedofscien-tistsalreadyworkingatthespecificuniversityorpartnerorganisationsinvolved.Inthiscase,therelevantreferencetobeconsideredshouldbedrawn from the statisticsavailableat theseuniversitiesor consortiumpartners.Relevantbenchmark-indicatorscouldbe:

• Proportion of researchers by gender in all partner organisa-tionsandbybroadundnarrowfieldsofR&D.

• Proportion of doctoral graduatesbygenderinallpartneror-ganisationsandbybroadundnarrowfieldsofR&D.

• Proportion of professorsbygenderinallpartnerorganisationsandbybroadundnarrowfieldsofR&D.

Theadvantageofsuchdataisthattheyareveryclosetotheconsortiaandevenifnotpublished,mostoftheorganisationsshouldhavegenderrelateddata.Thevaluesoftheindicators(e.g.shareofwomenamongdoctoral researchers inBiomedicine) canbecollected foreachuniver-sityorpartner-organisationoftheconsortia.Thevaluescanserveasabenchmarkcorridor forwomen’sparticipationwithintheproject team.However,afewchallengesarise:

• Not standardised:Unlikepublicationslike“SheFigures2018”whichprovidestandardisedandcomparabledata,researchor-ganisationscollecttheirdatabasedondifferentclassifications.Thereisnostandardisedmonitoringsystemforalluniversities.Therefore,theindicatorvaluesthatarecollectedintwodiffer-ent organisations may express similar things but may be dif-ferent in detail (e.g. concerning the classifications of field ofresearch,thedefinitionofprofessorships,PhDstudentsvs.doc-


• SSSUP-InstitutodiBioRobotica(ScuolaSuperioreSant’Anna)(IT)• UniversiteitGent(BE)• UniversidaddeGranada(ES)• TechnicalUniversityofDenmark–DTU(DK)

AVAILABLE DATA

Fortheanalysisonadetailedlevel,weusedthefield“Computer(andInformation)Science”or“InformationandCommunicationTechnology”,whereavailable.AccordingtotheFrascatiManual(OECD2015),thisispartofNaturalSciencesasoneofsixbroadfieldsofresearchanddeve-lopment(“FORD”).

Thefollowingdatasourcescouldbeused:

• Country-level: For thebenchmarkon country level data from“SheFigures2018”andpartly “Elsevier”wereuseful. For thelatteronlydataareavailableforEU-28for“allsciences”(aggre-gated)aswellasfor“ComputerSciences”.Datafromthe“UN-ESCOsciencereport”weretoounspecifictobehelpful(genderrelateddata for thepartner-countriesareonlyavailable inanaggregatedwayfor“allsciences”,dataareprovidedasratherbroadranges,e.g.shareofwomeninallsciencesinGermanybetween25%-34,9%).Therefore,datafromtheUNESCOreporthavenotbeenincludedinthedatacompilations.

• Organisational level: Forthispaper,weonlyconducteddesk-research of online available data and did not contact everyresearch organisation directly asking for gender related data.Desk research showed that only two partner organisations(EPFL, TUM) have published gender-related data online. ThepartnerorganisationFORTISSasasocalled“an-Institut”caninthisrespectbeconsideredaspartoftheTUM.Therefore,dataareavailableforthreeorganisations.Thedefinitionofthepub-lishedindicatorsvariesbetweentheorganisations.Forexample,theTUMpublishes“completedpromotions”whileforEPFLthe“numberofPhD-Students”arepublished.Therearealsodiffer-ences in the classification of the research fields. While datafromTUMfocuson“Informatik”,datafromEPFLcoverthefieldsof “Computer and Communication Sciences”. Therefore, dataallowonlyaroughbenchmark.

• Publication:IntheLeiden-Rankingsixoftheeightpartneror-ganisationsareincluded.

Thebenchmarkforwomen’sparticipationrevealsthefollowingpic-ture.

SHARE OF WOMEN RESEARCHERS IN GENERAL:

TheElsevierGenderReport(2017)showsthattheproportionofwo-menasresearchers (2011-2015) inEU-28reaches41%forallsciences(aggregated)and22%forComputerSciencesspecifically.

toralgraduations).Duetothislackofstandardisation,onemustbecarefulwhileinterpretingthedata.

• Big consortia: Sometimes, especially if consortia consist ofmanypartnerorganisations, thecompilationofdatacanbeatime-consumingexercise.Apossiblewaytosolvethisproblemcouldbetobenchmarkdataonlyfromselected(leading)part-ners.

• Interdisciplinary consortia: Problems also arise in interdisci-plinaryresearchgroups,sincetheaverageofwomen’spartici-pationdifferssignificantlybetweenresearchareas.This issueisnoteasytohandle.Usingaveragevaluesacrossarangeofdisciplinesmightleadtofalseconclusions,asparticularlyhighand lowvalueswill canceleachotherout. In largeconsortia,eachdisciplinecouldbeanalysedseparately,whereasinsmallconsortia,itisdifficulttoderiveadequatevalues.Inthiscase,itcouldbeanoptiontofocusononecoredisciplinewithintheproject.

Theselimitationsdonotmeanthatcollectingdatadirectlyfrompart-nerorganisations isofnouse.Thecontrary is thecase.Thedatagiveaclose-to-project-viewof thegenderbalanceof thepartnerorganisa-tionswhichcanbebenchmarkedagainstthedataoftheprojectteam.However,datamustbeinterpretedwithcaution,duetothementionedlimitationswhichresultfromthebottomupdatacollection.

2.3CASESTUDYREFERENCEDATAFORCOMPUTERSCIENCES

Havingdiscussedexistingdatasourcesandpossibleindicators,weproposetolookatalltheseindicators,asthereisnooneperfectsolu-tion.Goingonestepfurther,wenowsetouttotest ifandhowthis isfeasibleforahypotheticalresearchconsortium.Wehavechosencom-puterscience(orICT–InformationandCommunicationTechnology),asa field of science where women are a minority. With the intention tobe as realistic as possible when choosing specific organisations for ahypothetical consortium, we considered the “Neurorobotics Platform”,whichisoneoftheeightmainsubprojectsofthe“HumanBrainProject”(HBP)16.Neuroroboticsingeneralisinterdisciplinary,includingspecialistfieldsofcomputersciencesanddrawingontheconnectionwithbrainresearchtounderstandandimplementaspectsofmotionandsensation,learningandreasoning.Eightorganisationsfromsixcountriesarelistedaspartnersofthisplatform17:

• EcolePolytechniqueFédéraledeLausanne(EPFL)(CH)• TechnischeUniversitätMünchen(TUM-RoboticsandEmbed-

dedSystems)(GER)• Fortiss,an-InstitutderTechnischenUniversitätMünchen (For-

tiss)(GER)• ForschungszentrumInformatikamKarlsruherInstitutfürTech-

nologie(FZI)(GER)

16 TheHumanBrainProjectisoneofthreeEUFETFlagships.“FETFlagshipsarepartoftheFutureEmergingTechnologies(FET)programme,whichinvestsintransformativefrontierresearchandinnovationwithahighpotentialimpactontechnology,tobenefitoureconomyandsociety.”(seehttps://ec.europa.eu/digital-single-market/en/fet-flagships25thOctober2019)

17 https://neurorobotics.net/partners.html(5thSeptember2019)


• Level of Organisations: Available data of the organisationsshowashareofbetween13%to21%ofwomenincomputer-related sciences which is a similar range like in the country-benchmark.(SHEFigures2018)

DOCTORAL GRADUATES:

• Country-level: For all sciences (aggregated), the share ofwomen doctoral graduates in the mentioned countries variesbetween38%(CH)and52%(IT),whileinthefieldsofstudiesofICTtheshareofwomengraduatesisbetween15%(GER)and25%(IT).(SHEFigures2018)

Figure 1:Doctoralgraduates:Proportion(%)ofwomeninpartner-countriesandpartnerorganisationsSource:SheFigures2018,datafor2016,annualreportsofpartner-organisations,*TUM/Fortiss:completedpromotionsin“Informatik”,*EPFL:Com-puterandCommunicationSciences.

Figure 2:Professors:Proportion(%)ofwomeninpartner-countriesandpartner-organisationsSource:SheFigures2018,datafor2016,annualreportsofpartner-organisations,*TUM/Fortiss:completedpromotionsin“Informatik”,*EPFL:PhD-studentsin“ComputerandCommunicationSciences”.

PROFESSORS

• Country-level:TheshareofwomenwithinthecareerstageofProfessors(GradeA18)variesbetween16%-22%forallsciences(aggregated)and isalmost thesame fornatural sciences.Nodataonnarrowfields(e.g.ICT)arepublishedinthe“SheFig-ures”.(SHEFigures2018)

• Level of Organisations: DatafortheorganisationsshowthatinICT-relatedfieldswomen’sshareamongprofessorsreachednotmorethan8%(forTUMC4/W3Professorships,EPFLfullprofes-sors).

18 Asdiscussedabove,GradeAeithercorrespondstotherankoffullprofessor,ortothehighestpostatwhichresearchisnormallyconducted.(SHEFigures2018,p.118,p.190,and,fordetailsonnationallevel,p.194ff)


PUBLICATIONS (LEIDEN-RANKING)

TheLeidenRankingshowsthatthenumberofwomenauthorsasaproportionofallpublicationsoftheorganisationsvariesforallsciences(aggregated)between16%and35%andfor“Mathematicsandcompu-terscience”between11%and19%.Asmentionedabove,thiscouldbeusedasaroughreferencevaluetocomparewiththeshareofwomeninaspecificresearchorprojectteam.

Figure 3:“Thenumberoffemaleauthorshipsasaproportionofauniversity’snumberofmaleandfemaleauthorships(2014-2017)”Source:Source:LeidenRanking2019,IndicatorPA_F_MF,Frac_counting:1

CONCLUSIONS OF THE CASE STUDY

ItwasshownhowbenchmarksandreferencevaluescanbederivedfortheICTfieldandspecificresearchorganizations.Wesummarizeourfindingsonwomen’sparticipationasfollows:

• Whiletheaggregatedproportionofwomenresearchers(2011-2015)inallsciencesreaches41%(EU-28),inthefieldofCom-puterSciencesoneoffiveresearchers(22%)isawoman.

• Fordoctoralgraduates,datarevealthatinICTfields,women’sproportionisconsiderablylowerthaninallsciencesaggregat-ed.Thepartnerorganisationsconsideredinthecasestudyarenoexception.TheparticipationofwomenisaboutthesameasintheICTresearchfieldsatnationallevel.

• At theprofessors’ level, thedatashow that theproportionofwomeninthenaturalsciencesisslightlylowerthaninallsci-entificdisciplines(aggregated).ForthenarrowfieldsofICTnonationaldataareavailable.Amongthepartnerorganisationsforwhichdataareavailable,weknowthatonly8%ofICTprofes-sorsarewomen.

• ThepublicationdataoftheLeidenRankingshowthat,depend-ingon thepartnerorganisations, theproportionofwomen in

publications in the field of “Mathematics and Informatics” isbetween10%and19%.Forallpartnerorganisations,thedatashow that the proportion of women in this scientific field islowerthanforallscientificdisciplines(aggregated).

Basedon theseempirical results, thequestionariseswhich targetvaluesareappropriatetoassesstheproportionofwomencontributingin a specific team. The indicators analysed span minimum and maxi-mumvalues fordifferent career levels (seeTable3below). Toprovidethe“missingelement”andcompletetheassessmentinthiscase,gen-derratioswithintheactualprojectteamwouldhavetobecollected:fortheteamoverall, for leadershippositions(professor-level)anddoctoralgraduatesasabasistocomparewiththereferencevalues.

Aprojectconsortiumnotreachingminimumvaluesshouldcarefullyreflectallpossiblereasons.Itmightconcludethatsomeofthepartnerscontributewithspecificfields,e.g.relatedtoinfrastructureortheoreticalcomputerscience inwhichevenlesswomenareactivelycontributing.Ifthisisnotthecase,measurestocounteractshouldbetakenimmedi-ately.Indoingso,anysupportavailableattheresearchinstitutions,oronregionallevelshouldbeconsidered.


Minimum value Maximum value

Career Level% of

womenBased on

% of women

Based on

Doctoralandpostdoctoralpositions 13%ICT,PartnerInstitutionwithlowestvalue

25% ICTGraduatesinItaly

PrincipalInvestigators

10%

WomenasauthorsintheLeidenRanking(Mathematicsandcomputerscience),partnerinstitutionwithlowestvalue

19%

WomenasauthorsintheLeidenRanking(Mathematicsandcomputerscience),partnerinstitutionwithhighestvalue

Leadingpositioninprojectconsortiaorsubprojects

8%WomenProfessorsinICTatpartnerorganisations

23%WomenprofessorsofnaturalsciencesinItaly

Table 3:ComparativefiguresforwomeninICTatdifferentcareerlevels

3. SUMMARY AND CONCLUSIONS

Theaimofthispaperistomakeanevidence-basedcontributiontothequestionofanaccurategender-balanceinresearchteams.Wehavereviewedexistinginternationaldatasourcesthatcovergender-specificdatainresearchandassessedtheusefulnessofthesesources.Thefin-dingscanbesummarizedasfollows:

• Asuitabledatasourceforourpurposeshouldfulfillseveralcrit-ieria.Itshouldcoverwomen’sproportionamongresearchers(i)alongfieldsofresearch,(ii)acrosscountries/organisationsor(iii)carreerlevels.Anotherimportantquestionis(iv)ifthedatasourceandrespectivereportsareupdatedregularly.

• Thereareseveralsourcesdealingwithgender-relateddata inresearch.Butasfarasweknow,noneofthemcoversallmen-tioned criteria at once. Most sources are severely limited intheavailiabilityandcomparabilityof thegenderdata.This is,amongothers,duetothecomplexinterplayofdifferentdefini-tions (e.g. regarding fieldsofstudy/researchorcareer levels),fociondifferent levels (e.g. internationalscientificcommunityinaspecificfield,nationalororganizationallevel)andlackingregularityofreports.

• Forourpurpose,atleasttwoconditionshadtobemetinordertobeincludedinamoredetailedanalysis.Thedatasourcehadtocovergender-specificdataformorethanonecountryaswellasfordifferentfieldsofresearchorstudy.Accordingtothesecriteria,weanalysedfoursourcesindetail:(i)the“SHEFigures”reportpublishedbytheEuropeanCommissioneverythreeyears(latestrelease“SheFigures2018”inFebruary2019),(ii)“Gen-der in the Global Research Landscape” published by Elsevierin2017,(iii)“UNESCOScienceReport”(2015)and(iv)“CWTSLeidenRanking”,whichispublishedannually.

• Accordingtoourresearch,the“SheFigures”reporthasproventobethemostusefuldatabase.

• Generally, themorespecific the indicators, the less likely it isthatcurrentdataareactuallyavailable.Forexample:Inthe“SheFigures”report,thesharesofwomenamongPhD-studentsarepublishedatthelevelofnarrowfieldsofstudiesforthenatural

sciences,ICTandengineering.Dataforallotherfieldsofstudyareonlyreportedinbroadcategories.Withregardtoprofessors,theavailabledatacoveronlybroadfieldsofresearch(suchasnaturalsciences,humanities,etc.)andnodetailedinformationisfoundatall.

• Asa consequence, formany research fields, publications likethe “She Figures” report will not be enough to derive mean-ingfuldata foranassessmentof gender-balances in specificresearchteams,projectsorconsortia.Tooveromethisshortage,data must be collected directly from partner organisations togetanideaaboutwomen’sproportionatdifferentcareerstagesand for specific research fields. Furthermore, an additionalliterature research focusing on the specific scientific fields ofinterest can prove useful. Various scientific communities orprofessionalorganisationsoccasionallypublishgender-relatedstudiesorreportsfortheirspecificfields.

• Thecase study revealed that some,butnotall, organisationspublishdetailedgender-relateddata. In thispaperwe limitedour researchondatawhichareavailableonline.Wesupposethatthelackofavailabledataatthelevelofpartnerorganisa-tionswouldbereducedwithin“real”consortia,i.e.whenhavingaccesstointernaldataoforganisations.Todayallorganisationmonitor theirhuman ressources in someway.So,even if thedataarenotpublishedexplicitly,thereshouldatleastbeinter-nalinformationwithintheorganisations.Therefore,itshouldbepossibleforprojectpartnerstocollectrelevantindicatorswithintheirownorganisation.

What steps need to be taken if a consortium team wants to as-sessitsowngenderrelationsagainstbenchmarks,asproposedinthispaper?

• First, one has to collect the relevant benchmark data. In thispaperwehavediscussedanumberofpossibledatasourcesaswellasexisting indicators.Weareconvincedthatacombina-tionofinternationaldatasourceswithbottom-upcollecteddataofresearchpartnerorganisationscangiveanapropriateover-viewoftheactualparticipationofwomeninspecificresearchfields, as well as on different career levels (PhD, professors).Thesedatacanbeconsideredasabenchmarkandprovideanevidence-basedstartingpointofdiscussion.Theycanbecom-


terdisciplinaryprojecttoanalyzeandhelpreducethegendergapinma-thematicsandthenaturalsciences.AIPConferenceProceedings2109,030006(2019);https://doi.org/10.1063/1.5110068

Elsevier (2015). Mapping Gender in the German Research Arena. htt-ps://www.elsevier.com/__data/assets/pdf_file/0004/126715/ELS_Ger-many_Gender_Research-SinglePages.pdf

Elsevier (2017).Gender intheGlobalResearchLandscape.Analysisofresearchperformancethroughgenderlendsacross20years,12geogra-phies,and27subjectareas.Online:https://www.elsevier.com/__data/assets/pdf_file/0008/265661/ElsevierGenderReport_final_for-web.pdf

European Commission(2019).SHEFIGURES2018.Directorate-GeneralforResearchandInnovation.Online:https://ec.europa.eu/info/publications/she-figures-2018_en.

European Union (2019). Gender equality. Website Participant PortalH2020OnlineManual.https://ec.europa.eu/research/participants/docs/h2020-funding-guide/cross-cutting-issues/gender_en.htm)

Grasenick, Karin(2019).Countingthenumbers:whatisafairgender-balance in science projects? Blogpost from May 24th, 2019. https://www.ethicsdialogues.eu/2019/05/24/counting-the-numbers-what-is-a-fair-gender-balance-in-science-projects/

Harvey Mudd College (2019).AboutHarveyMuddCollege–PresidentMariaKlawe.Website.https://www.hmc.edu/about-hmc/president-klawe/

Holman, Luke; Stuart-Fox, Devi; Hauser, Cindy E.(2018).Thegendergap in science:How longuntilwomenareequally represented?PLoSBiol16(4):e2004956.https://doi.org/10.1371/journal.pbio.2004956

Leiden Ranking(2019).CWTSLeidenRanking2019.CentreforScienceandTechnologyStudies.LeidenUniversity.Website.https://www.leidenranking.com/

National Academy of Sciences, National Academy of Engineering, and Institute of Medicine (2007).BeyondBiasandBarriers:FulfillingthePotentialofWomeninAcademicScienceandEngineering.Washing-ton,DC:TheNationalAcademiesPress.https://doi.org/10.17226/11741.

Netzwerk Frauen- und Geschlechterforschung NRW(2019).Gender-Report der Hochschulen in NRW. Website. http://www.genderreport-hochschulen.nrw.de/start-genderreport/

Nickelsburg, Monica(2019).HarveyMuddPresidentMariaKlawehasa message for computer science grads — and the tech industry. Ge-ekWire Podcast, June 13th, 2019. https://www.geekwire.com/2019/harvey-mudd-president-maria-klawe-message-computer-science-grads-tech-industry/

OECD (2015).FrascatiManual2015.Guidelines forCollectingandRe-portingDataonResearchandExperimentalDevelopment.https://www.oecd.org/publications/frascati-manual-2015-9789264239012-en.htm

pared with a team’s or consortium’s actual shares of womenandmentoassessthestatusquo.

• Second,basedon thisdata-evidence,withina research-team(oranentireorganisation),itshouldbediscussed:Whatisourgoalregardingtheparticipationofwomenandmen?

° Isitenoughtobeamongaveragecountries/organisationsinthefield?Inthiscase,theaveragevaluesofthebenchmarkindicatorscanbeusedas“lower threshold”.

° Ordowewant to challengeourselvesand setmoreambi-tiousgoalstoreapthepotentialsofamorebalancedteamcomposition?Inthiscase,theresearchteamcouldfollowthebestinthefieldas“upper threshold”ofthebenchmark,orstrivetogoevenbeyond.WehavereferencedtheUniversityof Manchester (University of Manchester – Department ofComputerScience2019).Another frequentlycitedexampleistheHarveyMuddCollegeintheUSA,whereCollegePresi-dentMariaKlawemanaged to reverse the trendofdeclin-ingparticipationofwomenincomputerscience(seeHarveyMuddCollege2019,Nickelsburg2019).

Thiscouldalsobeareasonablerequirementbyfundingagencies,iftheyadaptthevaluestotherespectivescientificfieldorthematicareas.However,reachingtheupperthreshold(“bestinclass”)orevenanunre-flected50:50asabindingcriterionforresearchprojectsdoesnotseempractical.Fundingagenciescouldinsteadstarttocompensatethoseap-plicantswhovoluntarilystriveformoreambitiousgoalswithadditionalresourcesforthenecessaryadditionalefforts.

Indiscussionsaboutanaccurateshareofwomeninresearchteams,it is often argued that the “pool” of suitable researchers is limited.ThecasestudypresentedinthispapershowsfortheexampleofICTthatthereisnosingleand“true”benchmarkvalue.Weratherfindrangesofvaluesdependingondifferentcountriesororganisations.Forexample,theproportionofwomenPhDresearchers inthecountries inquestionvariesbetween15%and25%(fieldofICT).Toestimateiftherearereallyrestrictionsintheacqusitionofwomen,itisgoodtobeinformedabouttheserangesinthespecificfieldsofresearch.Iftheproportionofwomenina research team isat the lowerendof these ranges, theargumentthattheirsharecannotbehigherduetoalackofsuitableresearchersisprobablynot thewhole truth.Thepersuasivenessof thisargument,however, increaseswhenaresearchteamisalreadypositionedat theupperendofthespectrum.Ultimately, it isuptoeachteamtodecidehowitwantstopositionitselfwithinaninternationalresearchcommuni-ty.Theprerequisiteforthisistheknowledgeoftheactualproportionofwomenandmenintherespectiveresearchareasindifferentcountriesorresearchorganisations.

REFERENCES / LITERATUREBert, Alison(2018).3reasonsgenderdiversityiscrucialtoscience.DatarevealsthattheworldneedsmorewomeninSTEM;here’swhy.ElsevierConnect,October1,2018.https://www.elsevier.com/connect/3-reasons-gender-diversity-is-crucial-to-science

Butcher, Gilian; Chiu, Mei-Hung; Gledhill, Igle; Ivie, Rachel; Dawson, Silvina Ponce; Roy, Marie-Francoise (2019).An internationaland in-


AUTHORSMAGDALENA KLEINBERGER-PIERERconvelop cooperative knowledge design gmbh, convelopBürgergasse8-10/I,A-8010GrazT:+43316720813E:[email protected]

SIMON POHN-WEIDINGERconvelop cooperative knowledge design gmbh, convelopBürgergasse8-10/I,A-8010GrazT:+43316720813E:[email protected]

KARIN GRASENICKconvelop cooperative knowledge design gmbh, convelopBürgergasse8-10/I,A-8010GrazT:+43316720813E:[email protected]

KEYWORDS: GenderBalance,HigherEducation,Indicator,Women,Science

Acknowledgement: Our research has received funding from the Euro-peanUnionHorizon2020FrameworkProgrammeforResearchand In-novationundertheSpecificGrantAgreementNo.785907(HumanBrainProjectSGA2).

PLOTINA (2015).Promotinggenderbalanceandinclusioninresearch,innovationandtraining.ProjectfundedbyEUHorizon2020(grantagree-mentG.ANO666008).https://www.plotina.eu/

Ranga, Marina; Gupta, Namrata; Etzkowitz, Henry(2012).GenderEf-fects inResearchFunding.Areviewofthescientificdiscussiononthegender-specificaspectsoftheevaluationoffundingproposalsandtheawarding of funding http://www.dfg.de/download/pdf/dfg_im_profil/geschaeftsstelle/publikationen/studien/studie_gender_effects.pdf

SAGE (2019). Science in Australia Gender Equity initiative. Website.www.sciencegenderequity.org.au/about-sage/

Schiebinger, Londa; Klinge, Ineke; Sánchez de Madariaga, Inés; Paik, Hee Young; Schraudner, Martina, and Stefanick, Marcia(Eds.)(2011-2018).GenderedInnovations inScience,Health&Medicine,En-gineering and Environment. http://genderedinnovations.stanford.edu/what-is-gendered-innovations.html

Staats, Cheryl; Capatosto, Kelly; Tenney, Lena & Mamo, Sarah(2017).State of the Science: Implicit bias review. Kirwan Institute. http://kir-waninstitute.osu.edu/wp-content/uploads/2017/11/2017-SOTS-final-draft-02.pdf

Technische Universität München (2018). Diversity -Reader der Tech-nischen Universität München. Ausgabe 1/2018. https://www.chan-cengleichheit.tum.de/fileadmin/w00blt/www/Download/Publikationen/TUM_Diversity_Reader_2018_-_v04.pdf

The Lancet(2019).Advancingwomeninscience,medicine,andglobalhealth. Vol. 393, Nr. 10171, p493-610, e6-e28, Feb 09, 2019. https://www.thelancet.com/journals/lancet/issue/vol393no10171/PIIS0140-6736(19)X0006-9#

UNESCO (2015). UNESCO Science Report: towards 2030. https://en.unesco.org/unesco_science_report

UNESCO Institute for Statistics (2019).UISStatisticsDatabase–Sci-ence,technologyandinnovation.http://data.uis.unesco.org/

UNESCO Institute for Statistics (2014). ISCED Fields of Educationand Training 2013 (ISCED-F 2013). Manual to accompany the Inter-national Standard Classification of Education 2011. http://dx.doi.org/10.15220/978-92-9189-150-4-en

University of Manchester – Department of Computer Science(2019).Womenincomputerscience.https://www.cs.manchester.ac.uk/about/women/

University of Manchester (UOM) (2019). Equality Information Report2019.http://documents.manchester.ac.uk/display.aspx?DocID=35595

World Economic Forum (2018). The Global Gender Gap Report 2018(Focus: AI). https://www.weforum.org/reports/the-global-gender-gap-report-2018


EINLEITUNG

DieseStudieuntersuchtdieMarktsituationinBezugaufEvalu-ierungen im Bereich Forschungs-, Technologie und Innovati-onspolitik(imWeiteren.FTI-Evaluierungen)inÖsterreich.Auf-

bauendaufeiner kurzenDarstellungvonEntwicklungundStatusquoderFTI-EvaluierungskulturinÖsterreichbeleuchtetsieinsbesonderedieEntwicklungdiesesEvaluierungsmarktes,dieMarktteilnehmerInnen,dieWettbewerbssituationsowieVergabepraxis.DieArbeitschließtmiteinerZusammenfassungderwichtigstenBefundesowieSchlussfolgerungenfürdiePraxisderFTI-EvaluierunginÖsterreich.

1.1HINTERGRUNDUNDZIELSETZUNG

Evaluierungenbzw.evaluierungs-ähnlicheUntersuchungen(z.B.Wir-kungsanalysen)imBereichForschungs-,TechnologieundInnovationspo-litik(FTI-Politik)sindheuteeinhäufiger,z.T.auchgesetzlichvorgeschrie-benerBestandteildespolitischenProzessesinÖsterreich.DieHäufigkeitundQualitätvonFTI-EvaluierungenhatindenletztenzweiJahrzehntendeutlichzugenommen.TeilweisewurdeindenletztenJahrenaberauchKritikanderVerfasstheitdesösterreichischenEvaluierungsmarktslaut.Dieser seiauf zuwenigeAnbieterkonzentriert, zuwenig internationalundmethodisch zuwenig innovativ.Mangels systematischerUntersu-chungenberuhtensolcheEinschätzungenjedochhauptsächlichaufsub-jektivenEinzelwahrnehmungen.

DieBeschaffenheitdesösterreichischenMarktesfürFTI-Evaluierun-genwarbislangkaumGegenstandempirischfundierterStudien.ZwargibtesMetaevaluierungenzurösterreichischenEvaluierungspraxis.Die-sefokussierenjedochaufArt,Methoden,QualitätundNutzenderunter-suchtenEvaluierungen(siehez.B.Landsteiner2015,Böttcheretal.2014,DingesundSchmidmayer2010).SiestreifennuramRandedieBeschaf-fenheitdesösterreichischenEvaluierungsmarktes,d.h.dieStrukturvonAuftraggebernundAuftragnehmern(sieheReinerundSmoliner2012).

Ziel der vorliegenden Untersuchung ist es, diese „terra incognita“zumindestteilweisezuerkunden.ImMittelpunktstehenFragenüberdieMarktgrößebzw.dasMarktvolumen,dieMarktstruktursowiederCha-rakteristikaderMarktteilnehmerInnen.DarüberhinauswurdenauchdieEinschätzungenderMarktteilnehmerInnenhinsichtlichderMarkt-bzw.WettbewerbssituationsowierelevanterEntwicklungenerhoben.

INHALTSVERZEICHNIS

1 Einleitung 72

1.1 HintergrundundZielsetzung 72

1.2 AufbauundMethodik 73

2 EntwicklungundStatusQuoDerFTI-Evaluierungund-Praxisin

74

2.1 FunktionvonEvaluierungenimFTI-Bereich 74

2.2 RechtlicheRahmenbedingungenbeiVergabeverfahren

74

3 ZentraleBefundezurMarktsituationimBereichFTI-EvaluierunginÖsterreich

75

3.1 EntwicklungundNachfragevonEvaluierungen 75

3.2 MarktteilnehmerundMarktteilnehmerinnen 77

3.3 Wettbewerbssituation 77

3.4 Vergabepraxis 78

4 ZusammenfassungundFazit 79

5 Referenzen 80

6 Abbildungsverzeichnis 81

7 Tabellenverzeichnis 81

JÜRGENSTREICHER,WOLFGANGPOLTUNDMAXIMILIANUNGERDOI:10.22163/fteval.2020.472

EINEUNTERSUCHUNGDERMARKTSITUATIONIMBEREICHDERFTI-EVALUIERUNGINÖSTERREICH


2009-2018 RepositoryderPlattformfürForschungs-undTechnologiepolitikevaluierung(fteval)VeröffentlichungenderBundesforschungsdatenbank(bfdat)InternetauftrittederrelevantenMinisterienundFörderagenturensowieöffentlicheMittler(auftrag.at,BundesbeschaffungGmbH)undEvaluierungs-AnbieterinÖsterreich(ftevalMitglieder)

2014-2018 BeantwortungparlamentarischerAnfragenbetreffenddieErbringungvonDienstleistungenfürdasBMBWF,BMVITundBMDWbzw.relevanteVorgängereinrichtungenVergabebekanntmachungenim„SupplementzumAmtsblattderEuropäischenUnion(TendersElectronicDaily,TED)

Tabelle 1: VerwendeteQuellenvonSekundärdaten

AufBasisderSekundärdatenwurdedieAnzahlvonEvaluierungenimFTI-Bereichvon2009bis2018recherchiert.Evaluierungen,dieinmeh-rerenSchrittendurchgeführtwurdenbzw.mehrerezusammenhängendeBerichteumfassten,wurdendabeialseineUntersuchunggewertet.DieverschiedenenInformationenzudeneinzelnenEvaluierungen,z.B.Titel,Abschlussjahr, AuftragnehmerInnen etc. wurden in einer Liste zusam-mengeführtunddenidentifiziertenAuftraggeberInnenmitderBitteumVervollständigungzurVerfügunggestellt.

ImZeitraumMaibisJuni2019wurdendieMitgliedseinrichtungenderPlattformftevalgebeten,aneinerOnline-Befragung,diesichjeweilsan AnbieterInnen bzw. AuftraggeberInnen von Evaluierungen richtete,teilzunehmen.BeiAnbieternlagderSchwerpunktdieserErhebungaufdem Umfang ihrer Tätigkeiten im Evaluierungsbereich sowie auf demStellenwertdiesesBereichsinihremLeistungsportfolio.BeiNachfragernlag der Schwerpunkt auf der Anzahl eingelangter Bewerbungen undvergebener Aufträge sowie aufden vergebenen Volumina. Die Fragenbezogen sich überwiegend auf die letzten drei Jahre (2016 bis 2018).DieerhobenenInhaltewurdenmitdenErgebnissenderSekundärdaten-analyseabgeglichensowiemitdenEinschätzungenvonMitgliedernderPlattformftevalimRahmeneinerDiskussionsveranstaltung2kontrastiert.

Als für die Befragung relevante MarktteilnehmerInnen wurden 13potentielle Auftragnehmer und zehn potentielle AuftraggeberInnenidentifiziert.DiesenwurdenLinkszurOnline-Befragungzugesandt.DieVersendung erfolgte nicht durch die JOANNEUM RESEARCH sonderndurcheineRechtsanwaltskanzlei.DiessichertedieAnonymitätderAn-gabenundgewährleistete,dassdieStudienautorenkeinenEinblick indieSituationeinzelnerMitbewerberInnenerhielten.Vondensokontak-tiertenMarkteilnehmernübermittelten12AuftragnehmerundachtAuf-traggeberInneneinenauswertbarenFragebogen.DerRücklauflagsomitbeirund90%bzw.80%.3DieStudienautorenmöchtenandieserStelledenMitgliedernderPlattformftevalnochmalsherzlichfürdieTeilnahmeanderBefragungdanken.

Die vorliegende Untersuchung soll eine empirische Grundlage fürweiterführende Diskussionen schaffen. Naturgemäß konnte sie auf-grundvonZeit-undRessourcenbeschränkungennichtalleAspektedesFTI-Evaluierungsmarktesausleuchten.SoistetwaderInnovationsgehaltder in Österreich verwendeten Evaluierungsmethoden nicht Gegen-stand der vorliegenden Untersuchung gewesen. Ob Marktdynamikenin Österreich anders als in vergleichbaren Ländern verlaufen, konntemangelsVergleichsdatenebenfallsnicht festgestelltwerden.Es konn-ten auch nicht alle Aspekte der Wettbewerbsintensität ausgeleuchtetwerden. Deshalb wären etwa evaluierungs-ähnliche Untersuchungen,dieErfassungvonMarktteilnehmerInnenaußerhalbderPlattformftevaloderVergleicheaufinternationalerundregionalerEbeneweitergehendeAnalysenwert.

1.2AUFBAUUNDMETHODIKDievorliegendeArbeituntersuchtdieMarktsituationimBereichder

FTI-EvaluierunginÖsterreich.DerFokusliegtalsoaufdemBereichFor-schung, Technologie und Innovationspolitik (FTI-Politik). Aufgrund dermanchmal großen inhaltlichen Nähe zur Hochschulpolitik und zu dendamitverbundenenMaßnahmenwurdenauchrelevanteEvaluierungenausdiesemBereichindieBetrachtungenmiteinbezogen.

BeiderDefinitiondesBegriffs„Evaluierung“wurdeaufdieStandardsderDeutschenGesellschaftfürEvaluatione.V.zurückgegriffen.Unterei-nerEvaluierungbzw.Evaluation1wirddemnachdie„systematische Un-tersuchung von Nutzen und/oder Güte eines Gegenstands (Evaluations-gegenstand) auf Basis von empirisch gewonnenen Daten … [verstanden. Sie impliziert] … eine Bewertung anhand offengelegter Kriterien für einen bestimmten Zweck.“ (DeGEvalStandards2016,S.33).DieseDefinitionwirdauchindenEvaluierungsstandardsderPlattformftevalverwendet(ftevalStandards2019,S.5-6).

Der Untersuchungszeitraum umfasst die zehn Jahre von 2009 bis2018. Um in die Untersuchung miteinbezogen zu werden, muss bzw.musstederEvaluierungsgegenstand(z.B.einProgramm)einenmöglichstklarenBezugzurFTI-Politikaufweisen–insbesondereimTitelderUnter-suchung–sowieaufBundesebeneimplementiertsein.Zwaristesauchmöglich, eine Vielzahl von anderen Materien zu evaluieren (Gesetze,Strategien,Richtlinien,Prozesse,Technologien,Dienstleistungen,Veran-staltungen,Schulungen,Materialien,Berichteu.a.,vgl.ftevalStandards2019,S.12)–dieentsprechendeBerücksichtigungdieserGegenständehättejedochdenRahmendergegenständlichenArbeitgesprengt.

Kapitel2bieteteinenkurzenÜberblicküberdieEntwicklungenunddenStatusquoderFTI-Evaluierungskulturund-praxisinÖsterreich.Da-beiwerdenFunktionensowiedierechtlichenRahmenbedingungenvonEvaluierungen imFTI-Bereich sowiedie rechtlichenRahmenbedingun-genbeschrieben.KernstückderStudiebildendieempirischenBefunde,welcheaufBasisvonSekundärdaten(Überblickvgl.Tab.1)sowieeinerBefragung von MarktteilnehmerInnen gewonnen wurden (siehe Kapi-tel3).

1 DieBegriffeEvaluierungundEvaluationwurdenimRahmenderSekundärdatenanalyseundPrimärerhebungsynonymverwendet.DievorliegendeArbeitwähltEvaluierungalsprimäreBezeichnung.

2 „DerEvaluierungsmarktimFTI-BereichinÖsterreich.ErgebnissederMarktstudieimAuftragderÖsterreichischenPlattformfürForschungs-undTechnolo-giepolitikevaluierung“.VeranstaltungderPlattformfteval,5.Juli2019,Wien.

3 RücklaufAuftraggeberInnen:Neun,auswertbarwarenacht:AufgrunddergeringenÜberlappungvondurchführendenbzw.beauftragendenEinrichtungenlässtsichabschließendnichtklären,obnichtdocheineVollerhebungstattgefundenhat.


praxis ist von Evaluierungen zahlreicher, relativ kleiner einzelner Pro-gramme und Maßnahmen geprägt. Institutionen, Organisationen odergesetzliche Regelungen werden dagegen selten evaluiert. Evaluierun-gennehmenüberwiegendeineformativePerspektiveeinundfindeninbestimmten, oft gesetzlich vorgeschriebenen, Intervallen während derLaufzeit einer Intervention statt (sogenannte Interims- oder Zwische-nevaluierungen). Ex-ante Evaluierungen, begleitende EvaluierungenbeierstmaligerUmsetzungundsummativeEvaluierungensindwenigerhäufiganzutreffen.

EvaluierungenfungierenalswichtigesInstrumentderFTI-PolitikundVerwaltungsführung, das dazu beiträgt, Transparenz, Rechenschaftsle-gungundeineevidenzbasierteEntscheidungsfindung zuunterstützen.DieDurchführungerfolgtinÖsterreichaufderBasisallgemeinergesetz-licher Erfordernisse, spezifischer Anforderungen im Kontext von Richt-linien und Fördertätigkeiten sowie haushaltrechtlicher Maßgaben. DieRechtsgrundlagen wurden in den letzten Jahren laufend aktualisiert,Begrifflichkeiten angepasst sowie Regelungen überarbeitet. Zu denmaßgeblichen Gesetzen und Vorschriften zählen das Forschungs- undTechnologieförderungsgesetz(FTF-G),dieAllgemeinenRahmenrichtlini-enfürdieGewährungvonFörderungenausBundesmitteln(ARR2014),dasForschungsorganisationsgesetz(FOG;Berichtswesen:§§6–9)sowiedie auf diesen Gesetzen basierenden Richtlinien zur Forschungsförde-rungundzurFörderung5derwirtschaftlich-technischenForschung,Tech-nologieentwicklung und Innovation (die sogenannten FTI-Richtlinien).6Im Einklang mit der Implementierung der wirkungsorientierten Haus-halts-undVerwaltungsführungwurden2015dieRichtlinienüberarbei-tet.DabeiwurdeeineFokussierungaufinhaltlicheZieleundIndikatorenvorgenommen(vgl.BMBWF,BMVITundBMDW2018).

ZudementwickeltesichindenletztenJahreneinregerDiskursüberMöglichkeiten,FunktionundNutzenvonEvaluierungen,AnsprücheanunddenUmgangmitEvaluierungen(vgl.BMWFWundBMVIT2017,sie-heauch:WartaundPhilipp2016).EshatsichrundumdieEvaluierungs-praxis eine Community mit einer „gemeinsamen Sprache“ entwickelt.DortwirdüberThemenwieWirkungsorientierungundFolgenabschät-zungdebattiert.DiePlattformftevalstelltdabeiseitJahreneinwichtigesForumdar.SieformuliertundpubliziertStandardsderEvaluierunginderForschungs-undTechnologiepolitik(vgl.ftevalStandards2019).

2.2RECHTLICHERAHMENBEDINGUNGENBEIVERGABEVERFAHREN

EvaluierungenstellenausderSichtderöffentlichenHandeinenBe-schaffungsfalldar.SiewerdenalsBestellungenderöffentlichenHandim Rahmen der öffentlichen Auftragsvergabe realisiert. In Österreichkönnen öffentliche Aufträge durch Bedarfsbündelung der öffentlichen

Bezüglich der Analyse der Befragungsergebnisse ist zu beachten,dass aufgrund der Zusammensetzung der Mitgliedseinrichtungen derPlattformftevalzwareinerepräsentative,aberkleineSamplegröße4zurVerfügungstand,sodassdeskriptiveAuswertungengewissenVerzerrun-gendurchAusreißerunterliegenkönnen.

In einem abschließenden Arbeitsschritt wurden die Ergebnisse zu-sammengeführtundeineranalytischenBetrachtungunterzogen(sieheKapitel4).

2. ENTWICKLUNG UND STATUS QUO DER FTI-EVALUIERUNGSKULTUR UND -PRAXIS IN ÖSTERREICH

Evaluierungen haben sich als Instrument im Prozess der FTI-Politikinternationaletabliert.SieermöglichenstrukturiertesFeedbackunddieBereitstellungpolitikrelevantenWissens,nichtnurfürdiePlanung,Ab-wicklungundBewertungbestehenderMaßnahmen.SieschaffenauchverbesserteGrundlagenfürdieEntwicklungvonIdeenunddieErarbei-tung neuer Initiativen. Nicht zuletzt im Kontext der europäischen FTI-PolitiksteigtderInformations-undLernbedarfüberdieFunktionsweisedesösterreichischenForschungs-undInnovationssystems,dieQualitätder österreichischen Forschung und Entwicklung und die WirksamkeitvonFTI-FörderungiminternationalenVergleich.

2.1FUNKTIONVONEVALUIERUNGENIMFTI-BEREICH

Vor diesem Hintergrund sind in den letzten zwei Jahrzehnten dieFTI-Evaluierungstätigkeiten in Österreich stark angestiegen. Evaluie-rungskompetenzen und -kapazitäten im öffentlichen Bereich wurdenausgebaut.EntsprechendeZuständigkeiten inRessortsundAgenturenwurdengeschaffen.Österreich liegtheutehinsichtlichderAnzahl vonEvaluierungenimFTI-BereichimeuropäischenSpitzenfeld.Studien,diesich dem Umgang mit Evaluierungen widmen, unterstreichen die imAllgemeinenhoheProfessionalitätundQualitätösterreichischerEvalu-ierungen(vgl.TsipouriundSidiropolous2014,DingesundSchmidmayer2010;sieheauchReinerundSmoliner2012,BMWFWundBMVIT2017).Andererseits isteine zunehmende InstitutionalisierungundRoutinisie-rung zu beobachten, mit Auswirkungen auf das Nutzen von und dasLernen aus Evaluierungen (vgl. Streicher 2017, Landsteiner 2015, Bie-gelbauer2013).

Die österreichische Evaluierungspraxis im FTI-Bereich spiegelt dieStruktur des Forschungsförderungssystems wider. Diese Evaluierungs-

4 Dasbetrifft insbesonderedieAngabenderAuftraggeberInnenvonEvaluierungen,diesich inderPlattformftevalausverschiedenenEinrichtungenmitunterschiedlichemNachfrageverhaltennachEvaluierungenzusammensetzen.

5 Vgl.RichtlinienderBundesregierungüberdieGewährungundDurchführungvonFörderungengemäß§§10–12FOG,BGBl.Nr.341/19816 Vgl.RichtlinienzurFörderungderwirtschaftlich-technischenForschung,TechnologieentwicklungundInnovation(FTI-Richtlinie2015);dassind:Themen-FTI-

Richtlinie,Struktur-FTI-Richtlinie,Humanressourcen-FTI-RichtliniegemäßForschungs-undTechnologieförderungsgesetz (FTF-G)desBundesministers fürVerkehr,InnovationundTechnologie(GZBMVIT-609.986/0011-III/I2/2014)unddesBundesministersfürWirtschaftundArbeit(GZBMWFW-97.005/0003-C1/9/2014).


3. ZENTRALE BEFUNDE ZUR MARKTSITUATION IM BEREICH FTI-EVALUIERUNG IN ÖSTERREICH

ImFolgendenwerdendiewichtigstenBefundeausderAnalysederSekundärdatenundderOnline-Befragungpräsentiert.

3.1ENTWICKLUNGUNDNACHFRAGEVONEVALUIERUNGEN

ImZugedererstenRecherchephasekonntenfürdenZeitraum2009bis2018über500Studien,AnalysenundExpertisenmitmehroderwe-nigerstarkemBezugzumThemenfeldFTIidentifiziertwerden.UnterBe-rücksichtigungdereingangsbeschriebenenDefinitionenkonntedieAn-zahlauf107einzelneEvaluierungeneingegrenztwerden.Abb.1gibtdieEntwicklungderZahldieserEvaluierungen imZeitverlaufwider.DiesezeigtstarkeSchwankungenbis2014,waszumeinenaufdieumfassen-de Systemevaluierung zu Beginn des Betrachtungszeitraums (Aigingeret al. 2009) und die im Vergleich zu den Folgejahren schwächere Da-tenbasiszurückgeführtwerdenkann.Andererseitsistzuvermuten,dassdieSekundärdatenbasis für frühereJahreschwächer ist,daeinTrendzurvermehrtenDarstellungvonReferenzprojektenaufdenWebsitesderAnbieterfeststellbarist.

ÜberdengesamtenZeitraumbetrachtet lagdieLeitungderEvalu-ierungeninca.neunvonzehnFällenbeieinerösterreichischenEinrich-tung.DerRestverteiltsichaufEinrichtungenausandereneuropäischenLändern, insbesondereaufsolcheausDeutschland.KnappdreiViertelaller Evaluierungen wurden von Einrichtungen durchgeführt, die mitStandJuni2019auchMitgliedbeiderPlattformftevalwaren.IneinemDrittelderübrigenFällewarendiese,soweitdiesnachvollziehbarwar,immerhin als Partner dabei. Der Anteil an fteval-Mitgliedern an dendurchgeführten Evaluierungen ist in den letzten Jahren des Beobach-tungszeitraumsjedochzurückgegangen.

EinrichtungenzentraloderdurchjedenBedarfsträgerselbst,alsodezen-tral, imRahmenderGesetze,vergebenwerden.7DiezentraleBeschaf-fungfürBundesdienststellenundandereöffentlicheAuftraggeberInnenübernimmtinÖsterreichseit2001dieBundesbeschaffungGmbH(BBG)alsTochterdesBundesministeriumsfürFinanzen(BMF).

SeitdemBeitritt zurEuropäischenUnion (EU)1995existiert inÖs-terreich fürdieöffentlicheAuftragsvergabeeingesetzlichesRegulativ.Seit 2002 gilt ein einheitliches Bundesvergabegesetz (BvergG). ZuletztwurdediesesGesetz2018novelliert.ZudenzentralenGrundsätzendesVergaberechts (§ 20 BVergG 2018) zählen u.a. ein freier und lautererWettbewerb,GleichbehandlungallerBewerbersowieallgemeindieGe-währleistungvonTransparenzinVergabeverfahren.

DasBundesvergabegesetzsiehtinseineraktuellenFassungeineRei-hevonVergabeverfahrenvor(§31BVergG2018).Diesesind:offenesVer-fahren,nichtoffenesVerfahrenmit/ohnevorherige(r)Bekanntmachung,Verhandlungsverfahrenmit/ohnevorherige(r)Bekanntmachung,Direkt-vergabe(auch:mitvorherigerBekanntmachung),Rahmenvereinbarung,dynamisches Beschaffungssystem, wettbewerblicher Dialog, elektroni-scheAuktion(keineigenesVergabeverfahren)unddieInnovationspart-nerschaft. Weiters lassen sich die Verfahrensarten nach den durchzu-führendenSchritten(ein-bisdreistufigesVergabeverfahren)unterteilen.

Wesentliches Kriterium für die Art der Vergabe ist der geschätzteAuftragswert der zu vergebenden Leistung. Im Vergabeverfahren wirdzwischen dem Oberschwellenbereich und dem Unterschwellenbereichunterschieden. ImOberschwellenbereichkommennichtsämtlicheVer-fahrensartenzurAnwendung,undesbestehenauchhöhereAnforderun-genandiePublizitätdesVergabeverfahrens.ObeinVergabeverfahrenimOberschwellenbereichoderUnterschwellenbereichvorliegt,orientiertsich am (geschätzten) Auftragswert. Der Grenzwert zum Oberschwel-lenbereich für öffentliche Liefer- und Dienstleistungsaufträge einerzentralen Beschaffungsstelle sowie vergleichbarer Bundeseinrichtun-genbeträgt144.000€(§12BVergG2018).FüralleübrigenLiefer-undDienstleistungsaufträgebeläuft sichderSchwellenwert auf221.000€(Bauaufträge:5.548.000€).AbdemErreichendieserGrenzwertemusszusätzlichzurBekanntmachungimregionalenAmtsblatteineMeldungandasAmtsblattdereuropäischenUnion(TendersElectronicDaily,TED)ergehen.

Im Unterschwellenbereich wurde die Schwellenwerteverordnungvon2009(VOBGBl.IINr.125/2009)imJahr2018biszum31.Dezember2020neuerlichverlängert.AufträgeimBau-,Liefer-undDienstleistungs-bereich können weiterhin bis zu einem geschätzten Auftragswert von100.000€ (ohneUst.)direkt,ggf.nachEinholungvonAngebotenoderunverbindlichenPreisauskünften,voneinemodermehrerenInteressen-ten an geeignete leistungsfähige und zuverlässige AuftraggeberInnenvergebenwerden.Anzumerkenist,dassindenrelevantenRessortsver-schiedene, mehr oder weniger formalisierte, Verfahren und Vorgangs-weisenetabliertwurden,welchedieDirektvergabevongeistigenDienst-leistungen unter Berücksichtigung der Grundsätze des Vergaberechtsregeln.Dazugehörenu.a.BestimmungenbezüglichderEinholungundBewertungvonAngeboten.

7 ZudenVor-undNachteilenzentralersowiedezentraleröffentlicherBeschaffungsiehez.B.Handler2005.


eherdemSpektrumevaluierungs-ähnlicherUntersuchungenzuzuordnensind–aberdurchdieAuftragnehmerInnenalsEvaluierungenimSinnedieserUntersuchungeingestuftwurden.

MitBlickaufdieunterschiedlichenArtenvonEvaluierungen(sieheTab.2)fällterwartungsgemäßdieDominanzvonInterims-bzw.Zwische-nevaluierungenauf.ÜberraschendistdievondenAuftragnehmerInnengenanntehoheAnzahlanEx-anteEvaluierungen.DieserBefundstehtimKontrast zu bisherigen Beobachtungen. Abseits der oben angeführtenVermutungbezüglichdesUmfangsderberücksichtigtenArbeitendürf-tenverwandteunddennochunterschiedlicheKonzepte(z.B.Roadmaps,Entwicklungsszenarien, Foresight und Technikfolgen-Abschätzungen),die zuletzt verstärkt Einsatz im FTI-Bereich fanden (vgl. BMWFW undBMVIT2017)–inderBefragungalsEx-anteEvaluierungeneingeordnetwordensein.

Ein Vergleich mit einer der frühesten Erhebungen (Dinges undSchmidmayer2010)zeigt,dasssichdieEvaluierungsaktivitätenseitMit-teder2000erJahreca.verdoppelthaben:Wurdenzwischen2002und2007 imSchnittsechsEvaluierungenproJahrdurchgeführt,sowareneslautSekundärdatenanalyseimZeitraum2016bis2018bereits13(vgl.Tab2).

LautdenAuftraggeberInnenwurden imUntersuchungszeitraumimSchnitt rund17EvaluierungenproJahrbeauftragt,was insgesamtalsUntergrenzeangenommenwerdenkann.DieDifferenzzumErgebnisderSekundärdatenanalyseistzumTeilaufnichtpublizierteEvaluierungenzu-rückzuführen.DiehöchsteAnzahlandurchgeführtenEvaluierungen(25)imZeitraum2016bis2018wirdinderBefragungderAuftragnehmerIn-nengenannt.Esistzuvermuten,dasshierauchArbeitenberücksichtigtwurden,dienichtnurMaßnahmenaufBundesebeneadressierenoder

Abbildung 1:AnzahlanidentifiziertenEvaluierungenimZeitraum2009-2018Quelle:Sekundärdatenanalyse(vgl.Tab.1).

Evaluierungsart1Durchschnitt pro Jahr

2002-2007a 2016-2018b 2016-2018c 2016-2018d

Ex-anteEvaluierungen2 0,8 0,3 0,7 4,3

Interims-/Zwischenevaluierungen3 0,7 10,7 7,3 12,0

BegleitendeEvaluierungen4 3,0 1,0 3,3 4,3

Ex-postEvaluierungen(inkl.andere)5 1,2 0,7 5,3 4,3

Summe 5,7 12,7 16,7 25,0

Tabelle 2: EvaluierungenaufnationalerEbene,2002-2007sowie2016-2018

Anmerkungen: aDingesundSchmidmayer2010,bSekundärdatenanalyse, cBefragungAuftraggeberInnen, dBefragungAuftragnehmerInnen; 1DefinitionenlautftevalStandards2019,S.12;vergleichbarmitdenDefinitioneninDingesundSchmidmayer2010,S.253.2setzenvorBeginneinerInterventionanundhabeneinenzukunftsgerichtetenCharakter;3durchgeführtwährendderLaufzeiteinerIntervention,unterschiedlicheFoki;4setzenzuBeginneinerInterventionanunderfolgenparallelzuIhrerUmsetzung,unterschiedlicheFoki;5direktund/oderlangenachAbschlusseinerInterven-tion,inkl.„terminale“EvaluierungenzumMaßnahmenendebzw.„other“lautDingesundSchmidmayer2010.


privatwirtschaftlichenUnternehmensowiesonstigenEinrichtungenzu.Gemessen am Gesamtumsatz zeigt sich eine relativ gleichmäßige Ver-teilungderEinrichtungenübereinSpektrumvon„kleinen“mitwenigerals500.000€bishinzu„großen“Einrichtungenmitmehrals5Mio.€GesamtumsatzproJahr,essindalsoEinrichtungenunterschiedlichsterGrößeaufdemösterreichischenMarktvertreten.

DieAuftragnehmerInnensindvielfachinternationalaktiv:ZweiDrit-tel(achtvonzwölf)gebenan,inausgewählteneuropäischenLänderntä-tigzusein.FürmehralsdieHälftestelltdiegesamteEUeinenMarktdar.AuchdieThemenbereiche,inwelchenzwischen2016und2018Evaluie-rungenangebotenbzw.durchgeführtwurden,sindbreitgestreut.Kaumabgedecktwerdendurchdiehiererfassten InstitutionenaberThemenderinternationalenEntwicklungoderderKulturundKulturpolitik.

ZudenamhäufigstengenanntenevaluativenTätigkeitsschwerpunk-tenderbefragtenEinrichtungenzählendieEvaluierungvonFörder-undForschungsprogrammensowiedieErstellungvonStudien,dieinTeileneinenEvaluierungscharakteraufweisen(jeweils80%,zehnvonzwölf).BeiderEvaluierungvonEinrichtungenbzw.InstitutionenbeträgtderAn-teil75%(neunvonzwölf),beiderDurchführungvonWirkungsanalysen67%(neunvonzwölf).ReviewsundGutachtenwerdenrelativseltenalsTätigkeitsschwerpunktgenannt.

NurwenigeEinrichtungenbildendasgesamteSpektrumanevalu-ativenTätigkeitenab.VielehabeneinüberdieJahreentwickeltesSetanTätigkeitsschwerpunktenundkönnenaufErfahrunginmehrerenThe-menbereichen aufbauen. Nahezu alle befragten AuftragnehmerInnensindzudemindenletztenJahrenimZugevonFTI-EvaluierungeneineKooperationmitanderenPartnerneingegangen.

FürdiebefragtenAuftragnehmerspielenFTI-EvaluierungenimRah-menihrerGeschäftstätigkeiteinewichtige,jedochnichtdieHauptrolle.2018lagderAnteilanentsprechendenEvaluierungenamGesamtbudgetbzw.-umsatzbei27%(imInlandvergeben)bzw.15%(imAuslandver-geben).FürdienächstenJahre(bis2023)wirdeineleichteVerschiebungderAnteilezugunstenvonEvaluierungen,dieimAuslandvergebenwer-den,erwartet.DieerwirtschaftetenErträgeausEvaluierungsaufträgenwerdenalsüberwiegendkostendeckendeingeschätzt(75%,neunvonzwölf).EinViertelgabjedochauchan,dassEvaluierungen,dieaufnati-onalerEbenevergebenwurden,inSummenichtkostendeckenddurch-geführtwerdenkonnten.

3.3WETTBEWERBSSITUATIONDieAusschreibungundVergabevonAufträgen imBereichderFTI-

EvaluierungeninÖsterreichsehen67%(achtvonzwölf)derbefragtenAuftragnehmerInnenals starkaufwenigeAuftraggeberInnenkonzent-riert.Dabeiverfügenlediglich25%(dreivonzwölf)überSchlüsselauf-traggeberbzw.Stammkunden.Bei42%(fünfvonzwölf)wechselndieAuftraggeberInnenhäufig,bei33%(viervonzwölf)zumindestgelegent-lich.EtwasandersstelltsichdieSichtweisebeidenAuftraggeberInnendar:62%(fünfvonacht)sehenIhreEinrichtungalseineuntervielen,lediglich 25 % (zwei von acht) als eine unter den wenigen wichtigenNachfragern. Übereinstimmend ist das Bild dagegen hinsichtlich derZusammensetzungderAuftragnehmerInnen imLaufederJahre:DiesewechseltenauchlautEinschätzungderAuftraggeberInnenzuletzthäufig(für50%)bzw.gelegentlich(für37%).

Während25%derbefragtenAuftragnehmerInnendenWettbewerbaufnationalerEbenealszuletztgleichbleibendeinschätzen,attestieren

SummiertüberallebefragtenAuftragnehmerInnen,gebendiesean,zwischen2016und2018 imSchnittproJahrca.750.000€durchFTI-Evaluierungeneingeworbenzuhaben.AuftraggeberInnenschätzendasVolumenanexternvergebeneEvaluierungenfürdenselbenZeitraumimJahresdurchschnittaufca.760.000€.DieEinschätzungenvonAuftrag-geberInnen und AuftragnehmerInnen zur Marktreife decken sich alsoin hohem Maße. Die Ergebnisse der Sekundärdatenanalyse sind dies-bezüglichunvollständig,weisenabertendenziellindieselbeRichtung.

ImEinklangmitdenBefundenderSekundärdatenanalysegeben58%(siebenvonzwölf)derbefragtenAuftragnehmerInnenan,dassdieNach-fragegemessenamGesamtvolumenderausgeschriebenenEvaluierungs-aufträgeimFTI-BereichimInlandzwischen2016und2018unverändertgebliebenist(für25%zugenommen,für17%abgenommen).Laut63%(fünfvonacht)derbefragtenAuftraggeberInnenwarimselbenZeitraumin ihren Einrichtungen die Nachfrage nach Evaluierungen unverändert(für 37 % zugenommen). Zuletzt entwickelte sich die Nachfrage nachEvaluierungenehergleichmäßig,wassichmitjüngstenBeobachtungenüberdieRegelmäßigkeit undRoutinedesEvaluierungsaufkommens imFTI-BereichinÖsterreichdeckt(Streicher2017,Landsteiner2015).

3.2MARKTTEILNEHMERUNDMARKTTEILNEHMERINNEN

InstitutionellwirddasPolitikfeldFTIvorallemdurchdreiMinisterienbestimmt:(1)BundesministeriumfürBildung,WissenschaftundForschung(BMBWF), (2) Bundesministerium für Digitalisierung und Wirtschafts-standort (BMDW) und (3) Bundesministerium für Klimaschutz, Umwelt,Energie, Mobilität, Innovation und Technologie (BMK). Diese bzw. rele-vanteVorgängereinrichtungensind,oftgemeinsamauftretend,aktuelldiewesentlichenAuftraggeberInnenfürEvaluierungenaufBundesebene.DieSekundärdatenanalysebestätigtdies.WeitererelevanteRessortsfürdieVergabevonFTI-Evaluierungen,diejedochnichtbefragtwurden,könnendasBundesministerium für Finanzen (BMF)unddasBundesministeriumfürSoziales,Gesundheit,PflegeundKonsumentenschutz(BMSGPK)sein.AuchdasBundesministeriumfürLandwirtschaft,RegionenundTourismus(BMLRT)unddasBundesministeriumfürLandesverteidigung(BMLV)be-auftragen gelegentlich Evaluierungen bzw. evaluierungs-ähnliche Unter-suchungenmitForschungs-und/oderTechnologieinhalten.

DieGegenständevonEvaluierungen–oftFTI-Programme–werdenzumeist von Agenturen im Auftrag eines Trägers/Ministeriums umge-setzt.DieseAgenturensindimBereichderangewandtenForschungdieForschungsförderungsgesellschaft(FFG)sowiedasAustrianWirtschafts-service(aws).ImBereichderGrundlagenforschungistesderFondszurFörderung der wissenschaftlichen Forschung (FWF). Laut Sekundärda-tenanalyse tritt der FWF für Evaluierungen, die seine Programme undMaßnahmen betreffen, regelmäßig auch als Auftraggeber auf. Im Ge-gensatzdazuließensichnurwenigeEvaluierungenindenSekundärda-tenquellenfinden,dievonFFGoderawsbeauftragtwurden.

Die befragten AnbieterInnen von Evaluierungen unter den fteval-Mitgliedsorganisationen, welche auch am Großteil der Evaluierungender letzten Jahre beteiligt waren, setzen sich aus unterschiedlichenForschungsorganisationenundBeratungsunternehmenzusammen(vgl.WartaundPhilipp2016).LautBefragungstuftsichdieHälfte(sechsvonzwölf)alsprivateaußeruniversitäreForschungseinrichtungein,derRestordnet sich öffentlichen außeruniversitären Forschungseinrichtungen,


67%(achtvonzwölf)eineverschärfteWettbewerbssituation,wobeidie-se auf internationaler Ebene noch ausgeprägter wahrgenommen wird(82%).Auch88%(siebenvonacht)derbefragtenAuftraggeberInnenschätzendenWettbewerbimInlandalssehrstarkein(vgl.Abb.2).

Abbildung 2:EinschätzungderWettbewerbssituation,2016-2018Quelle:Online-BefragungAuftragnehmerInnenundAuftraggeberInnen2019.WertesindarithmetischeMittel.

Als Gründe für die verschärfte Wettbewerbssituation im InlandwerdenvondenbefragtenAuftragnehmernamhäufigstenderMarkt-eintritt neuer MitbewerberInnen sowie ein stärkerer Preiswettbewerbgenannt.MitBlickaufdieEntwicklungenderletztenfünfbiszehnJahrewurdenzudemsteigendeAnforderungenbeigleichbleibendenBudgetsangeführt.BudgetäreEinschränkungengehen lautWahrnehmungderAuftragnehmerInnenjedochauchmitdemVerzichtaufweitreichendere,und somit kostenintensivere Fragestellungen in Leistungsbeschreibun-geneinher.

DasgezeichneteBilddecktsichzumGroßteilmitdenEinschätzungenderAuftraggeberInnen.EinhoherWettbewerbinsbesonderebeikleine-renProjektenstehteinemzunehmendenZeitdruckinderVerwaltungso-wiebudgetärenBeschränkungengegenüber.EinigeAuftraggeberInnenbestätigen,dassAnbieterausanderenLändernseltensindundnurbeigrößerenProjekteneinegewisseRollespielen.AuchdieProfessionalitätder österreichischen Anbieter wird bestätigt. Ihre Kompetenz wird als„sehr hoch“ (50 %) bzw. „hoch“ (50 %) eingeschätzt (jeweils vier vonacht).EsfindetsichauchdieWahrnehmung,dassbeiAnbieternausan-derenLändernkeinehöhereQualitätalsbeiösterreichischenAnbieternfestzustellenist8.

3.4VERGABEPRAXISWährendAuftraggeberInnenimJahr2016imSchnitt2,2Teilnahme-

anträgebzw.Angebote füreinen zu vergebendenEvaluierungsauftragerhielten,stiegdieZahl2017aufvier.2018gingderWertwiederauf3,5zurück.ÜberdiesenZeitraumhinwegwaren indenverschiedenenausschreibenden Stellen jedoch teils große Schwankungen festzustel-len.Dabeiwar inwenigenFällen lediglicheineEinreichungproEvalu-ierungsauftragzuverzeichnen; ineinemanderenFall fandenachtEin-reichungendenWegzurausschreibendenStelle.DiesesBildwirddurchdieSekundärdatenanalyseimGroßenundGanzenbestätigt.Rund90%derTeilnahmeanträgebzw.AngebotekamenvonösterreichischenEin-richtungen.

Im Durchschnitt über alle Befragten hinweg geben diese an, dassEvaluierungenmehrheitlichimUnterschwellenbereichvergebenwurden(vgl.Abb.3).DiesesErgebniswirddurchdieSekundärdatenanalysege-stützt.HierkonntenfürdenselbenZeitraumnureineHandvollEU-weitveröffentlichterAusschreibungen(diealsoüberdemSchwellenwertla-gen)identifiziertwerden.DaimUnterschwellenbereichangesiedelt,kames indenallermeistenFällen (zweiDrittel) zuDirektvergaben,deutlich

8 AusdenfreientextlichenErgänzungendesFragebogens.


wenigerwurdeninFormvonVerhandlungsverfahrenmitvorherigerBe-kanntmachung (13 %) und offenen Verfahren (11 %) abgewickelt. DerZuschlagswert, also jener Betrag, für den die Evaluierung schließlichbeauftragtwurde,laglautAuftraggeberInnenin80%derbeauftragtenFälleinetwagleichaufmitdemgeschätztenAuftragswert.

Abbildung 3:ZuschlagsvoluminaundVergabearten,2016-2018Quelle:Online-BefragungAuftraggeberInnen2019.WertesindarithmetischeMittel.

GefragtnachdenwichtigstenHerausforderungenbeiVergabeprozessenim Inland, nannten die Auftragnehmer am häufigsten sehr breite An-forderungenunddetaillierteFragestellungensowiedieVorgabeengerbudgetärerundzeitlicherRahmenbeigleichzeitighohenAnforderungenanmethodischeTiefeundInnovation.AufinternationalerEbenestellenvorallemRahmenverträge, teils ‚erzwungene‘Konsortialbildungsowielange Entscheidungshorizonte Herausforderungen dar. Aus Sicht derAuftraggeberInnenliegendieHerausforderungenimInlandinsbesonde-redarin,das fürdieEvaluierungverfügbareBudgetmitdergeplantenAufgabenstellung in Einklang zu bringen, die Erstellung von Vergabe-undBewertungskriterienzudefinierenunddabeidasVergaberechtein-zuhalten.

4. ZUSAMMENFASSUNG UND FAZIT

DievorliegendeStudieliefertersteEinblickeindieEntwicklungdesösterreichischen Evaluierungsmarktes im FTI-Bereich in Bezug auf dieMarktteilnehmerInnen,WettbewerbssituationundVergabepraxis.DassimZugederBefragungeinGroßteilderrelevantenMarktteilnehmerIn-nenerreichtwurde,sprichtfüreinehoheValiditätderErgebnisse,wel-chezudemimRahmeneinerDiskussionsveranstaltungderftevalAnfangJuli2019breiteZustimmungfanden.9

Die manchmal geäußerten Vermutungen, wonach der österreichi-scheEvaluierungsmarktvoneinergeringenWettbewerbsintensitätundeinervergleichsweisekleinenZahlanAnbieterInnengeprägtsei,konn-ten imRahmendieserUntersuchungnichtbestätigtwerden.VielmehrwirdderMarktderFTI-EvaluierungeninÖsterreichsowohlvonAuftrag-geberInnenalsauchAuftragnehmerInnenalssehrwettbewerbsintensivbeschrieben.DabeistelltderMarktdieAuftragnehmervorallemdurchseinegeringeGröße,einewahrgenommeneKonzentrationaufseitenderAuftraggeber,denMarkteintrittneuerMitbewerberInnensowiewach-

9 https://www.fteval.at/content/home/veranstaltungen/veranstaltungen/vorankuender/


BMBWF, BMVIT und BMDW(2018):ÖsterreichischerForschungs-undTechnologiebericht2018.BerichtderBundesregierungandenNational-ratgem.§8(2)FOGüberdieLageundBedürfnissevonForschung,Tech-nologieundInnovationinÖsterreich,Wien.

BMWFW und BMVIT(2017):ÖsterreichischerForschungs-undTechno-logiebericht2017.Lageberichtgem.§8(1)überdieausBundesmittelngeförderteForschung,TechnologieundInnovationinÖsterreich,Wien.

Böttcher, W., Kerlen, C., Maats, P., Schwab, O., & Sheikh, S. (2014).EvaluationinDeutschlandundÖsterreich.Münster:Waxmann.

DeGEval Standards (2016):DeGEval–GesellschaftfürEvaluation.Stan-dardsfürEvaluation.ErsteRevisionaufBasisderFassung2002.https://www.degeval.org/fileadmin/Publikationen/DeGEval_Standards_fuer_Evaluation_-_Erste_Revision__2016_.pdf

Dinges, M. und Schmidmayer, J. (2010):Country report:Austria., in:Edler,J.,Cunningham,P.,Gök,A.,Rigby,J.,Amanatidou,E.,Garefi, I.,Bührer,S.,Dinges,M.,Berger,M.,Schmid-mayer,J.undGuy,K.(2010):UnderstandingevaluationofinnovationpolicyinEurope,in:INNO-App-raisalfinalreport,Manchester,243–264

fteval Standards(2019):StandardsderEvaluierunginderForschungs-,Technologie- und Innovationspolitik. https://repository.fteval.at/386/7/standards_DT_WEB_08042019.pdf

Handler, H. (2005): Öffentliches Auftragswesen und Wettbewerb imgesamtwirtschaftlichen Zusammenhang; in: Michael Sachs (Hrsg.),SchwerpunktezumBVergG2006:ÖkonomischeundrechtlicheAspekte,Wien(Manz)2005:27-58.

Landsteiner, G. (2015):NützlichkeitundNutzenderProgrammevalua-tionen im Bereich der österreichischen FTI-Politik. Metaevaluation derProgrammevaluationen2003–2014

Reiner, D. und Smoliner S. (2012):OutputorientierteEvaluierungöffent-lichgeförderterFTI-Programme.StudieimAuftragdesBundesministeri-umsfürVerkehr,InnovationundTechnologie,Wien

Streicher, J. (2017): Evaluations, Actors and Institutions. The Case ofResearch,TechnologyandInnovationPolicyinAustria

Tsipouri, L und Sidiropolous, N. (2014):RTDIevaluationcultureintheEVAL-INNOcoun-tries.In:ZupanI,GajdusekMFandMarinkovicI(Hsg.)FosteringEvaluationCompetenciesinResearch,TechnologyandInnova-tion–theEVAL-INNOexperience,S.11-20.LITVerlag.

Warta, K. und Philipp. S. (2016):WasbringtdiePlattformftevalundzuwashatsieesge-bracht?RückblickeundErgebnisseeinerMitglie-derbefragung, The fteval Journal for Rese-arch and Technology PolicyEvaluation,Ausgabe41,5–14

sende inhaltlicheAnforderungenbeigeringenBudgets vorgroßeHer-ausforderungen.

DieWettbewerbsintensitätdurchneueAnbieteristhoch.ObwohldieZahlderMitgliederderPlattformfteval indenletztenJahrengewach-senist,entfälltca.einViertelallerAufträgeaufInstitutionen,dienichtMitgliederderPlattformsind.InRichtunghoherWettbewerbsintensitätweisenauchdieAntwortenaufFragenüberdiepreislicheWettbewerbs-fähigkeit.EinnichtunbeträchtlicherTeilderMarktteilnehmerInnenbe-zeichnetdieProjektealsoftmalsnichtkostendeckend.

DieUntersuchungbestätigtteilweisedieVermutungüberdengerin-genInternationalisierungsgraddesösterreichischenEvaluierungsmark-tes.Esistzuvermuten,dassderösterreichischeEvaluierungsmarktmitseiner insgesamt relativ geringen Größe, den geringen Projektgrößen,undderwachsendenZahlanMitbewerbernfürausländischeAnbieternur begrenzt attraktiv ist. Hinzu kommt eventuell das Spezifikum vonDeutschalsBerichtssprache.DieNachfrageistvonDirektvergabenge-kennzeichnet;diesesindoftwenigertransparentalsandereVergabefor-men.AnbieterausanderenLändernsindkaumimLeadvonKonsortienzufinden,undauchunterdenKonsortialmitgliedernschwachvertreten.

Auf der Seite der von den AuftraggeberInnen wahrgenommenenEvaluierungskompetenz der österreichischen Anbieter dürfte es keinProblemgeben:Diesewirddurchwegs–auchimVergleichmitauslän-dischenAnbietern–alshochbzw.sehrhocheingeschätzt.ZudemsindösterreichischeAnbietervonEvaluierungenvielfachauchaufinternati-onalerEbeneaktiv.

Insgesamt weisen die vorliegenden Befunde auf einen wettbe-werbsintensiven FTI-Evaluierungsmarkt in Österreich hin, der aberzumallergrößtenTeilvoneinerVielzahlösterreichischerAnbieterInnenbedient wird, denen eine hohe Qualität bescheinigt wird. GleichzeitigweistereinigeCharakteristikaauf,diesichnegativaufeinequalitativeEntwicklungauswirkenkönnen:geringeProjektgrößen,hoherPreisdruckundeinhoherAnteilanDirektvergabenkönntensolchepotentiellretar-dierendeFaktorensein.Versuche,denMarktfürFTI-Evaluierungenqua-litativweiterzuentwickeln,solltenhieransetzen.

Abschließend ist nochmals zu betonen, dass die gegenständlicheStudie nicht alle Dimensionen des FTI-Evaluierungsmarktes, sondernnurdenklarabgegrenztenBereichderVergabeöffentlicherAufträgefürwissenschaftlicheDienst-undForschungsleistungenabdeckenkonnte.DarüberhinausgehendeFragen,etwazurBedeutungvonStudien,Ana-lysenundwissenschaftlichenBegleitaktivitäten,dienichtEvaluierungenentsprechendderhierzugrundegelegtenDefinitionumfassen,bedürfennähererUntersuchungen.Gleichwohlhoffenwir,mitdieserStudieeine(erste)empirischeBasisfüreinefundierteDiskussiongelegtzuhaben.Eine anzustrebende wichtige Erweiterung der Analyse wäre ein Ver-gleichdesösterreichischenMarktesmitanderenLändern.

5. REFERENZENAiginger, K., Falk, R. und Reinstaller A.(2009):Evaluationofgovern-mentfundinginRTDIfromasystemsperspectiveinAustria.SynthesisReport,Vienna.

Biegelbauer, P. (2013). Wie lernt die Politik? Lernen aus Erfahrung inPolitikundVerwaltung.Springer-Verlag.


6. ABBILDUNGSVERZEICHNIS

Abbildung1: AnzahlanidentifiziertenEvaluierungenimZeitraum2009-2018 76

Abbildung2: EinschätzungderWettbewerbssituation,2016-2018 78

Abbildung3: ZuschlagsvoluminaundVergabearten,2016-2018 79

7. TABELLENVERZEICHNISTabelle1: VerwendeteQuellenvonSekundärdaten 73

Tabelle2: EvaluierungenaufnationalerEbene,2002-2007sowie2016-2018 76

AUTORENJÜRGEN STREICHERJoanneum ResearchSensengasse1,1090WienE:[email protected]

WOLFGANG POLTJoanneum ResearchSensengasse1,1090WienE:[email protected]

MAXIMILIAN UNGERJoanneum ResearchSensengasse1,[email protected]

KEYWORDS: Evaluierungsmarkt;FTI-Evaluierung;Österreich

NOWAVAILABLE!LATEST EDITION OF THE

'EVALUATION STANDARDS FOR RESEARCH, TECHNOLOGY AND INNOVATION POLICY'OFTHEAUSTRIANPLATFORMFORRESEARCHANDTECHNOLOGYPOLICYEVALUATION

Download in German: fteval.at/content/home/standards/fteval_standards/

Do you want print [email protected]

Download in English: fteval.at/content/home/standards/fteval_standards/index.jsp?langId=2

FTEVAL JOURNAL FOR RESEARCH AND TECHNOLOGY POLICY EVALUATION

… RTI POLICY EVALUATION AT THE INTERFACE BETWEEN PRACTICE AND ACADEMIA …

The ‘fteval Journal for Research and Technology Policy Evaluation’ contributes in a quality assured way to exchange between various stakeholder groups in the area of science, research, technology and innovation policy evaluation. It addresses policy-makers, practitioners, evaluators and the academic community. Thematic editions alternate with thematically open issues. By now 50 issues have been published, which can be accessed and downloaded from the fteval-repository and the fteval homepage. The fteval Journal is open access. The journal and each published paper receive a separate DOI. All paper contributions are quality controlled, but not subject to peer-review in the strict academic sense.Researchers and practitioners from the RTI policy domain are invited to send contributions to the editor of the ‘fteval Journal for Research and Technology Policy Evaluation’ ([email protected]). The contributions can be submitted either in German or English.

If you want to receive the ‘fteval Journal for Research and Technology Policy Evaluation’ free of charge, please fill out this form and send it to [email protected] or drop it into the infobox at one of our conferences and events.

first name

last name

institution

address

postal code

city/place

country

e-mail

By filling in this information you agree to* receive the fteval Journal by mail (free of charge)* to receive the electronic newsletter of fteval, which informs about pertinent issues of RTI evaluation in Austria and the EU via email (such as calls for contributions for the next fteval Journal) and thus you entitle the fteval to process your indicated personal data for the purpose of transmission of information to you. You can revoke consent at any time by informing us via eMail ([email protected]).

CALLFORPAPERSJOURNAL#51

Theupcomingftevaljournal'stopicisEurope.Wewelcomeboth,academicandpractice-oriented

contributions,dealingwith theevaluationofRTIpolicieswithaEuropeandimension.Articles

mayrangefromspecificresultsofevaluationstudies,tomethodological,organisationalortheo-

reticalcontributions.Pleaseshareyourideasforcontributionsasabstracts until April 17, 2020.

Thedeadlineforthesubmission of final papers is July 15, 2020.

Ifyouhaveanyquestionsaboutthejournal,[email protected].






JOURNALfteval

EuropeEuropeISSUE 51

WIFO – AUSTRIAN INSTITUTE OF ECONOMIC RESEARCHArsenal, Objekt 20Postfach 91, 1103 ViennaDr. Jürgen JangerE: [email protected]. Andreas ReinstallerE: [email protected]

OEAW – AUSTRIAN ACADEMY OF SCIENCEDr. Ignaz Seipel-Platz 2, 1010 ViennaNikolaus Göth, MScE: [email protected]

AUSTRIAN COUNCIL FOR RESEARCH AND TECHNOLOGY DEVELOPMENTPestalozzigasse 4/DG 1, 1010 Vienna Dr. Johannes GadnerE: [email protected]

AQ AUSTRIA – AGENCY FOR QUALITY ASSURANCE AND ACCREDITATION AUSTRIAFranz-Klein-Gasse 5, 1190 ViennaDr.in Elisabeth Froschauer-Neuhauser E: [email protected] Eva Maria FreibergerE: [email protected]

AIT – AUSTRIAN INSTITUTE OF TECHNOLOGYGiefinggasse 4, 1210 Vienna Mag. Michael DingesE: [email protected] Barbara Heller-Schuh, MASE: [email protected]

AWS – AUSTRIA WIRTSCHAFTSSERVICE GMBHWalcherstraße 11A, 1020 Vienna Mag.a Marlis BaurechtE: [email protected] Mag. Norbert KnollE: [email protected]

CDG – CHRISTIAN DOPPLER RESEARCH ASSOCIATIONBoltzmanngasse 20, 1090 ViennaDIin Maga. Brigitte MüllerE: [email protected]

WWTF – VIENNA SCIENCE AND TECHNOLOGY FUNDSchlickgasse 3/12, 1090 ViennaDr. Michael StampferE: [email protected]. Michael StrassnigE: [email protected]

VIENNA BUSINESS AGENCY. A SERVICE OFFERED BY THE CITY OF VIENNA.Mariahilfer Straße 20, 1070 ViennaRobert Mayer-UnterholzerE: [email protected]

ZSI – CENTRE FOR SOCIAL INNOVATIONLinke Wienzeile 246, 1150 Vienna Dr. Klaus SchuchE: [email protected] Dorothea Sturn E: [email protected]

LUDWIG BOLTZMANN GESELLSCHAFTNußdorfer Straße 64, 1090 ViennaMag. Patrick LehnerE: [email protected]

TECHNOLPOLIS GROUP AUSTRIARudolfsplatz 12/11, 1010 ViennaMag.a Katharina WartaE: [email protected] Dudenbostel, MAE: [email protected]

WPZ RESEARCH GMBHMariahilfer Straße 115/16, 1060 ViennaDr.in Brigitte EckerE: [email protected]

JOANNEUM RESEARCH FORSCHUNGSGESELLSCHAFT MBHHaus der ForschungSensengasse 1, 1090 ViennaMag. Wolfgang PoltE: [email protected]. Jürgen StreicherE: [email protected]

KMU FORSCHUNG AUSTRIA –AUSTRIAN INSTITUTE FOR SME RESEARCH Gusshausstraße 8, 1040 Vienna Mag.a Iris FischlE: [email protected]. Peter KaufmannE: [email protected]

FEDERAL MINISTRY OF EDUCATION, SCIENCE AND RESEARCHMinoritenplatz 5, 1014 Vienna Mag.a Irene DanlerE: [email protected] Simone MesnerE: [email protected]

FEDERAL MINISTRY FOR DIGITAL AND ECONOMIC AFFAIRSStubenring 1, 1014 Vienna Mag.a Sabine Pohoryles-DrexelE: [email protected]

FEDERAL MINISTRY FOR CLIMATE ACTION, ENVIRONMENT, ENERGY, MOBILITY, INNOVATION AND TECHNOLOGYRadetzkystraße 2, 1030 Vienna Dr. Rupert PichlerE: [email protected]. Mario SteyerE: [email protected]

FFG – AUSTRIAN RESEARCH PROMOTION AGENCYHaus der Forschung,Sensengasse 1, 1090 ViennaDIin Dr.in Sabine MayerE: [email protected]. Leonhard JörgE: [email protected]

FWF – AUSTRIAN SCIENCE FUNDHaus der ForschungSensengasse 1, 1090 ViennaDr. Falk Reckling E: [email protected] Dr. Thomas VölkerE: [email protected]

IHS – INSTITUTE FOR ADVANCED STUDIESJosefstädter Straße 39, 1080 Vienna Dr.in Angela WroblewskiE: [email protected]. Richard Sellner E: [email protected]

CONVELOP – COOPERATIVE KNOWLEDGE DESIGN GMBHBürgergasse 8-10/I, 8010 Graz DIin Drin. Karin GrasenickE: [email protected]

Erdbergstraße 82/4, 1030 WienMag. Thomas JudE: [email protected]

ACR – AUSTRIAN COOPERATIVE RESEARCHSensengasse 1, 1010 Vienna Dr.in Sonja Sheikh E: [email protected]

INDUSTRIEWISSENSCHAFTLICHES INSTITUT – IWIMittersteig 10, 1050 WienFH-Hon.Prof. Dr. Dr. Herwig W. SchneiderE: [email protected]. Philipp BrunnerE: [email protected]

EDITORIAL BOARDRebecca Allinson, Technopolis UK; Balázs Borsi, Eszterházy Károly College; Elke Dall, Centre for Social Innovation; Michael Dinges, Austrian Institute of Technology; Leonid Gokhberg, National Research University Higher School of Economics; Wolgang Polt, Joanneum Research; Andreas Reinstaller, WIFO; Klaus Schuch (chief editor), Austrian Platform for Research and Technology Policy Evaluation; Michael Stampfer, WWTF; Lena Tsipouri, University of Athens

AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATION (fteval)c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, 1150 Vienna, AustriaT +43 1 495 04 42 - 33F +43 1 495 04 42 - 40E [email protected] www.fteval.at

DESIGNW carotte.at

PRINT

Print Alliance

Gedruckt auf PEFCTM-zertifiziertem Papier.

AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATIONmembers:Austrian Federal Ministry of Education, Science and Research (BMBWF), Austrian Federal Ministry for Digital and Economic Affairs (BMDW), Austrian Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology (BMK), Austrian Cooperative Research (ACR), Austrian Council for Research and Technology Development, Austrian Institute of Technology (AIT), AQ Austria – Agency for Quality Assurance and Accreditation Austria, Austria Wirtschaftsservice (AWS), Christian Doppler Research Association (CDG), convelop Cooperative Knowledge Design GmbH, Austrian Research Promotion Agency (FFG), Austrian Science Fund (FWF), Institute for Advanced Studies (IHS), Industriewissenschaftliches Institut (IWI), Joanneum Research Forschungsgesellschaft mbH, Austrian Institute for SME Research (KMU Forschung Austria), Ludwig Boltzmann Society (LBG), Austrian Academy of Sciences (OEAW), Technopolis Austria, Vienna Business Agency – A service offered by the City of Vienna, Austrian Institute of Economic Research (WIFO), WPZ Research GmbH, Vienna Science and Technology Fund (WWTF), Centre for Social Innovation (ZSI)






JOURNALfteval

JOHANNES GADNER AND JÜRGEN JANGER

MICHAEL DINGES, ANNA WANG AND KLAUS SCHUCH

RICHARD HEIDLER


MONITORING NATIONAL

INNOVATION PERFORMANCE:

GOING BEYOND

STANDARDIZED RANKINGS

USING THE DELPHI METHOD

IN EVALUATIONS –

INCORPORATING A FUTURE

ORIENTED PERSPECTIVE IN

EVALUATIONS

FUNDING RESEARCH DATA

INFRASTRUCTURES:

FUNDING CRITERIA IN

GRANT PEER REVIEW

50 50

50 50 journal - fteval...c/o zsi – centre for social innovation gmbh linke wienzeile 246, 1150...

Documents