Peer Review Reviewed:The International Career of a Quality‐control Instrument and New Challenges24 April 2008  Social Science Research Center Berlin (WZB)  Berlin24 April 2008, Social Science Research Center Berlin (WZB), Berlin

SörenAuerInstitute for Computer Science, University of LeipzigHolger Braun‐ThürmannSocial Science Research Center Berlin

Scientific research is regarded as the main source of economic wealth gand as a means expected to solve ecological and social problemsIncreasingly prospective societal impacts are incorporated into the decisions about funding of research projectsSocietal impacts consist of demands, expectations, & interests of Societal impacts consist of demands, expectations, & interests of various stakeholders, actors, institutions and social movements, e.g.: 

commercialization of research results,supporting knowledge transfer between geographical regions, 

f lorganizations or groups of people,strengthening the competitiveness of enterprisessupporting actors of a civil society like organization of the general welfare (e g  Unicef)  environmentalists  or humanitarian activists(e.g. Unicef), environmentalists, or humanitarian activists

Objectives appear reasonable with regard to the fact that research is often ultimately funded by tax payers and consequently scientific 

iti   h ld b   t bl  h  th   t ib t  t  th  communities should be accountable on how they contribute to the societal advancement.

There are existing instruments developed to address these issues such as gcollaborative / interdisciplinary research projects and voucher systems.

Measures used to trigger societal impacts are not always very efficient:Funding tends to be often (very) largeFunding tends to be often (very) large

Bureaucratic, time consumingInnovative ideas get hardly fundingLarge projects are very difficult to plang p j y p

Evaluation and review mostly not by direct stakeholdersFunding decisions to large extend based on the beauty of the proposal ‐ but a pretty proposal does not guarantee excellent resultsRather top‐down than bottom‐upRather top‐down than bottom upResearchers are mainly interested in acquiring funding and/or publications – their main focus however should be finding innovative solutionsSi l   l ti     ft   t  i t d b  th   h Simple solutions are often not appreciated by the research community

Funding agencies often believe a big impact requires Funding agencies often believe a big impact requires big investments

Some counter examples:Einstein’s special relativity theory – was conceived in evenings while working full time as patent clerkin evenings while working full‐time as patent clerkThe Web – was started as a small side project without major fundingj gWikis – implementing a basic Wiki takes  less than 1 person month

BIG R&D basically appeared only after WW2

Potential users of knowledge and technologies are hardly able g g yto determine whether other stakeholders for a certain R&D problem exist and who they are.It is very difficult for governmental research funding 

i    d i   h   l  h  d k l d  agencies to determine the actual research and knowledge (transfer) needs of groups of citizens or organizations which should be supported.Researcher in different institutions learn relatively late from Researcher in different institutions learn relatively late from research efforts of their peers, which prevents coordination of their efforts, cooperation or mutual support.Even when end user groups are involved in the process of Even when end user groups are involved in the process of defining R&D projects these rarely have the opportunity to assess the scientific quality.It is often unclear who the concrete stakeholders of certain It is often unclear who the concrete stakeholders of certain research results are.

Interfaces between research are crucial!Interfaces between research are crucial!

Basic/Foundational Research

Applied Research

Industrial R&D

How can we define interfaces between research How can we define interfaces between research projects and efficiently identify value chains?

Researchers publish research ideas on an open‐science platform as early as possible.All  i i   f  h   l f  i   h   d  k h ld  (  SME  NGO )   All participants of the platform, i.e. researchers and stakeholders (e.g. SMEs, NGOs) are equipped with a budget for pledgingStakeholders comment on the ideas, add requirements and pledge a certain amount of money they would be willing to “pay” for a successful realization.y y g p yA funding agency can select and fund the highest ranked proposals in a certain areaProject runs: involved investigators report publicly (e.g. Weblog) => enables stakeholders to influence the projects (e.g. changed requirements or alternative approaches appear)Project finished  results are published  e er bod  is in ited to comment on the s ccess  Project finished: results are published, everybody is invited to comment on the success, only the stakeholders (i.e. those who pledged) are eligible to vote about the success / write an evaluation report (publically available => track record of a researcher)Technical realization:encourage small effortless contributions (e.g. comments, votes) by using Web 2.0 techniques.syndicate all contentemploy semantic technologies, tagging and folksonomies, vocabularies for the end‐user driven t t i   d  t ti   f id   j t   lt  &  tstructuring and annotation of ideas, projects, results & commentssocial networking elements, to collaborate and discuss ideas and topics in groups and have a personalized views on a neighborhood of peer‐researchers & research topics

Funding agency

Provides pledge budgets toresearchers (in a certain field),SMEs, organizations

Researchers

g

.000

.000

.000SME

Largecompany

.000

.000

€10

describe and comment on the R&D task

proposesR&D t k

€2.500 €7.500 €5.000 €2.500

€10

€10

offerli ti

€10

€10

R&D task

R&D task realization

€17.500

Somebody misses an open‐source software tool or library for a specific purpose, a feature in an open‐source software or a plugin for an existing software. He describes the project.p g g p jRequirements‐Engineering: Other people help enhancing the description of the project by adding specific requirements and comments.Pledging: Users who also like the project and need the resulting software, bid a certain amount of money, which they will donate to the project performer after its successful completion.y, y p j p pOffering: Specialists who are capable to perform the project and to develop the respective software offer to realise the project for a certain amount of money and within a certain timeframe.Call for competitive offers: As soon as the sum of the bid amount exceeds the money requested by the first offer, a call for competitive offers is started and lasts for three week.pAccepting an offer: After the three weeks call period for alternative offers is elapsed, all bidders are requested to vote about which offer to choose. Bidders votes are weighted by the amount of their bid. The specialist with the majority of the votes is selected to carry out the project. Voting about project success: After the specialist announces the completion of the project or the g p j p p p jdevelopment timeframe as suggested by the specialist elapsed, the bidders vote about how the initially defined requirements (agreed on by the specialist) are met by the provided solution.Donation to the specialist carrying out the project: If the majority of the bidders agree that the requirements are met, bidders are requested to make the respective donations.

If the majority of the bidders decide that the requirements are only partially met by the implementation, an extension will be granted to the specialist for improving his implementation.If the majority of the bidders decide that the requirements are not met by the implementation, the project failed, no donations will be made and the project might be reopened for bidding.

Web appWeb appCofundos.orgUses tagging/Uses tagging/folksonomies,OpenID  RSSOpenID, RSSfeeds, AJAX,RESTREST,Semantic Webtechnologiestechnologies

Enormous interest in the idea (currently focused on Enormous interest in the idea (currently focused on open‐source software development)Large media coverage (heise.de, golem.de, g g ( , g ,linux.com, more than 50 blog posts, …)>10.000 visitors in the first month>250 registered users>100 project ideas, >€10.000 pledged

More publicity, awareness and experimenting needed to establish Cofundos as an open‐source needed to establish Cofundos as an open‐source software development model.

Future challenges:gRefine and fine‐tune the process for science funding

What level of gratification is needed to ensure a qualitative review and evaluation process? Do we need to reimburse stakeholders additionally for reviewing and evaluating ideas and results?reviewing and evaluating ideas and results?How are pledge budgets efficiently distributed? Initially all universities or university chairs for example could be equipped with a certain starting budget, should such an allocation occur every year or should successful participants get a larger share of newly distributed pledge budgets?participants get a larger share of newly distributed pledge budgets?What level privacy needs to be preserved – should all contributions be associated with real names, pseudonyms and should anonymous contributions be allowed?How can we effectively enable communities to structure their research ideas as easy and as much as possible and to employ these structure for enable efficient browsing, searching and syndication of content?

Convince funding agenciesg gFurther develop the technical platform

SörenAuerSörenAuerResearch Group AKSW (http://aksw.org)Institut für Informatik (IfI)Universität LeipzigUniversität Leipzighttp://www.informatik.uni‐leipzig.de/~auer/auer@informatik.uni‐leipzig.de

Holger Braun‐ThürmannResearch Group Science Policyesea c G oup Sc e ce o cySocial Science Research Center Berlin (WZB) http://www.wzb.euhbt@wzb euhbt@wzb.eu