You are on page 1of 26

The use and influence of indicators ­ A conceptual framework for research 

 
Henrik Gudmundsson 
Technical  University  of  Denmark,  Department  of  Transport,  Bygningstorvet  116  Vest,    DK‐2800 
Lyngby, Denmark. Email hgu@transport.dtu.dk 
 
Nordic Environmental Social Sciences (NESS)  9‐12 June 2009, London 
Working group 9: Knowledge technologies and changing institutions 
 
Abstract 
The  use  of  information  in  policy  making  has  been  critically  examined  in  research  areas  such  as 
evaluation, planning studies, and policy sciences more broadly. Recent research has also sought to 
address  the  subsequent  ‘influence’  of  the  information,  at  the  level  of  individuals,  processes  and 
institutions. ‘Indicators’ is a particular knowledge technology with high pretence of relevance and 
usability.  While  they  are  sometimes  purported  as  the  very  essence  of  needed  information, 
indicators  are  hardly  immune  to  ‘non‐instrumental’  roles,  or  ‘non‐use’  experienced  for  other 
knowledge  technologies.  However,  to  detect  and  possibly  explain  ‘indicator  influence’  or  lack 
thereof  in  practice  is  no  simple  task.  The  European  FP7  research  project  POINT  has  its  focus  on 
how indicators are used in practice, and aims to study to what extent and how indicators actually 
influence  policy  processes  and  outcomes.  The  main  areas  of  empirical  study  in  the  project  are 
indicators  of  sustainable  development  and  environmental  policy  integration  in  selected  sectors. 
This  paper  presents  how  an  analytical  framework  is  designed  for  the  subsequent  empirical 
research  in  the  POINT  project,  drawing  from  a  diverse  range  of  literature.    The  main  aim  of  the 
paper  is  to  present  and  discuss  propositions  regarding  conceptualization  and  typology  for  the 
study of use and influence of indicators in policy making. 
 
The  research  leading  to  these  results  has  received  funding  from  the  European  Commission's  Seventh 
Framework  Programme  (FP7/2007‐2013)  under  the  grant  agreement  n°  217207  (POINT 
project), www.point.pbworks.com 

  1
1. Introduction 
‘Indicators’  is  a  form  of  knowledge  technology  that  is  widely  applied  in  different  areas  of  policy 
making.  The  indicator  literature  has  generally  been  quite  occupied  with  technical  aspects 
concerning appropriate measurement, representation, and application of indicators, and less with 
the  actual  uses,  or  impacts  of  indicators  in  policy  making,  or  governance  (Rosenström  and 
Lyytimäki 2006).  
 
The    purpose  of  the  project  POINT  (POlicy  Influence  of  IndicaTors),  supported  by  the  European 
Unions  7th Framework Program, is to conduct research that can help understand how indicators 
are actually used, and how they become influential – or not ‐ in different manifestations of policy 
making.  The  thematic  focus  is  on  indicators  in  support  of  sustainable  development  and 
environmental  policy  integration,  but  the  aim  is  really  to  understand  more  about  indicator 
influence generally within and beyond those particular empirical areas. 
 
The background for the project is what seems like a widening gap in the field of indicators: 
   
On the one hand efforts to establish indicator systems are proliferating at all levels of governance 
from the local to the global, with general aims such as helping to focus attention to salient policy 
problems, keeping plans on track towards fulfilment of goals and targets, enabling evidence‐based 
policy  processes,  holding  public  managers  accountable  for  results,  and  sustaining  wider  public 
awareness of important societal problems.  
 
On the other hand there are growing concerns over whether these indicator systems are actually 
delivering on their promises; if they measure the right things in the right ways; if decision makers 
are  paying  sufficient    attention  to  them,  and  if  policies  and  communities  are  becoming 
substantially  better  informed  and  managed  as  a  result.  There  are  also  ‘darker’  suspicions  about 
potential manipulative uses of indicators, waste of resources to build ‘useless’ systems, and risks 
of fostering perverse behaviours among subjects or entities whose performance is being measured.  
 

  2
Nevertheless,  relatively  few  broader  studies  have  been  made  so  far  of  actual  indicator  use  and 
influence  (with  notable  exceptions  such  as  Innes  1990;  Rydin  2002;  Hezri  2006).  An  important 
question  concerns  how  essentially  intangible  phenomena  such  as  ‘use’,  and    ‘influence’  of 
indicators can be meaningfully detected, systematized and studied, in other words how research 
in this field can be made operational for recommending ways to enhance the role of indicators in 
supporting  policies.  Published  work  to  date  suggests  this  to  be  a  challenging  endeavour    with 
multiple dimensions and several pitfalls, but the literature also points to a rich palette of concepts, 
approaches and results, offered by a variety of scientific disciplines, from measurement  theory, to 
environmental assessment, to management,  to political science, and beyond. 
 
This paper presents work in progress by the POINT project to design an ‘analytical framework’ to 
guide  subsequent  empirical  research  into  a  number  of  areas  of  indicator  application.  To  define 
what  is  understood  by  ‘framework’  here  it  is  useful  to  consider  Elinor  Ostrom’s  typology  of 
research approaches, distinguishing between frameworks, theories and models, and according to 
which…  ”Frameworks  organize  diagnostic  and  prescriptive  inquiry  (…)  They  provide  the  most 
general  list  of  variables…  Frameworks  provide  meta‐theoretical  language  that  can  be  used  to 
compare theories”  (…). It can provide ”..anything from a skeletal set of variables…to something as 
extensive as a paradigm” (Ostrom 1999, cited from Sabatier 1999 p 262). ‘Analytical frameworks’ 
have  been  conceived  in  related  areas  such  as  evaluation  use  research  (Kikhart  2000)  and 
environmental assessment (Cash et al 2002), but seems to be less developed in the ‘indictors’ area. 
We  see  the  main  justification  of  the  POINT  project  as  seeking  to  broaden,  deepen  and  connect 
current  understandings  and  approaches  of  research  in  and  near  the  field  of  indicator  use  and 
influence.  The  framework  is  to  provide  the  ‘meta‐theoretical’  language,  and  the  ‘general  lists  of 
variables’  mentioned  by  Ostrom,  which  will  allow  parallel  theories  to  be  applied  and  possibly 
compared. A ‘paradigm’ is not on the drawing board, nor is a distinct ‘theory’ or ‘model’. 
 
The empirical study methods to be informed by the framework encompass document analysis (of 
policy  documents,  indicator  reports,  meeting  minutes  etc),    face‐to‐face  semi‐structured 
interviews with indicator developers and users, and ‘soft systems’ inspired, interactive workshops 
involving indicator use experts, practitioners, sceptics, and other stakeholders. 

  3
The work on the framework itself involves a literature review, expert/peer consultation, typology 
building, and the formation of hypothesis concerning indicator influence determinants. In section 
2 of the paper an overview of the considered literature is given. Sections 3‐5 develop key concepts 
and terminologies. Section 6 looks briefly at a set‐up of explanatory factors, and section 7 provides 
outlook for research and discussion.   
 
2. Main literatures reviewed 
Two key questions have been considered with regard to literature review: First, what to ask from 
the literature, and secondly, which literatures to consult.  Concerning the first question focus has 
been set on the following two issues:  
 
•  How  does  existing  literature  conceptualize  ‘indicators’  with  a  view  to  identify  their 
real  ‘use’ and ‘influence’? How are these terms defined, typologised, and connected 
in what we will call ‘use‐ influence pathways’?  
 
•  What  does  the  literature  suggest  as  critical  to  understand  or  explain  use  and 
influence  or  lack  thereof?  Which  are  operational  explanatory  factors  or  dynamics 
proposed for indicator influence in different functions or areas of application? 
 
A  broad  literature  search  and  review  process  has  been  undertaken  looking  for  references  that 
could help to address these questions. The search has extended way beyond ‘indicator research’ 
as  such  into  broader  fields  such  as  of  ‘knowledge  utilization’,  ‘evaluation’,  ‘performance 
management’  and  policy  studies  more  broadly.    Figure  1  illustrate  one  way  to  depict  the  main 
areas of literature and how they generally inform the area.   
 
 
 
 
 
 

  4
 
Figure 1. Research fields informing the study of indicator use and influence. 
 
We can note that in particular the ‘north’, ‘east’, and ‘south’ part of the ‘inner’ set of literatures in 
figure 1 present rewarding but different contributions to conceptualize terminology and pathways, 
while  inspiration  to  develop  explanatory  causalities  etc  can  be  found  throughout  the  whole 
landscape.  However,  as  noted  by  James  and  Jorgensen  (2009)  there  is  an  unfortunate  divide 
between general theories of policy change and the ‘knowledge utilization’ literature. The former 
tend to undervalue the power of ‘knowledge’ concepts for policy change, while the latter risks to 
overextend or ‘fetishize’ it.  In practice several references overlap two or more of these groups, 
and the distinctions are pragmatic and somewhat arbitrary. 
  
3. Defining the object: Indicators and frameworks 
Even if only commonly recognized  ‘indicators’ within certain practice fields were to be studied, an 
indicator definition is nevertheless necessary to specify the ‘object’ of which any use and influence 

  5
is to be detected. The definition should especially help to distinguish, if possible, use and influence 
of indicators from that of other types of information (such as statistics, evaluations, models etc).  
 
There is a considerable literature about indicators, where many definitions are proposed (Moldan 
et al 2005, Hammond et al 1995; Morse 2004; OECD 2003; Franceschini et al 2008; Gallopin 1997; 
1996).    However,  many  indicator  definitions  are  concerned  with  ‘ideal’  indicators,  and  are 
therefore phrased in language already loaded with a pretence of indicators’ functionality and use. 
We wish to stay clear of too strong implicit assumptions in this regard. 
 
As a working definition we consider indicators simply as variables (Gallopin 1997), but ones that 
are  constructed  or  selected  to  operationally  represent  properties  of  more  or  less  well  defined 
‘representation targets’ (Franceschini et al 2008), with an aim to allow simplified communication 
about  them.  In  operational  applications  indicators  assume  numbers  or  values  for  the  variables.  
Judgments, or evaluations of the observed representation may also be included with an indicator. 
Indicators can in this ways be seen as distinct from other ‘knowledge concepts’, such as ‘data’ and 
‘statistics’, (from which they may be built) and from ‘information’ and ‘knowledge’ (to which they 
may contribute) as depicted in figure 2. 
 

Knowledge

Statistics

Indicators Information Communication


(variables + values)

Data

 
Figure 2. Indicator’s logical position in a set of basic ‘knowledge’ related concepts 
 
It  is  troublesome  for  the  research  that  the  ‘same’  content  may  be  present  in  several  different 
‘knowledge  forms’  or  technologies  in  the  policy  processes.  The  content  may  pass  from  data,  to 
statistics,  to  general  information,  at  the  same  time  as  being  contained  in  ‘indicators’.  To 

  6
distinguish influence of indicators from that of other knowledge concepts, two further notions can 
be introduced, that of representational techniques, and that of indicator frameworks. 
 
Examples  of  typical  representational  techniques  are  illustrated  in  figure  3.  They  may  include 
visualisation as well as narratives. Each part can emphasize the variable, the value, or (if applicable) 
the  evaluation,  or  all  at  once.  Reference  to  particular  representational  forms  of  the  knowledge 
content  in,  say,  policy  documents,  may  help  to  distinguish  when  observed  use  or  influence  is 
genuinely indicator‐related.  
 

Headline

Text Image
XXX is decreasing…
Variable is about…
Value says…
Evaluation shows…

Signifier
Table

Graph
  
Figure 3. Different ways to express indicator variable, value and evaluation. 
 
Policy indicators do not stand alone but are typically used as part of sets, systems or frameworks 
of indicators. Indicator frameworks embody  several different indicators, structured according to 
one  or  more  principles  or  concepts  (Becker  2007;  Gudmundsson  2004;  Lyytimäki  &  Rosenström 
2008). Frameworks are important here because they obviously  ‘frame’, and delimit the way the 
individual indicators are reported ‐ and possibly how they are perceived and applied. Frameworks 
may  therefore  direct,  change,  or  even  dominate  the  use  and  influence  of  individual  indicators. 
Evidence  of  the  presence  of  an  indicator  ‘framework’  in  policy  communication  could  therefore 
suggest (sets of) indicators being influential.  However, there is no standard definition of what an 
indicator  framework  consists  of  or  how  it  is  identified,  let  alone  how  it  influences  policy. 
Gudmundsson (2004) proposes to distinguish between conceptual (inner), and application (outer) 

  7
parts of indicator frameworks. The inner, conceptual part organize the content (representing the 
dimensions of the target with appropriate variables etc). Examples include causal frameworks (P‐
S‐R, D‐S‐R, D‐P‐S‐I‐R); domain frameworks (environmental, social, economic), sectoral frameworks, 
etc (Mclaren 1996). Application parts links indicators to different types of function or purpose of 
the indicators. Distinctions in purpose can be made such as between ‘information’ versus  ‘control’ 
oriented  frameworks  (Gudmundsson  2004);  or  according  to  different  stages  in  a  policy  process, 
such as ‘ex ante assessment’ or ‘ex post evaluation’ (EEA 1999; Hezri 2005).  
 
As  an  example  on  can  contrast  system‐oriented,  versus  performance  oriented  frameworks.  
‘System’  frameworks  measure,  and  inform  policy  about,  relevant  properties  of  the  systems  that 
the policies are supposed to intervene in or protect (economy, transport, environment etc). The 
causal  ‘DPSIR’  framework  used  for  environmental  reporting  is  an  example  (EEA  1999). 
‘Performance’  frameworks  are  different  in  the  sense  that  they  seek  to  measure  what  or  how 
‘someone’, e.g. an organization is doing (it assumes ‘agency’). Focus is in measures of input to and 
output  form  the  organization,  and  its  efficiency  and  effectiveness.  An  example  is  the  Policy 
evaluation  framework  used  to  evaluate  European  expenditure  programmes  (Nagarajan  & 
Vanheukelen,  1997).  It  COULD  be  expected  that  a  strong  ‘system’  framework  conceptually 
influences the general problem perception of the indicated target, while it is less likely to assert 
direct influence on agency behaviour; conversely the ‘performance’ framework may  put pressure 
on specific actions, while generating less in terms of new ideas.    
 
Table  1  suggests  a  range  of  dimensions  and  categories  to  typologise  characterise  indicator 
frameworks. What they mean for indicator influence remains to be studied, and their usefulness 
for  empirical  research  is  untested.  Table  2  depicts  a  typology  of  individual  indicators  extended 
from one made by the European Environment Agency (EEA 1999). The typology may be used to 
suggest if either a system or a performance oriented framework is present. In practice, however, 
the frameworks are in fact mixed 

  8
 
 
Table 1 Four dimensions of indicator frameworks, with example categories 
   

1. Conceptualisations  2. Applications 
• Causal (DPSIR, PSR)  • Information (general information) 
• Domain based (env, soc, econ)  • Appraisal (ex ante) 
• Sectoral (transport, agriculture, energy)  • Monitoring (during program) 
• Issue based (different issues)  • Evaluation (ex post) 
• Goal based (set of goals)  • Assessment (comprehensive) 
• Performance based (organisation; program)  • Control (steering towards goal) 
3. Aggregations   4. Logistics 
• Disaggregate (multiple indicators)  • Ad hoc (Custom built for one event)  
• Semi‐aggregate (aggregation within a theme)  • Partly organized (some routines) 
• Aggregate (aggregation across themes)  • Highly organized (extensive routines for regular cyclic 
  reporting 

 
 
Table 2 Extended Indicator typology 
 
  System indicators  Performance indicators 
Generic  types 
Descriptive  Disaggregate description in  Input 
time/space 
Normative  Reference to system  Effectiveness (target fulfillment) 
limits/thresholds 
Ratio  Decomposition  Organisational efficiency 
(input/output) 
Composite  Overall system condition in  Aggregate outcome 
time/space 
 
 
4. Use and influence 
Traditionally indicators have been discussed mostly in what can be called a ‘rational‐positivist’ or 
instrumental  mode  (Boulanger  2007),  with  assumed  policy  functions  related  to  target  setting, 
decision making and evaluation of results. However, over the last decade or so alternative views 
on the policy functions of indicators have emerged, especially in research areas like sustainability 
indicators and performance management (Cobb & Rixford 1998; Meadows 1998; Innes & Booher 
2000,  Hammond  et  al  1995;  Eckerberg  &  Mineur  2003;  Behn  2003).  Innes  (1998)  emphasize 

  9
especially the communicative roles of indicators in policy and planning, while Rydin (2002) discuss 
broader  roles  such  as  raising  awareness,  educating  the  public  and  motivating  civic  action. 
Meanwhile  performance  measurement  scholars  have  highlighted  cultural,  legitimizing  or  even 
ritualistic functions of performance indicators (Collier 1996; Feldman & March 1981).  
 
Essential in this ‘new’ indicator literature is a proposition that indicators are not best understood 
as  tools  in  themselves,  but  must  be  studied  rather  in  terms  of  their  role  in  broader  policy 
processes they inform. Boulanger (2002) introduce two alternative policy models, which he calls 
the ‘Discursive‐constructivist’ and the ‘Strategic’ model. In the former model indicators are used in 
processes to reframe problems,  identify shared values and build a common discourse, exactly as 
depicted  by  Innes,  Rydin  and  others    above.  Indicator  qualities  such  as  communicability  and 
dramatization  and  ‘resonance’  (Mitchell  1996),  become  important,  even  if  this  may  mean  that 
indicators  loose  accuracy  and  utility  in  a  more  strict  ‘positivist’  sense  (Cobb  &  Rixford  1998).  In 
Boulanger’s  third  model  indicators  are  part  of  a  conflictual  context  with  perpetual  competition 
between interests. The use of indicators is reduced to that of manipulation and play a limited role.   
 
To some degree these ‘new’ perspectives on indicator usability draw from earlier developments in 
broader field of studies of knowledge and evaluation utilization (Weiss & Bucuvalas 1980; Weiss 
1979, Shulha & Cousins 1997). The early research literature in this area focussed primarily on the 
potential for direct use of results for decision making and ‘problem solving’. However, often little 
evidence of such use was found in practice (Weiss 1998; Vedung 1997); instead, the attention of 
researchers  gradually  became  alerted  to  other  ‘unintended’  ways  in  which  the  evidence  was 
treated.  A  prominent  expression  was  Carol  Weiss’  identification  of  six  ‘forms  of  research 
utilization’ (Weiss 1979) ‐ see Table 3. The studies generally showed, not that ‘knowledge driven’ 
or ‘problem’ solving’ uses of research did not occur at all, but were typically found in “….relatively 
low‐level, narrow‐gauge decisions.“ (Weiss 1979, p 428). These observations recognizes that policy 
and decision making are essentially social processes, which are likely to strongly shape and frame 
any  knowledge  use  taking  place,  rather  than  the  other  way  around.  Certain  ‘know  ledges’  are 
already  so  strongly  embedded  in  the  minds,  or  discourses,  of  policy  actors  that  major  new 
information cannot be directly absorbed (Sabatier 1987; Schön & Rein 1994).  

  10
Table 3 . Forms of Research Utilization (Weiss 1979, here adapted from Bowen & Zwi 2005) 
 
 
The  Knowledge‐Driven  Model: This model suggests that emergent research about a social problem will lead to 
direct application to policy; it relies on effective strategies for the transfer of research evidence into practice. 
 
The  Problem‐Solving  Model:  This  model  expects  research  to  provide  empirical  evidence  and  conclusions  that 
help  solve  a  policy  problem;  it  assumes  that  evidence  is  systematically  gathered  and  applied  in  the  policy 
process. 
 
The Interactive Model: This model suggests that the search for knowledge moves beyond research to include a 
variety of sources such as politics and interests; it aims to reflect the complexity of the policymaking process. 
 
The Political  Model: In this model, decision‐makers are not receptive to research unless it serves political gain, 
that is, demonstrates proof for a predetermined decision; evidence is sought to justify the problem. 
 
The  Tactical  Model: This  model  sees evidence used  to support and justify government  inaction, or rejection of 
and delay in commitment to a policy issue  
 
The Enlightenment Model: This model suggests that cumulative research shapes concepts and perspectives that 
permeate the policy process over time, influencing how people think about social issues. 
 

   
It  seems  plausible  that  similar  ways  to  use  indicators,  compared  to  ‘evaluations’  or  ‘research 
results’ could apply, even if the indicators, as defined previously, are seem like distinct ‘knowledge 
technologies’.  The  ‘enlightenment’  model  appears  for  example  to  be  in  line  with  observations 
about in the broadly ‘communicative’ uses of indicators found in studies cited above. This seem 
especially  applicable  to  understand  influence  of  indicators  as  ‘variables’,  and  in  the  form  of 
indicator  ‘frameworks’,  both  of  which  may  be  assumed  to  ‘shape  concepts’  in  policy  making, 
particularly in connection with recurring systems over several cycles (Innes 1998). The ‘knowledge 
driven’  and  ‘problem  solving’  models  of  Weiss  fits  on  the  other  hand  perfectly  with  the 
instrumental functions of indicators, and the use of the ‘values’ layer. These may however be less 
influential  than  expected,  unless  backed  by  strong  institutional  frameworks.  We  will  discuss  the 
‘use’  concepts  in  relation  to  indicators  a  little  closer  in  the  following,  adopting  the  modified 
typology  which  is  now  most  commonly  applied  (Amara  et  al  2004;  Shulha  &  Cousins  1997; 
Romsdahl 2005).  
 

  11
1)  The  ‘Instrumental’  model  involves  applying  knowledge  in  specific,  direct  ways,  for  indicators 
centring on the values and evaluations. By discovering the results of government interventions, an 
indicator could (1) help governments decide whether or not continue with particular policies; (2) 
expand and institutionalise successful programs and policies and cut back unsuccessful ones; and 
(3) find out  which programmes or policies to modify and in which manner. In caricature, policy‐
makers  aiming  at  clearly  established  policy  goals  would  react  to  timely  published  indicators, 
adjusting policies according to the information provided with the value of the indicators.  
 
2) The ‘Conceptual’ model involves produced knowledge being used in a more general form, more 
indirectly  and  less  specifically  than  in  instrumental  use.  The  indicator  variable,  or  possibly  the 
indicator  framework,  here  provides  general  background  information,  leading  to  ‘enlightenment’, 
“the percolation of new information, ideas and perspectives into the arenas in which decisions are 
made” (Weiss 1999, 471). The indicators (or, a continuously operated indicator set),  may thereby 
affect decision‐makers’ problem definitions, and provide new perspectives on and insights into the 
problem  area,  instead  of  providing  information  for  a  single  moment  of  decision,  or  to  a 
hypothetical  single  decision‐maker.  An  effective  indicator  framework  may  contribute  to  re‐
conceptualize or redefine an are of  policy making, or even  establish a  new field of intervention. 
Indicator  use  becomes  a  learning  process,  and  the  knowledge  created  through  the  process 
becomes utilised while the program is running.  
 
3)  The  ‘Political’  model  encompasses  three  related  sub‐categories:    ‘Legitimisation’,  which  has 
frequently been seen in a negative light, knowledge provision serving as a rationalistic ritual aimed 
at justifying decisions that have already been taken or policies already in place (Lampinen 1992, 
30‐37; Weiss 1999, 477). This corresponds to the third model of Boulanger (2007), where the role 
of indicators is negligible.  However, explicit legitimisation can also be seen an essential element to 
secure  acceptance  of  policy  in  a  democracy  and  therefore  not  purely  ‘bad’  (e.g.  Feinstein  2002, 
434; Valovirta 2002). Tactical use, is about knowledge being commissioned, for instance, primarily 
in order to postpone or avoid unwanted decision‐making by referring to ongoing or planned work. 
(Vedung  2001,  p  141).  It  seems  plausible  that  such  a  use  could  be  made  of  an  indicator  set, 
particularly as the commissioning may involve conceptualisation and logistical support, requiring 

  12
considerable efforts and time.  Symbolic use means knowledge research being used symbolically, 
to convey an image or a message and nothing else (Weiss 1999, 477). Indicators would in such a 
case constitute a ‘simulacrum’ intended to give the impression of a rational organisation that sets 
goals, has a serious and competent management, and takes rational decisions on the basis of data. 
This scenario is not unlikely either (Pollitt 1998; Weiss 1999, 472‐473; Vedung 2001, 141). 
 
In  subsequent  studies  and  debates  several  further  types  of  ‘use’    have  been  proposed.  For 
example the observation that an knowledge generating process itself (rather than the results) may 
be the most important for the actors; leading to so‐called ‘process use’ (Shulha et al 1997). Again 
this  seems  like  a  plausible  effect  with  regard  to  indicator  frameworks,  in  the  case  where  this 
develops  over  an  extended  period,  in  a  collaborative  process,  involving  both  producers  and 
various users of the indicators, as reported by e.g. Innes (1998); Holden (2008; and Rydin (2002). 
‘Process  use’  of  an  indicator  framework  may  lead  to  a  new  practice  of  referring  to  the  topic  in 
measurement terms, even if there is no direct agreement over values, variables or evaluations. 
‘Imposed use’  is yet another type invented in Weiss et al (2005). Imposed use refers to situations 
in which the use of research knowledge is made obligatory, through reporting requirements, for 
instance. There are several such examples in the case of indicators, for example legally mandated 
monitoring and evaluation tasks in connection with European transport and agricultural policies. 
Of interest are finally also distinctions between intended (or legitimate) use and unintended use or 
misuse.  Cousins  (2004)  proposes  a  4  field  typology.    He  places  all  the  three  ‘canonized’  uses, 
instrumental, political and conceptual, under the field of ‘ideal’ (legitimate) use. He also envisage 
‘legitimate non‐use’. On the negative side he puts  ‘abuse’ (illegitimate suppression) and ‘misuse’ 
(mistaken  use  and  deliberate  manipulation)  as  three  other  main  categories  of  use.  Similar 
concepts  have  been  applied  in  indicator  research.  Feller  (2002)  and  Halachmi  (2002)  discuss 
examples  of  misuse  of  in  performance  measurement.    Arndt  &  Oman  (2006)  reveal  extensive 
‘abuse’ in the area of good governance indicators, meaning opinion based measures of issues such 
as ‘corruption’ and ‘political stability’, in ways  not deemed robust or transparent. However, it is 
likely to involve difficulties to distinguish clearly between what is ‘use’ and ‘misuse’ of an indicator, 
as this may depend on who’s perspective is adopted. 
 

  13
So far we can notice a wildly expanding notion of the use of indicators, starting from a relatively 
clear  idea  of  the  indicator  as  a  representational  ‘knowledge  technology’  with  instrumental 
functions,    moving  gradually  into  a  wide  field  of  different  more  or  less  operational  ‘uses’  and 
‘misuses’  of  indicators.    Substantial  critique  of  this  blurred  ‘use’  notion  has  been  raised  by 
knowledge and evaluation utilization scholars such as Rich (1997), Kickhart (2000) and Henry and 
Mark (2003; 2004). According to Rich, ‘use’ has become much too ambiguous a term, while it does 
not even encompass all the relevant aspects of how knowledge can make a difference for policy. 
He proposes to consider use as something much simpler like if information has been received and 
read. According to Henry and Mark (2003) the parallel use of normative and descriptive meanings 
of ‘use’ is highly problematic. They also posit that, “…the idea of enlightenment or conceptual use 
does  not  provide  reasonable  specificity  to  guide  measurement  of  evaluation’s  outcomes  or  to 
insure  that  casual  observers  or  researchers  are  talking  about  the  same  outcomes.”  (Henry  and 
Mark 2003, p 311).  They suggest instead to study the various consequences that may stem from 
evaluations/knowledge use, including effects such as attitude change, and policy oriented learning. 
Hence they suggest to focus on evaluation ‘influence’ rather than use. They characterise influence 
as “the subset of evaluation consequences that could plausibly lead toward or away from social 
betterment”  (Henry  and  Mark,  2003,  295).  The  real  test  of  knowledge  influence  is  thus  if 
contributes to an the improvement of social conditions.  
 
We  sympathise  strongly  with  this  shift  of  attention  from  use  to  influence,  also  as  regards 
indicators.  We  agree  that  the  overloading  of  ‘use’  would  make  it  almost  impossible  to 
comprehend  what  it  means  that  an  indicator  is  somehow  ‘used’  or  not.  We  also  agree  that  the 
consequences are more important than the use itself. However we would not abandon the notion 
of  use  completely.  Rather,  with  Rich  (1997)  we  would  consider  these  notions  as  successive 
elements in logical sequence or pathway, where use may lead to influence, which again may lead 
to impacts.   
 
We  reserve  the  notion  of  ‘use’  as  a  term  for  immediate  actions  of  persons  or  organizations, 
reflecting the original intentional meaning of ‘using’ something. We define policy use of indicators 
as:  adoption  and  operation  of  an  indicator  value,  evaluation,  or  variable  by  a  person  or  group 

  14
involved  in  a  policy  situation  or  process.    With  inspiration  from  Rich  (1997);  Hezri  (2006)  and 
others  we  propose  to  distinguish  policy  use  of  indicators  at  four  different  levels.    Each  level 
represents a step toward more extensive use. Each level is split further into two sublevels, which 
may be applied in research  if more detail is wished for.  The levels of use are shown in Table 4.   
 
Table 4 Policy use of indicators 
1. Reception 
1.1 Receive, notice, observe 
1.2 Forward to others (no change) 
2. Internal application 

2.1 For own work (calculation/text) 
2.2 Use in internal  communication 
3. External application 
3.1 Communication with other policy institutions 
3.2.Communication with stakeholders 
4. Decision support 
4.1 Use in official policy plan/report/ document 
4.2 Use for making a judgment and decision 
 
This  does  not  mean  we  wish  to  loose  the  highly  relevant  insights  concerning  ‘instrumental’ 
‘conceptual’, ‘political’ ‘use’ etc, but rather that se see a need to rephrase those effects from being 
understood  as  ‘uses’  to  be  depicted  rather  as  analytical  categories  requiring  considerable 
interpretation. We redefine those as  potential roles indicators may have, and will consider them 
as possible final step in the research, rather than an immediate one. 
 
As regards influence we simply adopt the extensive notions of Henry & Mark (2003), which have 
developed for research on evaluations, as we assume could be applicable for indicator frameworks 
as  well.  They  characterize  influence  as  processes  that  can  occur  through  a  variety  of  pathways 
taking place at three distinct levels: individual, interpersonal and collective (see further table 5),  
•  individual  level:  changes  in  attitudes  and  individual  behaviour.  Six  subcategories  of 
change  are  defined  at  this  level  (e.g.  perceived  salience  of  an  issue;  acquisition  of  new  skills 
through  the  evaluation  etc).  The  influence  on  this  level  depends  on  expectations,  interests, 
informational backgrounds and worldviews of individuals; 

  15
•  interpersonal:  concerns  the  role  of  evaluations  in  the  processes  of  argumentation 
and dialogue among actors, e.g. persuasion, legitimisation, criticism or defence,  
•  collective:  outcomes  in  terms  of  policy  decisions  and  actions,  shared  beliefs  and 
understandings, legitimacy of policies and actors, agenda‐setting, and network formation. 
 
Table 5 Policy influence of indicators 
  Examples adapted from Henry & Mark (2003) 
Individual level 
Attitude change  Change opinion about feasibility of a program
Salience  Increase awareness about an issue
Elaboration  Stimulate new expectations
Priming  Make an issue appear more important by highlighting
Skill acquisition  Learning new ways to measure a problem
Behavior change  Adopting new practice following showing positive results 
   
Interpersonal level 
Persuasion  More convincing argumentation via official report 
Justification  Reinforcing arguments in favor of solution
Change agent  Mobilize stakeholders to actively pursue change 
Minority‐opinion influence  Information provides minority with decisive arguments 
Social norms  Information makes new behavior seem appropriate
   
Collective level 
Agenda setting  Information via media brings an issue to top of agenda 
Policy‐oriented learning  Advocacy coalition modifies recommendations 
Policy change  New policy reform adopted after growing evidence
Diffusion  Evidence of policy success stimulates adoption elsewhere 
 
However, we do not se the need to accept Henry & Mark’s restriction of influence as something 
leading to ‘social betterment’. This notion excludes influence leading to negative results, which are 
however  also  interesting.  And  it  may  be  hard  to  determine  if  ‘social  betterment’  in  fact  occurs 
form the use of indicators. Still, we are interested in ‘social betterment’ but suggest to consider 
this as one possible outcome or impact. 
 
We therefore also propose to keep influence distinct from Impacts. Impact can be seen with Rich 
as  is  different  as  it  refers  to  that  “…information  was  used  and  it  led  directly  to  a  decision  or  to 
action” (Rich 1997 p 15). SEDL (2008)  defines it as “Broad, societal level changes or improvements 
that typically occur beyond the immediate influence of program activities”. In both cases it refers 
to something more ‘strong’ than ‘influence’. Impact we thus understand as a result (intermediate 

  16
or  final)  of  some  influence  (immediate,  near,  or  distant,  remote);  while  the  influence  is  process 
oriented, leading only potentially to some impact (like as use only potentially leading to influence).  
A  further  distinction  could  be  made  between  ‘Direct  intentional  impacts’  and  ‘indirect  impacts’ 
(anything  else).  Proposed  categories  are  shown  in  table  6.  Despite  attempt  of  clarity,  the 
distinctions might be difficult to maintain, and could be revised as part of the empirical research. 
 
Table 6 Policy impacts of indicators 
 
Direct intentional impacts 
Awareness of measured aims
Compliance with desired behaviour 
Fulfilment of targets 
Efficiency of policy 
Social /environment/ economic conditions improvement
 
Indirect impacts 
Consensus/conflict about policy aims 
Innovations of sector stakeholders 
Attention to non‐measured policy aims 
Resources of measuring organisations 
Impacts on other policies 
 
5. Pathways 
It  would  be  possible,  according  to  Henry  &  Mark,  to  start  almost  anywhere  in  their  influence 
model, and chart pathways back and forth and across levels over time. In this way, they suggest,  
“many, many… pathways are possible” (Henry & Mark  2003, p 307). This is no less true if we, as 
proposed, connect the influence category ‘backwards to ‘use’ and ‘forward’ to impact and further 
to a potential ‘role’ of the indicator.  In the literature generally there are a multitude of ways to 
depict interactions between knowledge concepts and policy processes. Indicators themselves can 
for example be followed through stages such as conception, production, application, and revision 
(Keeble et al 2002; McLaren 1996), and the flows divided into types such as ‘data‐driven’, versus 
‘theory‐driven’  processes  (Niemeier  2002).  At  the  policy  side  the  ‘heuristic’  of  the  policy  cycle 
provides the most well know logic with stages like ‘agenda setting’, ‘selection of alternatives’ and 
‘  implementation’  (Ilner  1984).  Scholars  such  as  Sabatier  (1999;  1987)  have  proposed  more 
advanced  ideas  about  how  knowledge  input  and  policy  processes  generally  interrelate  or 
disconnect  over  time,  as  a  result  of  the  stability  of  certain  core  beliefs.  Others  again  like  Innes 

  17
(1990)  and  Hezri  (2004;  2005)  have  zoomed  in  on  how  interactions  have  played  out  in  cases  of 
indicators.  While  there  is  not  much  firm  knowledge  in  this  research  territory,    inspiration  to 
envisage various ‘indicator pathways’ can certainly be found.  
 
To POINT a ‘pathway’ is not simply a set of stages in an indicators life, or a set of stages in a policy, 
even though both can be parts of pathways. Pathways illustrate interactions between policy and 
indicator (or indicator framework). It can be proposed to define a pathway as a series of events or 
processes  through  which  indicators  or  indicator  frameworks  interact  with  policy  processes, 
outputs, outcomes or subsystems. The logic allows to connect indicator with policy through a set 
of terms (use , influence, impact etc) and assumes a sequence of these terms, although feedbacks 
and  ‘dead  ends’  are  obviously  conceivable.    The  general  idea  is  illustrated  In  figure  4,  while  the 
specific categories used for policy and indicator stages here are random examples. 
 
  Policy trejectory
 
Policy agenda Policy Design Policy Policy
  setting legitimization implementation
 
  ’Pathways of use - influence’- impact -
 
  Indicator Indicator Indicator Indicator
Conception Production Dissemination Application
 
Indicator trajectory
 
Figure 4. The general idea of influence pathways 
 
6. Influential or determining factors 
The  paper  has  been  occupied  with  defining  core  terminology  and  typologies  of  indicators, 
frameworks, uses, influences and pathways as guidance for empirical research.  A major challenge 
will  be  to  understand  what  drives  indicator  development  into  certain  ‘pathways’;  which  factors 
may explain the influence occurring or not.  The problem is not to find inspiration in the literatures, 
it is rather to delimit the wide  range of options offered to something manageable. The influence 

  18
set‐up adopted from Henry and Mark (2003) entails some risk of ‘over connecting’ as is operates 
at such different process levels (individuals to societies), digress of change and time horizons. Each 
empirical analysis will need to specify its own delimitations in these regards, and customize a set 
of potential explanatory factors to pursue.  So far POINT has organized the field into a typology of 
‘domains’ of factors, defined as follows 
 
The  first  domain  is  called  the  ‘indicator  factors’.  These  have  to  do  with  indicators  considered  as 
instruments of technical representation and control. Indicator factors include characteristics of the 
information  such  as  relevance,  validity,  reliability  ,  comprehensibility  timeliness, 
comprehensiveness,  coherence,  ,  and  concreteness  of  policy  recommendations.  (Niemeier  &  de 
Groot  2008;  Vedung,  1991;  Van  der  Meer,  1999;  Weiss,  1999,  479;).  In  some  cases  ‘indicator 
factors’ seem to be considered the only important ones for its use: if the indicator is correct in a 
computational sense and presented correctly then it will be ‘used’ more (or, ‘what gets measured, 
gets  done’  as  a  popular  saying  goes).  As  we  have  noted,  even  perfect  measures  could  provoke 
completely different reactions or ‘uses’. 
 
The second domain is called ‘user factors’. This refers to the people and organizations involved in 
policy processes, and how they are inclined to call for, respond to or apply indicators in particular 
situations.  This  could  again  depend  on  a  host  of  elements  such  as  the  users’  backgrounds, 
positions,  group  affiliations’  and  motivations.  For  example,  some  administrators  may  have 
statistical  training  which  makes  them  more  ready  to  apply  certain  indicators;  other  participants 
may  mistrust  certain  information  sources  because  is  conflicts  with  their  pre‐given  worldviews; 
others  again  may  learn  by  shifting  positions.  The  ‘users’  of  indicators  typically  operate  in  a 
complex and nuanced environment. An indicator, no matter how well crafted and presented, will 
be just one element in a maelstrom of calls for attention, and users may be differently inclined in 
this respect. 
 
The third domain is labelled ‘policy factors’. This refers to the types of policy domain and policy 
task  the  indicators  are  supposed  to  inform    (e.g.  in  terms  of  what  level  of  complexity  or 
controversy is involved; Hoppe 2005), in particular also the institutional frameworks in which the 

  19
users  operate  the  indicators.  Institutional  frameworks  consist  of  formal  and  informal  rules  and 
procedures that govern the processes, and the roles of different types of information in a given 
situation. For example, there may be legal requirements to apply a certain indicator to benchmark 
an  organisation  against  a  target,  whereas  informal  codes  of  conduct  may  delegitimize  this 
information  in  favour  of  other  concerns  in  a  later  step  in  the  process.  Differences  in  legal  and 
administrative  cultures  among  policy  sectors  or  between  institutional  arrangements  in  different 
countries are among the potential ‘policy factors’ (Pollitt 2005). 
  
Figure 5 illustrates the general setup. Continued research in POINT will explore how to the three 
domains of factors contribute and interact to shape influence.     
 

Pathways of Use – Influence – Impact

 
Figure 5 . Preliminary conceptual framework of indicator use and influence 
 

  20
7. Outlook: Approach for following research 
The concepts above are intended to inform empirical analysis. The approach can be conceived as a 
variety of sub‐analysis to be performed, each of which can be conducted individually or in various 
combinations.  
 
Each    sub‐analysis  may  be  performed  for  different  indicator  use  configurations  (e.g.  value, 
evaluation, variable, framework, or any combination), different extensions of pathways (e.g. from 
‘policy  background’  to  ‘role’  analysis)  and  with  regard  to  particular  sets  of  hypothesis  about 
possible  ‘explanatory  factors’  or  assumptions.  The  scope  of  a  sub‐analysis  may  be  designed  in 
advance,  or  may  be  discovered  underway,  as  data  are  collected  and  patterns  are  found.  In  the 
following a number of illustrations are provided. 
 
Table 7 illustrates of a wide setup up of categories potentially involved in the analytical framework 
for  indicator    pathway  analysis.  The  pathway  variables  are  tentatively  grouped  in  two  sets, 
‘background  analysis’  and  ‘influence  analysis’.  The  columns  are  ordered  sequentially  but  do  not 
have to be approached in this way. Different types of analysis are envisaged by the arrows below.   

  21
Table 7 Example of analytical framework setup – sub‐ analyis 
 
’Background’  analysis  ’Influence’  analysis 

   
Policy  Indicator   Use  Influence  Impact  Roles 
background  Emergence/ 
Function 
Policy context  Origin of system  Reception Individual  Direct intended  Instrumental 
 
Policy framework  Official  Internal  Interpersonal  Indirect  Political 
function/appli‐ application 
cation 
Users  Types of  External  Collective    Conceptual 
indicators  application 

  Types of  Decision support     Process 


framework (e.g   
system or 
performance); 
logistical aspects 

Single step 
li
Multiple step 
li
Truncated 

Full step 

Single step 
I i

Multiple step 
I i
 

  22
 
References 
Arndt,  Christiane;  Oman,  Charles  2006.  Uses  and  Abuses  of  Governance  Indicators.  OECD 
Development Centre Studies. Organisation of Economic Cooperation and Development, Paris. 
Becker,  Joanna  2007.  How  Frameworks  can  help  operationalize  Sustainable  Development 
Indicators. World Futures, 63: 137–150, 2007 
Behn,  R.  D.  2003.    Why  measure  performance?  Different  purposes  require  different  measures. 
Public Administration Review, 63, 5, pp. 588–606. 
Boulanger,  2007.  Political  uses  of  social  indicators:  overview  and  application  to  sustainable 
development indicators. Int. J. Sustainable Development, Vol. 10, Nos. 1‐2 pp 14‐32. 
Bowen  S;  Zwi  A.B.  2005  Pathways  to  “Evidence‐Informed”  Policy  and  Practice:  A  Framework  for 
Action. PLoS Med 2(7). 
Cash,  D.,  Clark,  W.;  Alcock,  F.;  Dickson,  N.;  Eckley,  N      and  Jaeger,  J.  2002.  Salience,  Credibility, 
Legitimacy  and  boundaries:  linking  research,  assessment  and  decision  making,  John  F  Kennedy 
school of government, Harvard University. 
Cobb,  C.  &  Rixford,  G.  1998.  Competing  Paradigms  in  the  Development  of  Social  and  Economic 
Indicators. CSLS Conference on the State of Living and the  quality of Life in Canada, October 30‐31 
1998, Ottawa, Ontario. 
Collier, Paul M  2006. In Search of Purpose and Priorities: Police Performance Indicators in England 
and Wales. Public Money & Management June 2006, pp 165‐172. 
Cousins,  J.B  2004.  Commentary:  Minimizing  Evaluation  Misuse  as  Principled  Practice.  American 
Journal of Evaluation 2004; 25; p 391‐397. 
Eckerberg, Katerina & Mineur, Eva 2003. The use of local Sustainability Indicators: case studies in 
two Swedish municipalities. Local Environment, Vol. 8, No. 6, 591–614, December 2003. 
EEA  1999.  Environmental  indicators:  Typology  and  overview.  European  Environment  Agency, 
Copenhagen. 
Eurostat  2009.  ESS  Handbook  for  Quality  Reports.  European  Commission.  Office  for  Official 
Publications  of  the  European  Communities,  Luxembourg.  URL 
http://epp.eurostat.ec.europa.eu/cache/ITY_OFFPUB/KS‐RA‐08‐016/EN/KS‐RA‐08‐016‐EN.PDF 
Feinstein,  Osvaldo  N.  2002.  Use  of  Evaluations  and  Evaluation  of  their  Use.  Evaluation  8(4)  pp.  
433‐439. 
Feldman, Martha S & March, James D. 1981. Information in Organisations as Signals and Symbols. 
Administrative Science Quarterly, Vol. 22, Issue 2, pp. June 1981 pp. 171‐186. 
Feller, I. 2002. Performance Measurement Redux. American Journal of Evaluation 23(4): 435‐452. 
Franceschini, F.; Galetto, M.; Maisano, D.; and Mastrogiacomo, L. 2008. Properties of performance 
indicators  in  operations  management.  A  reference  framework.  International  Journal  of 
Productivity and Performance Management, Vol. 57 No. 2 pp. 137‐155. 

  23
Gallopin,  Gilberto  Carlos  1997.  Indicators  and  Their  Use:  Information  for  Decision  Making. 
Introduction. pp 13‐27 in: Moldan, B & Billharz, S. : Sustainability Indicators. Report on the project 
on Indicators of Sustainable Development. Wiley, Chichester. 
Gudmundsson,  H.  2003.  The  Policy  Use  of  Environmental  Indicators.  Learning  from  Evaluation 
Research. Vol. 2, No. 2, 2003: 1‐12. 
Halachmi,  Arie  2002.  Performance  measurement:  a  look  at  some  possible  dysfunctions.  Work 
Study. Volume 51 . Number 5 . 2002 . pp. 230‐239. 
Hammond  et  al  1995.  Environmental  Indicators:  A  Systematic  Approach  to  Measuring  and 
Reporting  on  Environmental  Policy  Performance  in  the  Context  of  Sustainable  Development. 
World Resources Institute, Washington DC. 
Henry, Gary T.  and Mark, Melvin M. 2003. Beyond Use: Understanding Evaluation’s Influence on 
Attitudes and Actions, American Journal of Evaluation, Vol. 24, No. 3, 2003, pp. 293–314 
Hezri, A.A 2006 Connecting Sustainability Indicators To Policy Systems. A thesis submitted for the 
degree of Doctor of Philosophy. The Australian National University, OCTOBER 2006. 
Hezri  AA  2005.  Utilisation  of  sustainability  indicators  and  impact  through  policy  learning  in  the 
Malaysian  policy  processes.  Journal  of  Environmental  Assessment  Policy  and  Management  7(4), 
575‐595. 
Hezri AA. 2004. Sustainability indicator system and policy processes in Malaysia: a framework for 
utilisation and learning. Journal of Environmental Management 73, 357‐371. 
Holden,  Meg  2008.  Social  learning  in  planning:  Seattle’s  sustainable.  development  codebooks. 
Progress in Planning 69 (2008) 1–40. 
Hoppe,  R  2005.  Rethinking  the  science‐policy  nexus:  from  knowledge  utilization  and  science 
technology studies to types of boundary arrangements. Poiesis Prax 3, pp 199–215 
Illner,  M  1984.  On  functional  types  of  indicators  in  social  planning.  Social  Indicators 
Research,Volume 14, Number 3, pp. 275‐285. 
Innes,  J.E.;  Booher,  D.E.  2000.  Indicators  for  sustainable  communities:  A  strategy  building  on 
complexity theory and distributed intelligence. Planning Theory & Practice, 1(2),pp. 173–186. 
Innes,  J.  E.  1990.  Knowledge  and  Public  Policy.  The  search  for  meaningful  indicators.  Second 
expanded edition. Transaction publishers, New Brunswick. 
IISD  2007.  Compendium  of  Sustainable  Development  Indicator  Initiatives.  International  Institute 
for Sustainable Development, Winnipeg. URL: www.iisd.org/measure/compendium/ 
James,  Thomas  E.;  Jorgensen,  Paul  D.  2009.  Policy  Knowledge,  Policy  Formulation,  and  Change: 
Revisiting a Foundational Question. The Policy Studies Journal, Vol. 37, No. 1 pp 141‐162. 
Keeble  et  al  2002  Using  Indicators  to  Measure  Performance  at  a  Corporate  and  Project  level. 
Journal of Business Ethics 44, pp. 149–158 
Kirkhart, Karen E 2000. Reconceptualizing Evaluation Use:  An integrated Theory of Influence. Pp 2‐
24 in: Caracelli, V.J; Preskill, H (eds.): The Expanding Scope of Evaluation Use. A Publication of the 
American Evaluation Association, Jossey Bass, San Francisco. 

  24
Lampinen,  Osmo.  1992.  The  utilization  of  social  science  research  in  public  policy.  Doctoral 
Dissertation. Suomen Akatemian julkaisuja 4. Helsinki. VAPK‐kustannus.  
Maclaren,  Virginia  W.  1996.    Urban  Sustainability  Reporting.  Journal  of  the  American  Planning 
Association, Vol 62, No2, Spring 1996. 
Mark, M. M.; Henry, G.T. 2004. The Mechanisms and Outcomes of Evaluation Influence. Evaluation. 
Vol 10(1) pp. 35–57 
Meadows,  Donella  1998.  Indicators  and  Information  Systems  for  Sustainable  Development.  A 
Report to the Balaton Group. The Sustainability Institute, Hartland, VT. 
Moldan,  B  &  Billharz,  S.  1997.  Sustainability  Indicators.  Report  on  the  project  on  Indicators  of 
Sustainable Development. Wiley, Chichester. 
Morse,  S.  2004.  Indices  and  indicators  in  development.  An  unhealthy  obsession  with  numbers. 
Earthscan, London. 
Niemeijer, D. 2002. Developing indicators for environmental policy: data‐driven and theory‐driven 
approaches examined by example. Environmental Science & Policy 5  pp. 91–103. 
Niemeijer,  David;  de  Groot,  Rudolf  S.  2008.  Conceptual  framework  for  selecting  environmental 
indicator sets. Ecological Indicators 8 pp 14 – 25. 
OECD  2003  Environmental  Indicators  –  Development,  Measurement  and  Use.  Reference  paper, 
OECD, Paris. 
Ostrom, Elinor 1999 Institutional Rational Choice: An Assessment of the IAD Framework. In: Paul 
Sabatier, (ed). Theories of the Policy Process. Westview Press, Boulder. 
Pollitt, Christopher 2005. Performance Management in Practice: A Comparative Study of Executive 
Agencies. Journal of Public Administration Research and Theory, 16:25–44. 
Rich,  R.F.  1997.  Measuring  knowledge  utilization:  Process  and  outcomes.  Knowledge  and  Policy: 
The International Journal of Knowledge Transfer and Utilization 10. pp11‐25 
Romsdahl,  Rebecca  J.  2005.  When  Do  Environmental  Decision  Makers  Use  Social  Science? 
Appendix A in: Brewer, Garry D.  and Stern, Paul C. Ed. 2005. Decision Making for the Environment: 
Social and Behavioral Science Research Priorities. National Research Council, Washington D.C. 
Rosenström,  Ulla;  Lyytimäki,  Jari  2006  The  Role  of  Indicators  in  Improving  Timeliness  of 
International Environmental Reports. European Environment16, pp 32–44. 
Rydin,  Y.  2002.  Indicators  Into  Action:  Local  Sustainability  Indicator  Sets  in  Their  Context.  The 
Pastille Consortium, London School of Economics, London. 
Sabatier, P.A (ed) 1999. Theories of the Policy process. Westview Press, Boulder. 
Sabatier,  Paul  A.1987.  Knowledge,  policy‐oriented  learning,  and  policy  change,  Knowledge: 
Creation, Diffusion, Utilization 8, pp. 649‐692. 
SEDL  2008.  Research  Utilization  Support  and  Help  (RUSH).  Southwest  Educational  Development 
Laboratory,  Austin.  URL:  //www.researchutilization.org/learnru/glossary.html.  Last  Updated: 
Thursday, 10 April 2008 at 12:21 PM  

  25
Shulha,  Lyn  M.;  Cousins,  J.  Bradley,  1997.  Evaluation  Use:  Theory,  Research,  and  Practice  Since 
1986 . American Journal of Evaluation, Feb 1997; vol. 18: pp. 195‐208. 
Valovirta, V 2002. Evaluation Utilization as Argumentation. Evaluation Vol 8(1), pp.  60–80. 
Van der Meer, F.‐B. 1999. Evaluation and the Social Construction of Impacts. Evaluation 5, 387‐406. 
Vedung, E. 1997. Public policy and program evaluation. Transaction Publishers, New Brunswick. 
Weiss,  Carol  H.  1999.  The  Interface  Between  Evaluation  and  Public  Policy.  Evaluation  5  (4),  pp.  
468‐486. 
Weiss,  Carol  H.  1998.  Have  We  Learned  Anything  New  About  the  Use  of  Evaluations?  American 
Journal of Evaluation, Vol 19, No1, pp 21‐33. 
Weiss,  C.  H.,  1987,  The  Circuitry  of  Enlightenment:  Diffusion  of  Social  Science  Research  to 
Policymakers, Knowledge: Creation, Diffusion, Utilisation 8(2):274‐281. 
Weiss  Carol  H.  1979.  The  Many  Meanings  of  Research  Utilization.  Public  Administration  Review, 
Vol. 39, No. 5., pp. 426‐431 
Weiss, Carol H; Bucuvalas Michael J 1980. Truth Tests and Utility Tests: Decision‐Makers' Frames 
of Reference for Social Science Research. American Sociological Review, Vol. 45, No. 2. (Apr., 1980), 
pp. 302‐313. 
 

  26