Logic models: a tool for telling your program’s performance story

John A. McLaughlina. Gretchen B. Jordanb.

a
Independent Consultant. 312 Hempstead Road. Williamsburg. VA 12077. U.S.A. bSandia National
Laboratories. 849 L’Enfant Plaza SW Suite 110. Washington. DC 19913. U.S.A.

Accepted 1 August 1998

Abstract

Program managers across private and public sectors are being asked to describe and evaluate their
programs in new ways. People want managers to present a logical argument for how and why the
program is addressing a specific customer need and how measurement and evaluation will assess and
improve program effectiveness. Managers do not have clear and logically consistent methods to help
them with this task. This paper describes a Logic Model process. a tool used by program evaluators. in
enough detail that managers can use it to develop and tell the performance story for their program. The
Logic Model describes the logical linkages among program resources. activities. outputs. customers
reached. and short. intermediate and longer-term outcomes. Once this model of expected performance
is produced. Critical measurement areas can be identified.

Allrights reserved.

Keywords: Program theory; Program modeling; Performance measurement; Monitoring and evaluation;
Government Performance and Results Act

1. The problem

“At its simplest. the Government Performance and Results Act (GPRA) can be reduced to a single
question: What are we getting for the money we are spending? To make GPRA more directly relevant
for the thou-sands of Federal officials who manage programs and activities across the government.
GPRA expands this one question into three: What is your program or organization trying to achieve?
How will its effectiveness be determined? How is it actually doing? One measure of GPRA’s success will
be when any Federal manager anywhere can respond knowledgeably to all three questions.’’

John A. Koskinen. 1997

Office of Management and Budget

Federal managers were being challenged by Mr. Koskinen (1997). Deputy Director of the OMB. to tell
their program’s story in a way that communicates not only the program’s outcome goals. but also, that
these outcomes are achievable. For many public programs there is also an implicit question: ‘Are the
results proposed by the program the correct results?’ That is. do the results address problems
appropriate for the program and deemed by stakeholders to be important to the organizational mission
and national needs?

Corresponding author. E-mail: gbjordaÝsandia.gov

The emphasis on accountability and ‘managing for results’ is found in state and local governments as
well as in public service organizations such as the United Way of America and the American Red Cross. It
represents a change in the way managers have to describe their pro-grams and document program
successes. Program man-agers are not as familiar with describing and measuring outcomes as they are
with documenting inputs and processes. Program design is not necessarily explicit. in part because this
allows flexibility should stakeholder priorities change. There is also an increasing interest among
program managers in continuous improvement and managing for ‘quality’. Choosing what to measure
and collecting and analyzing the data necessary for improvement measurement is new to many
managers. The problem is that clear and logically consistent methods have not been readily available to
help program managers make implicit understandings explicit. While tools such as flow charts. risk
analysis. systems analysis. Are used to plan and describe programs. There is a method developed by
program evaluators that more comprehensively addresses the increasing requirements for both
outcome measurement and improvement measurement. Our purpose here is to describe a tool used by
many in the program evaluation community. the Logic Model process. to help program managers better
meet new requirements. Documentation of the process by which a manager or group would develop a
Logic Model is not readily available even within the evaluation community, thus the paper may also help
evaluators serve their customers better.

2. The Program Logic Model

Evaluators have found the Logic Model process useful for at least twenty years. A Logic Model presents
a plausible and sensible model of how the program will work under certain conditions to solve identified
problems (Bickman, 1987). Thus, the Logic Model is the basis for a convincing story of the program’s
expected performance. The elements of the Logic Model are resources, activities, outputs, customers
reached, short, intermediate and longer-term outcomes, and the relevant external influences (Wholey,
1983, 1987).

Descriptions and examples of the use of Logic Models can be found in Wholey (1983), Rush & Ogborne
(1990), Corbeil (1986), Jordan & Mortensen (1997), and Jordan, Reed, & Mortensen (1997). Variations of
the Logic Model are called by different names, ‘Chains of Reasoning’ (Torvatn, 1998), Theory of Action,
(Patton, 1997), and ‘Performance Framework’ (Montague, 1997; McDonald & Teather, 1997). The Logic
Model and these variations are all related to what evaluators call program theory. According to Chen
(1990), program theory should be both prescriptive and descriptive. That is, a manager has to both
explain the elements of the program and present the logic of how the program works. Patton (1997)
refers to a program description such as this as an ‘espoused theory of action’, that is, stakeholder
perceptions of how the program will work.

The benefits of using the Logic Model tool include:

 Builds a common understanding of the program and expectations for resources, customers
reached and results, thus is good for sharing ideas, identifying assumptions, team building, and
communication;
 Helpful for program design or improvement, identifying projects that are critical to goal
attainment, redundant, or have inconsistent or implausible linkages among program elements;
and,
 Communicates the place of a program in the organization or problem hierarchy, particularly if
there are shared logic charts at various management levels;
 Points to a balanced set of key performance measurement points and evaluation issues, thus
improves data collection and usefulness, and meets requirement of GPRA.
 A simple Logic Model is illustrated in Fig. 1. Resources include human and financial resources as
well as other inputs required to support the program such as partnerships. Information on customer
needs is an essential resource to the program. Activities include all those action steps necessary to
produce program outputs. Outputs are the products, goods and services provided to the program’s
direct customers. For example, conducting research is an activity and the reports generated for
other researchers and technology developers could be thought of as outputs of the activity.

Customers had been dealt with implicitly in Logic Models until Montague added the concept of
Reach to the performance framework. He speaks of the 3Rs of performance: resources, people
reached, and results (Montague, 1997, 1994). The relationship between resources and results
cannot happen without people- the customers served and the partners who work with the program
to enable actions to lead to results. Placing customers, the users of a product or service, explicitly in
the middle of the chain of logic helps program staff and stake holders better think through and
explain what leads to what and what population groups the program intends to serve. Outcomes are
characterized as changes or benefits resulting from activities and outputs. Programs typically have
multiple, sequential outcomes across the full program performance story. First, there are short term
out-comes, those changes or benefits that are most closely associated with or ‘caused’ by the
program’s outputs. Second, there are intermediate outcomes, those changes that result from an
application of the short-term outcomes. Lon` term outcomes or program impacts, follow from the
benefits accrued though the intermediate outcomes. For example, results from a laboratory proto-
type for an energy saving technology maybe a short-term outcome; the commercial scale prototype
an intermediate outcome, and a cleaner environment once the technology is in use one of the
desired longer-term benefits or outcomes. A critical feature of the performance story is the
identification and description of key contextual factors external to the program and not under its
control that could influence its success either positively or negatively. It is important to examine the
external conditions under which a program is implemented and how those conditions affect
outcomes. This explanation helps clarify the program ‘niche’ and the assumptions on which
performance expectations are set. Doing this provides an important contribution to program
improvement. (Weiss, 1997). Explaining the relationship of the problem addressed through the
program, the factors that cause the problem, and external factors, enables the manager to argue
that the program is addressing an important problem in a sensible way.

3. Building the Logic Model

As we provide detailed guidance on how to develop a Logic Model and use it to determine key
measurement and evaluation points, it will become more clear how the Logic Model process helps
program managers answer the questions Mr. Koskinen and others are asking of them. An example
of a federal energy research and technology development program will be used throughout.
Program managers in the U.S. Department of Energy Office of Energy Efficiency and Renewable
Energy have been using the Logic Model process since 1993 to help communicate the progress and
value of their programs to Congress, partners, customers, and other stakeholders.

The Logic Model is constructed in five stages discussed below. Stage 1 is collecting the relevant
information; Stage 2 is describing the problem the program will solve and its context; Stage 3 is
defining the elements of the Logic Model in a table; Stage 4 is constructing the Logic Model; and
Stage 5 is verifying the Model.
3.1. Stage 1: collecting the relevant information

Whether designing a new program or describing an existing program, it is essential that the
manager or a work group collect information relevant to the program from multiple sources. The
information will come in the form of program documentation, as well as interviews with key
stakeholders both internal and external to the program. While Strategic Plans, Annual Performance
Plans, previous program evaluations, pertinent legislation and regulations and the results of
targeted interviews should be available to the manager before the Logic Model is constructed, as
with any project, this will be an iterative process requiring the ongoing collection of information.
Conducting a literature review to gain insights into what others have done to solve similar problems,
and key contextual factors to consider in designing and implementing the program, can present
powerful evidence that the program approach selected is correct.

Building the Logic Model for a program should be a team effort in most cases. If the manager
does it alone, there is a great risk that parts viewed as essential by some will be left out or
incorrectly represented. In the following steps to building the Logic Model we refer to the manager
as the key player. However, we recommend that persons knowledgeable of the program’s planned
performance, including partners and customers, be involved in a work group to develop the Model.
As the building process begins it will become evident that there are multiple realities or views of
program performance. Developing a shared vision of how the program is supposed to work will be a
product of persistent discovery and negotiation between and among stakeholders.

In cases where a program is complex, poorly defined, or communication and consensus is

lacking, were commend that a small subgroup or perhaps an independent facilitator be asked to
perform the initial analysis and syn-thesis through document reviews and individual and focus group
interviews. The product of this effort can then be presented to a larger work group as a catalyst for
the Logic Model process.

2.1. Stage 1: clearly defining the problem and its context

Clearly defining the need for the program is the basis for all that follows in the development of
the Logic Model. The program should be grounded in an under-standing of the problem that drives
the need for the program. This understanding includes understanding the problems customers face
and what factors ‘cause’ the problems. It is these factors that the program will address to achieve
the longer term goal-working through customers to solve the problem. For example,

There are economic and environmental challenges related to the production, distribution, and
end use of energy. U.S. taxpayers face problems such as dependence on foreign oil, air pollution,
and threat of global warming from burning of fossil fuels. Factors that might be addressed to
increase the efficiency of end use of energy include the limited knowledge, risk aversion, budget
constraints of consumers, the lack of competitively priced clean and efficient energy technologies,
the externalities associated with public goods, and restructuring of U.S. electricity markets. To solve
the problem of economic and environmental challenges related to the use of energy, the program
chooses to focus on factors related to developing clean and efficient energy technologies and
changing customer values and knowledge. In this way, the program will influence customer use of
technologies that will lead to decreased use of energy, particularly of fossil fuels.
 One of the greatest challenges faced by work groups developing Logic Models is describing
where their pro-gram ends and others start. For the process of building a specific program’s Logic
Model, the program’s performance ends with the problem it is designed to solve with the resources
it has acquired, including the external forces that could influence its success in solving that problem.
Generally, the manager’s concern is determining the reasonable point of accountability for the
program. At the point where the actions of customers, partners, or other programs are as influential
on the outcomes as actions of the program, there is a shared responsibility for the outcomes and
the program’s accountability for the outcomes should be reduced. For example, the adoption of
energy efficient technologies is also influenced by financiers and manufacturers of those
technologies.

3.3. Stage 3: defining the elements of the Logic Model

3.3.1. Starting with a table

Building a Logic Model usually begins with categorizing the information collected into ‘ bins’, or
columns in a table. Using the categories discussed above the manager goes through the information
and tags it as a resource, activity, output, short term outcome, inter-mediate outcome, long term
outcome or external factor. Since we are building a model of how the program works, not every
program detail has to be identified and cataloged, just those that are key to enhancing program staff
and stakeholder understanding of how the program works. Figure 1 is a table with some of the
elements of the Logic Model for a technology program.

Fig. 2. A table with elements of the Logic Model for an energy technology program.

3.3.2. Checking the logic

As the elements of the Logic Model are being gathered, the manager and a work group should
continually check the accuracy and completeness of the information contained in the table. The
checking process is best done by involving representatives of key stakeholder groups to determine if
they can understand the logical flow of the program from resources to solving the longer term
problem. So the checking process goes beyond determining if all the key elements identified, to
confirming that reading from left to right, there is an obvious sequence or bridge from one column
to the next.

One way to conduct the check is to start in any column in the table and ask the question, ‘ How
did we get here?’ For example, if we select a particular short term outcome, is there an output
statement that leads to this outcome? Or, for the same outcome, we could ask, ‘ Why are we aiming
for that outcome?’ The answer lies in a subsequent outcome statement in the intermediate or long
term out-come columns. If the work group cannot answer either the how or why question, then an
element needs to be added or clarified by adding more detail to the elements in question.

3.4. Stage 4: drawing the Logic Model

The Logic Model captures the logical flow and linkages that exist in any performance story. Using
the program elements in the table, the Logic Model organizes the information, enabling the
audience to understand and evaluate the hypothesized linkages. Where the resources, activities and
outcomes are listed within their respective columns in the story, they are specifically linked in the
Model, so that the audience can see exactly which activities lead to what intermediate outcomes
and which inter-mediate outcomes lead to what longer term outcomes or impacts.

Although there are several ways to present the Logic Model "Rush & Ogborne, 0880; Corbeil,
0875) the Logic Model is usually set forth as a diagram with columns and rows, with the abbreviated
text put in a box and linkages shown with connecting one-way arrows. We place inputs or resources
to the program in the first column at the left of the Model and the longer term outcomes and
problem to be solved on the far right column. In the second column, the major program activities
are boxed. In the columns following activities, the intended outputs and outcomes from each
activity are shown, listing the intended customer for each output or outcome. An example of a Logic
Model for an energy efficiency research and development program is depicted in Fig. 2.

The rows are created according to activities or activity groupings. If there is a rough sequential
order to the activities, as there often is, the rows will reflect that order reading from top to bottom
of the diagram. This is the case if the accomplishments of the program come in stages as
demonstrated in our example of the if, then statements. When the outcomes from one activity
serve as are source for another activity chain, an arrow is drawn from that outcome to the next
activity chain. The last in the sequence of activity chains could describe the efforts of external
partners, as in the example in Fig. 3. Rather thana sequence, there could be a multi-faceted
approach with several concurrent strategies that tackle a problem. For example, a program might do
research in some areas and technology development and deployment in others, all working toward
one goal such as reducing energy use and emissions.

Fig. 3. Logic chart for a research and technology development and deployment program.

Although the example shows one-to-one relationships among program elements, this is not
always the case. It may be that one output leads to one or more different outcomes, all of which are
of interest to stakeholders and are part of describing the value of the program.

Activities can be described at many levels of detail. Since models are simplifications, activities
that lead to the same outcome(s) may be grouped to capture the level of detail necessary for a
particular audience. A rule of thumb is that a Logic Model would have no more than five activity
groupings. Most programs are complex enough that Logic Models at more than one level of detail
are helpful. A Logic Model more elaborate than the simple one shown in Figure 0 can be used to
portray more detail for all or anyone of its elements. For example, research activities may include
literature reviews, conducting experiments, collecting information from multiple sources, analyzing
data, and writing reports. These can be grouped and labeled research. However, it may be necessary
to formulate a more detailed and elaborate description of research sub activities for those staff
responsible and if this area is of specific interest to a stakeholder group. For example, funding
agencies might want to understand the particular approach to research that will be employed to
answer key research questions.

The final product may be viewed as a network dis-playing the interconnections between the
major elements of the program’s expected performance, from resources to solving an important
problem. External factors are entered into the Model at the bottom, unless the program has
sufficient information to predict the point at which they might occur.
3.5. Stage 5: verifying the Logic Model with stakeholders

As the Logic Model process unfolds, the work group responsible for producing the Model should
continuously evaluate the Model with respect to its goal of representing the program logic-how the
program works under what conditions to achieve its short, intermediate, and long term aims. The
verification process followed with the table of program logic elements is continued with appropriate
stakeholders engaged in the review process. The work group will use the Logic Model diagram(s)
and the supporting table and text. During this time, the work group also can address what critical
information they need about performance, setting the stage for a measurement plan.

In addition to the how! why and if! then questions, we recommend four evaluation questions be
addressed in the final verification process:

(1) Is the level of detail sufficient to create understandings of the elements and their interrelationships?

(2) Is the program logic complete? That is, are all the key elements accounted for?

(3) Is the program logic theoretically sound? Do all the elements fit together logically? Are there other
plausible pathways to achieving the program outcomes?

(4) Have all the relevant external contextual factors been identified and their potential influences
described?

A good way to check the Logic Model is to describe the program logic as hypotheses; a series of
if, then statements (United Way of America, 1996). Observations of key contextual factors provide
the conditions under which the hypotheses will be successful. The hypothesis or proposition the
work group is stating is: ‘ If assumptions about contextual factors remain correct and the program
uses these resources with these activities, then it will pro-duce these short-term outcomes for
identified customers who will use them, leading to longer term outcomes.’

This series of if-then statements is implicit in Fig. 1. If resources, then program activities. If
program activities, then outputs for targeted customer groups. If outputs change behavior, first
short and then intermediate out-comes occur. If intermediate outcomes lead to the longer term
outcomes, this will lead to the problem being solved.

For example, given the problem of limited energy resources, the hypothesis might go something
like this:

Under the conditions that the price of oil and electricity increase as expected, if the program
performs applied research, then it will produce ideas for technology change. If industry
researchers take this information and apply it to energy technologies, then the potential for
technology changes will be tested and identified. If this promising new knowledge is used by
technology developers, then prototypes of energy efficient technologies can be developed. If
manufacturers use the prototypes and perceive value and low risk, then commercially available
energy saving technologies will result. If there is sufficient market education and incentives and
if the price is right, then consumers will purchase the new technologies. If the targeted
 consumers use the newly purchased technologies, then there should be a net reduction in the
energy use, energy costs and emissions, thus making the economy more competitive and the
environment cleaner.

4. Measuring performance

Measurement activities take their lead from the Logic Model produced by the work group. There
are essentially two purposes to measure program performance: accountability or communicating
the value of the program to others, and program improvement. When most managers are faced
with accountability requirements, they focus on collecting information or evidence of their
program’s accomplishments-the value added for their customers and the degree to which targeted
problems have been solved. Another way to be accountable is to be a good manager. Good
managers collect the kind of information that enables them to understand how well their program is
working. In order to acquire such an understanding, we believe that, in addition to collecting
outcome information, the program manager has to collect information that provides a balanced
picture of the health of the program. When managers adopt the program improvement orientation
to measurement they will be able to provide accountability information to stakeholders, as well as
make decisions regarding needed improvements to improve the quality of the program.

Measurement strategies should involve ongoing monitoring of what happened in the essential
features of the program performance story and evaluation to assess their presumed causal linkage
or relationships, including the hypothesized influences of external factors. Wiess (1997) citing her
earlier work, noted the importance of not only capturing the program process but also collecting
information on the hypothesized linkages. According to Wiess, the measurement should ‘ track the
steps of the program’. In the Logic Model, the boxes are the steps that can often be simply counted
or monitored, and the lines connecting the boxes are the hypothesized linkages or causal
relationships that require in-depth study to determine and explain what happened.

It is the measurement of the linkages, the arrows in the logic chart, which allows the manager to
determine if the program is working. Monitoring the degree to which elements are in place, even
the intended and unintended outcomes, will not explain the measurement or tell the manager if the
program is working. What is essential is the testing of the program hypotheses. Even if the manager
observes that intended outcomes were achieved, the following question must be asked, ‘ What
feature(s), if any, of the program contributed to the achievement of intended and unintended
outcomes?’

Thus, adopting the program improvement orientation to performance measurement requires

going beyond keeping score. Earlier we referred to Patton’s "0886) espoused theory of action. The
first step in improvement measurement Is determining whether what has been planned in the Logic
Model actually occurred. Patton would refer to this as determining theories-in-use. Scheirer (1994)
provides an excellent review of process evaluation, including not only methods for conducting the
evaluation of how the program works, but also criteria to apply in the evaluation.

The Logic Model provides the hypothesis of how the program is supposed to work to achieve
intended results. If it is not implemented according to design, then there may be problems reaching
program goals. Furthermore, information from the process evaluation serves as explanatory
information when the manager defends accountability claims and attributes the outcomes to the
program.

Yin (1989) discusses the importance of pattern matching as a tool to study the delivery and
impact of a program. The use of the Logic Model process results in a pattern that can be used in this
way. As such it becomes a tool to assess program implementation and program impacts. An iterative
procedure may be applied that first determines the theory-in-use, followed by either revisions in the
espoused theory or tightening of the implementation of the espoused theory. Next, the resulting
tested pattern can be used to address program impacts.

We should note that the verification and checking activities described earlier with respect to
Steps 4 and 5 actually represent the first stages of performance measurement. That is, this process
ensures that the pro-gram design is logically constructed, that it is complete, and that it captures
what program staff and stakeholders believe to be an accurate picture of the program.

Solving the measurement challenge often requires stakeholder representatives be involved in

the planning. Stakeholders and the program should agree on the definition of program success and
how it will be measured. And often the program has to rely on stakeholders to generate
measurement data. Stakeholders have their own needs for measurement data as well as constraints
in terms of resources and confidentiality of data.

The measurement plan can be based on the logic char(s) developed for the program. The
manager or work team should use Logic Models with a level of detail that match the detail needed
in the measurement. Stake-holders have different measurement needs. For example, program staff
have to think and measure at a more detailed level than upper management. The following are the
performance measurement questions across the performance story which the manager and work
team will use to determine the performance measurement plan:

(1) Is (was) each element proposed in the Logic Model in place, at the level expected for the
time period? Are outputs and outcomes observed at expected performance levels? Are
activities implemented as designed? Are all resources, including partners, avail-able and
used at projected levels?
(2) Did the causal relationships proposed in the Logic Model occur as planned? Is reasonable
progress being made along the logical path to outcomes? Were there unintended benefits
or costs?
(3) Are there any plausible rival hypotheses that could explain the outcome: result?
(4) Did the program reach the expected customers and are the customers reached satisfied
with the program services and products?

A measurement plan will include a small set of critical measures, balanced across the
performance story, that are indicators of performance. There may be strategic measures at a high
level of detail, and tactical measures for implementers of the program. The plan will also include the
important performance measurement questions that must be addressed and suggest appropriate
timing for outcomes or impact evaluation. This approach to measurement will enable the program
manager and stakeholders to assess how well the program is working to achieve its short term,
intermediate, and long term aims and to assess those features of the program and external factors
that maybe influencing program success.
5. Conclusion

This paper has set forth for program managers and those who support them the Logic Model
tool for telling the program’s performance story. Telling the story involves answering the questions:
’ What are you trying to achieve and why is it important?’,’ How will you measure effectiveness?’,
and ‘ How are you actually doing?’ The final product of the Logic Model process will be a Logic
Model diagram "s) that reveals the essence of the program, text that describes the Logic Model
diagram, and a measurement plan. Armed with this information the manager will be able to meet
accountability requirements and present a logical argument, or story, for the program. Armed with
this information, the manager will be able to undertake both outcomes measurement and
improvement measurement. Because the story and the measurement plan have been developed
with the program stakeholders, the story should be a shared vision with clear and shared
expectation of success. The authors will continue to search for ways to facilitate the use of the Logic
Model process and convince managers and stakeholders of the benefits of its use. We welcome
feedback from managers, stakeholders, and facilitators who have tried this or similar tools to
develop and communicate a program’s performance story.

Acknowledgments

In addition to the authors cited in the references, the authors thank Joe Wholey, Jane Reismann, and
other reviewers for sharing their understanding of Logic Models. The authors acknowledge the funding
and sup-port of Darrell Beschen and the program managers of the U.S. Department of Energy Office of
Energy Efficiency and Renewable Energy, performed under contract DE-AC93!83AL74999 with Sandia
National Lab-oratories. The opinions expressed and the examples used are those of the authors, not the
Department of Energy.

Model logika: alat untuk menceritakan kisah kinerja program Anda

John A. McLaughlina. Gretchen B. Jordanb.
sebuah 
Konsultan Independen. 312 Hempstead Road. Williamsburg. VA 12077. AS  Sandia National
b 

Laboratories. 849 L'Enfant Plaza SW Suite 110. Washington. DC 19913. AS

Diterima 1 Agustus 1998
Abstrak
Manajer program lintas sektor swasta dan publik diminta untuk menggambarkan dan mengevaluasi
program mereka dengan cara baru. Orang ingin manajer menyajikan argumen logis tentang bagaimana
dan mengapa program mengatasi kebutuhan pelanggan tertentu dan bagaimana pengukuran dan
evaluasi akan menilai dan meningkatkan efektivitas program. Manajer tidak memiliki metode yang jelas
dan konsisten secara logis untuk membantu mereka dalam tugas ini. Makalah ini menjelaskan proses
Model Logika. alat yang digunakan oleh evaluator program. cukup detail sehingga manajer dapat
menggunakannya untuk mengembangkan dan menceritakan kisah kinerja untuk program
mereka. Model Logika menggambarkan keterkaitan logis antara sumber daya
program. kegiatan. output. pelanggan mencapai. dan pendek. hasil jangka menengah dan
panjang. Begitu model kinerja yang diharapkan ini diproduksi. Area pengukuran kritis dapat
diidentifikasi.
Seluruh hak cipta.
Kata kunci: Teori program; Pemodelan program; Pengukuran kinerja; Pemantauan dan
evaluasi; Undang-undang Kinerja dan Hasil Pemerintah
1. Masalahnya
“Paling sederhana. Undang-undang Kinerja dan Hasil Pemerintah (GPRA) dapat direduksi menjadi satu
pertanyaan: Apa yang kita dapatkan dari uang yang kita belanjakan? Untuk membuat GPRA lebih
langsung relevan bagi ribuan pejabat Federal yang mengelola program dan kegiatan di seluruh
pemerintahan. GPRA memperluas satu pertanyaan ini menjadi tiga: Apa yang ingin dicapai oleh program
atau organisasi Anda? Bagaimana efektivitasnya ditentukan? Bagaimana sebenarnya? Salah satu ukuran
keberhasilan GPRA adalah ketika setiap manajer Federal di mana saja dapat menjawab semua
pertanyaan dengan pengetahuan. "
John A. Koskinen. 1997
Kantor Manajemen dan Anggaran

Manajer federal ditantang oleh Mr. Koskinen (1997). Wakil Direktur OMB. untuk menceritakan kisah
program mereka dengan cara yang tidak hanya mengomunikasikan tujuan hasil program.  tetapi juga,
bahwa hasil-hasil ini dapat dicapai. Untuk banyak program publik ada juga pertanyaan implisit: 'Apakah
hasil yang diusulkan oleh program adalah hasil yang benar?' Itu adalah. apakah hasilnya mengatasi
masalah yang sesuai untuk program dan dianggap oleh para pemangku kepentingan penting bagi misi
organisasi dan kebutuhan nasional?
Penulis yang sesuai. E-mail: gbjordaÝsandia.gov
Penekanan pada akuntabilitas dan 'mengelola hasil' ditemukan di pemerintah negara bagian dan lokal
serta dalam organisasi layanan publik seperti United Way of America dan Palang Merah Amerika.  Ini
mewakili perubahan dalam cara manajer harus menggambarkan pro-gram mereka dan
mendokumentasikan keberhasilan program . Manajer program tidak begitu familiar dengan
menggambarkan dan mengukur hasil seperti mereka dengan mendokumentasikan input dan
proses. Desain program tidak harus eksplisit. sebagian karena ini memungkinkan fleksibilitas jika
prioritas pemangku kepentingan berubah. Ada juga minat yang meningkat di antara manajer program
dalam perbaikan dan pengelolaan berkelanjutan untuk 'kualitas'. Memilih apa yang akan diukur dan
dikumpulkan serta dianalisis data yang diperlukan untuk pengukuran peningkatan adalah hal baru bagi
banyak manajer. Masalahnya adalah bahwa metode yang jelas dan konsisten secara logis belum tersedia
untuk membantu manajer program membuat pemahaman implisit secara eksplisit. Sementara alat
seperti fl grafik ow. analisis resiko. analisis sistem. Digunakan untuk merencanakan dan menjelaskan
program. Ada metode yang dikembangkan oleh evaluator program yang lebih komprehensif menangani
peningkatan kebutuhan untuk pengukuran hasil dan pengukuran peningkatan. Tujuan kami di sini
adalah untuk menggambarkan alat yang digunakan oleh banyak orang di komunitas evaluasi
program. proses Model Logika. untuk membantu manajer program lebih baik dalam memenuhi
persyaratan baru. Dokumentasi proses dimana seorang manajer atau kelompok akan mengembangkan
Model Logika tidak tersedia bahkan dalam komunitas evaluasi, sehingga makalah ini juga dapat
membantu evaluator melayani pelanggan mereka dengan lebih baik.
2 . Model Logika Program
Evaluator telah menemukan yang Logic Model proses yang berguna untuk di setidaknya dua
puluh tahun. Sebuah Logika Model menyajikan suatu yang masuk akal Model dan masuk akal tentang
bagaimana program akan bekerja di bawah kondisi tertentu untuk memecahkan identifikasi fi masalah
ed ( Bickman, 1987) . Dengan demikian, Model Logika adalah dasar untuk
meyakinkan cerita dari para Program ' s diharapkan kinerja. The elemen dari para Logic Model yang sum
ber daya , kegiatan, output, pelanggan mencapai, pendek, menengah dan jangka panjang hasil, dan
eksternal yang relevan di flu ences ( Wholey, 1983, 1987 ) .
Deskripsi dan contoh penggunaan Model Logika dapat ditemukan di Wholey (1983 ) ,
Rush & Ogborne (1990 ) , Corbeil (1986 ) , Jordan & Mortensen (1997 ) , dan Jordan,
Reed, & Mortensen (1997 ) . Variasi Model Logika disebut dengan di ff erent nama, 'Chains of
Penalaran ' ( Torvatn, 1998 ) , Teori Aksi, ( Patton, 1997 ) , dan 'Kinerja
Kerangka ' ( Montague, 1997 ; McDonald & Teather , 1997 ) . The Logic Model dan variasi ini semua
terkait dengan apa evaluator teori Program panggilan. Menurut Chen (1990 ) , teori program harus
bersifat preskriptif dan deskriptif. Artinya, seorang
manajer memiliki untuk kedua menjelaskan dengan unsur-unsur dari para Program dan menyajikan
logika cara kerja program. Patton (1997 ) mengacu pada deskripsi program seperti ini sebagai ' teori
tindakan yang dianut ' , yaitu persepsi pemangku kepentingan tentang bagaimana program akan
bekerja.
The bene fi ts dari menggunakan alat Logic Model meliputi :
 Membangun pemahaman bersama tentang program dan harapan untuk sumber daya,
pelanggan mencapai dan hasil, dengan demikian baik untuk berbagi ide, mengidentifikasi asumsi,
membangun tim, dan komunikasi;
 Bermanfaat untuk desain atau peningkatan program, mengidentifikasi proyek-proyek yang
penting untuk pencapaian tujuan, berlebihan, atau memiliki hubungan
yang tidak konsisten atau tidak masuk akal di antara elemen-elemen program; dan,
 Mengkomunikasikan tempat program dalam hierarki organisasi atau masalah, terutama jika ada
bagan logika bersama di berbagai tingkat manajemen;
 Poin ke set seimbang poin pengukuran kinerja utama dan masalah evaluasi,
sehingga meningkatkan pengumpulan data dan kegunaan, dan memenuhi persyaratan GPRA.
Model Logika sederhana diilustrasikan pada Gambar. 1 . Sumber termasuk manusia
dan fi sumber keuangan serta input lain yang diperlukan untuk mendukung program seperti
kemitraan. Informasi tentang kebutuhan pelanggan adalah sumber daya penting untuk program
ini. Kegiatan mencakup semua langkah tindakan
yang diperlukan untuk menghasilkan keluaran program . Output adalah produk, barang dan jasa
yang disediakan untuk Program ' s pelanggan langsung. Untuk contoh , melakukan
penelitian adalah suatu kegiatan dan yang laporan yang dihasilkan untuk peneliti lain dan
pengembang teknologi bisa dianggap sebagai output dari kegiatan tersebut.
Pelanggan telah ditangani secara implisit dalam Model Logika sampai Montague menambahkan
konsep Jangkauan ke kerangka kinerja. Dia berbicara tentang 3 Rs kinerja : sumber daya, orang-
orang mencapai, dan hasil ( Montague, 1997, 1994 ) . Hubungan antara sumber daya dan hasil tidak
dapat terjadi tanpa orang - yang pelanggan dilayani dan para mitra yang bekerja dengan program
untuk memungkinkan tindakan untuk menyebabkan hasil. Menempatkan pelanggan, para pengguna
produk atau layanan, secara eksplisit di tengah rantai logika membantu Program sta ff dan
saham pemegang lebih baik berpikir melalui dan menjelaskan apa yang mengarah ke apa dan apa
yang populasi kelompok yang Program bermaksud untuk melayani. Hasil dicirikan sebagai
perubahan atau manfaat yang dihasilkan dari kegiatan dan hasil. Program biasanya memiliki banyak,
hasil berurutan di seluruh kisah kinerja program lengkap. Pertama, ada jangka pendek keluar-
 datang, perubahan-perubahan atau bene fi ts yang paling erat terkait dengan atau 'disebabkan' oleh
program ' s output. Kedua, ada hasil-hasil antara, perubahan-perubahan yang dihasilkan dari
penerapan hasil - hasil jangka pendek . Hasil jangka panjang atau dampak program, ikuti dari
manfaat yang diperoleh melalui hasil antara. Sebagai contoh, hasil dari laboratorium proto-
tipe untuk sebuah energi hemat teknologi mungkin suatu pendek - hasil
jangka; yang komersial skala prototipe sebuah hasil
menengah , dan sebuah bersih lingkungan sekali yang teknologi di gunakan salah satu yang
diinginkan jangka panjang- bene fi ts atau
hasil. Sebuah kritis fitur dari yang kinerja cerita adalah yang identifikasi fi kasi dan deskripsi dari kunc
i kontekstual faktor eksternal untuk program dan tidak berada di bawah kendalinya yang bisa
di fl pengaruh keberhasilan baik secara positif maupun negatif. Hal ini penting untuk memeriksa
kondisi eksternal di mana program diimplementasikan dan bagaimana kondisi mereka sebuah  ff ect
hasil. Penjelasan ini membantu memperjelas 'ceruk' program dan asumsi di mana ekspektasi kinerja
ditetapkan. Melakukan ini memberikan kontribusi penting untuk peningkatan program. ( Weiss ,
1997 ) . Menjelaskan dengan hubungan dari yang masalah ditujukan melalui program ini, faktor-
faktor yang menyebabkan masalah, dan faktor-faktor eksternal, memungkinkan manajer untuk
berpendapat bahwa program ini menangani masalah penting dalam cara yang masuk akal.
3 . Membangun Model Logika
Seperti kita memberikan panduan rinci tentang bagaimana mengembangkan Model Logika dan
menggunakannya untuk menentukan pengukuran dan evaluasi kunci poin, itu akan menjadi
lebih jelas bagaimana Logic Model proses bantuan s Program manajer menjawab pertanyaan Mr.
Koskinen dan lain-lain meminta dari mereka. Contoh dari program penelitian energi dan
pengembangan teknologi federal akan digunakan di seluruh. Manajer program di Departemen
Energi AS O FFI ce
Energi E FFI siensi dan Terbarukan Energi telah telah menggunakan Logic Model proses sejak 1993 u
ntuk membantu mengkomunikasikan kemajuan dan nilai program mereka kepada Kongres, mitra,
pelanggan, dan stakeholder lainnya.
The Logic Model yang dibangun di fi ve tahap dibahas di bawah. Tahap 1 mengumpulkan
informasi yang relevan; Tahap 2 menggambarkan masalah yang akan dipecahkan oleh program dan
konteksnya; Tahap 3 adalah mendefinisikan elemen-elemen Model Logika dalam sebuah
tabel; Tahap 4 adalah membangun Model Logika; dan Tahap 5 memverifikasi Model.
3.1 . Tahap 1 : mengumpulkan informasi yang relevan
Apakah merancang program baru atau menggambarkan program yang ada, penting bahwa
manajer atau kelompok kerja mengumpulkan informasi yang relevan dengan program dari berbagai
sumber. Informasi akan datang dalam bentuk dokumentasi program, serta wawancara dengan
pemangku kepentingan utama baik internal maupun eksternal program. Sementara Rencana
Strategis, Tahunan Rencana Kinerja, evaluasi program sebelumnya, undang-undang terkait dan
peraturan dan hasil wawancara yang
ditargetkan harus menjadi tersedia untuk para manajer sebelum para Model Logika dibangun,
seperti dengan setiap proyek, ini akan menjadi sebuah proses berulang yang membutuhkan koleksi
yang sedang berlangsung informasi. Melakukan tinjauan pustaka untuk mendapatkan
wawasan tentang apa yang telah dilakukan orang lain untuk menyelesaikan masalah yang sama ,
dan faktor kontekstual utama untuk dipertimbangkan dalam merancang dan mengimplementasikan
program, dapat menyajikan bukti kuat bahwa pendekatan program yang dipilih adalah benar.
 Membangun Model Logika untuk program harus menjadi tim e ff ort dalam banyak kasus. Jika
manajer tidak sendiri,
ada adalah sebuah besar risiko yang bagian dilihat sebagai penting oleh beberapa
akan akan meninggalkan keluar atau tidak benar diwakili. Di dalam langkah-langkah
berikut untuk membangun satu Logic Model kita merujuk ke para manajer sebagai pemain
kunci. Namun, kami merekomendasikan bahwa orang berpengetahuan dari program ' s kinerja yang
direncanakan, termasuk mitra dan pelanggan, terlibat dalam kelompok kerja untuk
mengembangkan Model. Sebagai proses
membangun b egins itu akan menjadi jelas bahwa ada yang beberapa realitas atau dilihat dari
kinerja program. Mengembangkan visi bersama tentang bagaimana program seharusnya bekerja
akan menjadi produk dari penemuan dan negosiasi yang gigih antara dan di antara para pemangku
kepentingan.
Dalam kasus di mana sebuah program yang merupakan kompleks , buruk de fi ned , atau
komunikasi dan konsensus yang kurang , yang memuji bahwa subkelompok kecil atau mungkin
fasilitator independen diminta untuk melakukan analisis awal dan syn-tesis melalui review dokumen
dan kelompok individu dan fokus wawancara. Produk ini e ff ort
kemudian akan dipresentasikan ke suatu pekerjaan yang lebih
besar kelompok sebagai sebuah katalis untuk proses Logic Model.
2.2. Tahap 2 : mendefinisikan dengan jelas masalah dan konteksnya
Jelas mendefinisikan kebutuhan untuk program adalah dasar untuk semua yang mengikuti
dalam pengembangan Model Logika. Program harus didasarkan pada pemahaman tentang masalah
yang mendorong perlunya program. Pemahaman ini termasuk memahami masalah yang dihadapi
pelanggan dan faktor apa yang 'menyebabkan ' masalah
tersebut. Ini adalah ini faktor yang yang Program akan membahas untuk mencapai tujuan jangka
panjang - yang bekerja melalui pelanggan untuk memecahkan masalah. Sebagai contoh,
Ada tantangan ekonomi dan lingkungan terkait dengan produksi, distribusi, dan penggunaan
akhir energi. Pembayar pajak AS menghadapi masalah seperti ketergantungan pada minyak
asing , udara polusi , dan ancaman dari pemanasan global dari pembakaran bahan bakar
fosil. Faktor-faktor yang
mungkin akan ditujukan untuk meningkatkan para e FFI efisiensi dari akhir penggunaan energi
meliputi pengetahuan yang terbatas, keengganan risiko, keterbatasan anggaran konsumen,
kurangnya harga kompetitif bersih dan e FFI efisien teknologi
energi , yang eksternalitas terkait dengan publik barang, dan restrukturisasi pasar listrik AS. Untuk
mengatasi masalah dari ekonomi dan lingkungan tantangan yang berkaitan dengan penggunaan
energi, lagi memilih program untuk fokus pada faktor-faktor yang berhubungan dengan
pengembangan dan e bersih FFI efisien teknologi energi dan mengubah nilai-nilai pelanggan dan
pengetahuan. Dengan cara ini, program akan di fl pelanggan pengaruh penggunaan teknologi yang
akan menyebabkan penurunan penggunaan energi, khususnya bahan bakar fosil.
Salah satu tantangan terbesar yang dihadapi oleh kelompok kerja mengembangkan Model
Logika adalah menggambarkan di mana program mereka berakhir dan yang lain mulai. Untuk proses
membangun spesifik fi c Program ' s Logic Model, yang Program ' s kinerja berakhir dengan masalah
itu dirancang untuk memecahkan dengan sumber daya telah diperoleh, termasuk kekuatan
eksternal yang bisa di fl pengaruh yang sukses di memecahkan bahwa masalah. Umumnya, manajer ' 
s perhatian adalah menentukan titik wajar akuntabilitas untuk program tersebut. Pada titik di mana
tindakan pelanggan, mitra, atau program lainnya adalah sebagai di fl berpengaruh pada hasil sebagai
 tindakan dari para Program , ada adalah sebuah bersama tanggung jawab untuk hasil dan
program ' s akuntabilitas untuk hasil harus dikurangi. Misalnya, penerapan energi e FFI teknologi
efisien juga di fl dipengaruhi oleh fi nanciers dan produsen dari teknologi tersebut.
3 . 3 . Tahap 3 : de fi ning elemen dari Model Logika
3.3.1 . Dimulai dengan sebuah tabel
Membangun Model Logika biasanya dimulai dengan mengelompokkan informasi yang
dikumpulkan menjadi 'tempat sampah ' , atau kolom dalam sebuah tabel. Dengan
menggunakan kategori yang dibahas di atas , manajer memeriksa informasi dan menandainya
sebagai sumber daya, aktivitas, output, hasil jangka pendek, hasil antara, hasil jangka panjang atau
faktor eksternal. Karena kita sedang membangun sebuah model
yang dari bagaimana para Program bekerja, tidak setiap detail program harus diidentifikasi fi ed dan
katalog, hanya mereka yang merupakan kunci untuk meningkatkan Program sta ff dan pemahaman
stakeholder cara kerja program. Gambar 1 adalah tabel dengan beberapa elemen Model Logika
untuk program teknologi.
Gambar 2. Tabel dengan elemen-elemen Model Logika untuk program teknologi energi.
3.3.2 . Memeriksa logikanya
Sebagai yang unsur-unsur dari para Logic Model yang sedang berkumpul, manajer dan kelompok
kerja harus terus menerus memeriksa keakuratan dan kelengkapan dari informasi yang terdapat
dalam tabel. Proses pemeriksaan sebaiknya dilakukan dengan melibatkan wakil-wakil dari kelompok
pemangku kepentingan utama untuk menentukan apakah mereka dapat memahami logika fl ow
dari program dari sumber daya untuk memecahkan masalah jangka panjang. Jadi proses pengecekan
melampaui menentukan apakah
semua yang kunci elemen identifikasi fi ed , untuk con fi rming yang membaca dari kiri ke kanan, ada
urutan yang jelas atau jembatan dari satu kolom ke yang berikutnya.
Salah satu cara untuk melakukan ini cek adalah untuk memulai di setiap kolom dalam tabel dan
bertanya, 'Bagaimana kita sampai di
sini? ' Sebagai contoh , jika kita memilih sebuah tertentu pendek jangka hasilnya, apakah ada
pernyataan output yang mengarah ke hasil ini? Atau, untuk hasil yang sama, kita bisa bertanya,
'Mengapa kita bertujuan untuk itu hasil? ' The jawaban kebohongan dalam sebuah pernyataan hasil
berikutnya di kolom hasil jangka menengah atau panjang. Jika kelompok kerja tidak bisa menjawab
baik bagaimana atau mengapa pertanyaan, maka kebutuhan elemen yang akan ditambahkan atau
klari fi ed dengan menambahkan lebih rinci untuk unsur-unsur yang bersangkutan.
3.4 . Tahap 4 : menggambar Model Logika
The Logic Model menangkap para logis fl ow dan hubungan yang ada dalam setiap cerita
kinerja. Menggunakan elemen-elemen program dalam tabel, Model Logika mengatur informasi,
memungkinkan audiens untuk memahami dan mengevaluasi keterkaitan yang dihipotesiskan.  Di
mana sumber daya, kegiatan dan hasil yang tercantum dalam kolom masing-masing dalam cerita,
mereka spesifik fi Cally terkait dalam Model, sehingga penonton dapat melihat persis yang kegiatan
menyebabkan apa hasil intermediate dan yang hasil menengah menyebabkan apa hasil atau
dampak jangka panjang.
Meskipun ada beberapa cara untuk menyajikan Logic Model "Rush & Ogborne, 0880; Corbeil,
0875 ) Model Logika ini biasanya diatur sebagainya sebagai sebuah diagram dengan kolom dan baris,
dengan put teks disingkat dalam kotak dan keterkaitan ditampilkan dengan satu menghubungkan  - .
cara panah Kami menempatkan input atau sumber daya untuk program di fi pertama kolom di kiri
Model dan hasil jangka panjang dan masalah yang harus dipecahkan pada ko. om paling kanan pada
kolom kedua, kegiatan program utama kemas. . dalam kolom kegiatan berikut, output dimaksudkan
dan hasil dari setiap kegiatan yang ditampilkan, daftar
dimaksudkan pelanggan untuk setiap keluaran atau hasil. sebuah contoh dari Model Logic untuk
energi e FFI program penelitian dan pengembangan efisiensi digambarkan pada Gambar. 2 .
Baris dibuat menurut aktivitas atau pengelompokan aktivitas. Jika ada berurutan kasar untuk
kegiatan , seperti ada sering adalah , yang baris akan kembali fl ect yang perintah membaca dari atas
ke bawah dari diagram. Ini adalah kasus jika pencapaian program datang secara bertahap
sebagaimana ditunjukkan dalam contoh pernyataan if, maka kita. Ketika hasil dari satu aktivitas
berfungsi sebagai yang sumber untuk lain kegiatan rantai , sebuah panah yang diambil dari bahwa
hasilnya ke rantai aktivitas berikutnya. Yang terakhir dalam urutan rantai aktivitas bisa
menggambarkan e ff orts dari mitra eksternal, seperti dalam contoh di Gambar. 3 . Sebaliknya urut
thana , ada bisa menjadi sebuah multi- - pendekatan faceted dengan beberapa strategi konkuren
yang mengatasi masalah. Sebagai contoh , suatu program dapat melakukan
penelitian di beberapa bidang dan pengembangan teknologi dan penyebaran di tempat lain, semua
bekerja menuju satu tujuan seperti mengurangi penggunaan energi dan emisi.
Gambar 3. Logic chart untuk penelitian dan pengembangan teknologi dan program penyebaran.
Meskipun contoh menunjukkan hubungan satu - ke - satu di antara elemen-elemen program, ini
tidak selalu terjadi. Mungkin satu output mengarah ke satu atau lebih di ff erent
hasil , semua dari yang adalah dari bunga untuk para pemangku kepentingan dan merupakan bagian
dari menggambarkan nilai program.
Kegiatan dapat dijelaskan pada banyak tingkatan detail. Sejak model disederhanakan fi kation,
kegiatan yang mengarah pada hasil yang sama ( s ) dapat dikelompokkan untuk menangkap tingkat
detail yang diperlukan untuk audiens tertentu. Sebuah aturan praktis adalah bahwa Model Logika
akan memiliki tidak lebih dari fi ve aktivitas kelompok. Sebagian besar program cukup kompleks
sehingga Model Logika pada lebih dari satu tingkat detail sangat membantu. Model Logika yang
lebih rumit daripada yang sederhana seperti ditunjukkan pada Gambar 0 dapat digunakan untuk
menggambarkan lebih detail untuk semua atau siapa pun dari elemen - elemennya. Untuk contoh,
kegiatan penelitian dapat mencakup tinjauan pustaka, melakukan eksperimen, mengumpulkan
informasi dari berbagai sumber, menganalisis data, dan menulis laporan. Ini
dapat menjadi dikelompokkan dan diberi label penelitian. Namun , hal itu mungkin diperlukan untuk
merumuskan deskripsi yang lebih rinci dan rumit dari sub kegiatan penelitian bagi mereka
sta ff bertanggung jawab dan jika daerah ini adalah spesifik fi c bunga ke kelompok pemangku
kepentingan. Misalnya, lembaga pendanaan mungkin ingin memahami pendekatan khusus untuk
penelitian yang akan digunakan untuk menjawab pertanyaan penelitian utama.
The fi produk akhir dapat dilihat sebagai jaringan dis-memainkan interkoneksi antara unsur-
unsur utama dari program ' kinerja s diharapkan, dari sumber daya untuk memecahkan masalah
penting. Faktor eksternal dimasukkan ke
dalam dalam Model di dalam bawah , kecuali pada Program memiliki su FFI informasi memadai
untuk memprediksi titik di mana mereka mungkin terjadi.
 
 
3 . 5 . Tahap 5 : memverifikasi Model Logika dengan pemangku kepentingan
Seperti terungkap proses Logic Model, kelompok kerja yang bertanggung
jawab untuk memproduksi satu model harus terus
mengevaluasi para Model dengan hormat untuk yang tujuan dari mewakili logika
program - bagaimana program itu bekerja di bawah kondisi apa untuk mencapai pendek, menengah,
dan tujuan jangka panjang. The veri fi proses kasi diikuti dengan tabel unsur logika program
dilanjutkan dengan pemangku kepentingan yang tepat yang terlibat dalam proses
peninjauan. Kelompok kerja akan menggunakan diagram Model Logika ( s ) dan tabel dan teks
pendukung. Selama ini, kelompok kerja juga dapat mengatasi apa informasi penting yang mereka
butuhkan tentang kinerja, setting panggung untuk ukuran m rencana ent.
Selain caranya! mengapa dan jika! kemudian pertanyaan, kami
sarankan empat evaluasi pertanyaan akan dibahas di dalam fi nal veri fi proses kasi :
(1 ) Apakah tingkat detail su FFI efisien untuk membuat
pemahaman dari para elemen dan mereka hubungan timbal balik?
(2 ) Apakah logika program lengkap? Yaitu, apakah semua elemen kunci diperhitungkan?
(3 ) Apakah logika program secara teori baik? Apakah semua elemen fi t bersama-sama secara
logis? Apakah ada jalur masuk akal lainnya untuk mencapai hasil program?
(4 ) Memiliki semua yang relevan eksternal kontekstual faktor telah diidentifikasi fi ed dan potensi
mereka di fl uences dijelaskan?
Cara yang baik untuk memeriksa Model Logika adalah dengan menggambarkan logika
program sebagai hipotesis; serangkaian pernyataan if, then ( United Way of
America, 1996 ) . Pengamatan faktor kontekstual kunci memberikan kondisi di
mana para hipotesis akan menjadi sukses. The hipotesis atau proposisi kelompok kerja yang
menyatakan adalah : 'Jika asumsi tentang kontekstual faktor tetap benar dan yang Program
menggunakan sumber daya ini dengan kegiatan ini, maka akan pro-Duce pendek ini - hasil istilah
untuk mengidentifikasi fi pelanggan ed yang akan menggunakannya, mengarah ke hasil jangka
panjang. '
Rangkaian pernyataan if - then ini tersirat dalam Gambar. 1 . Jika sumber daya, maka kegiatan
program. Jika kegiatan program, maka output untuk kelompok pelanggan yang ditargetkan. Jika
output mengubah perilaku, pertama - tama terjadi short-out dan kemudian intermediate. Jika hasil
menengah menyebabkan jangka
panjang hasil , ini akan menyebabkan ke dalam masalah yang dipecahkan.
Misalnya, mengingat masalah sumber daya energi yang terbatas, hipotesisnya mungkin seperti
ini :
Dengan syarat bahwa harga minyak dan listrik meningkat seperti yang diharapkan, jika program
melakukan penelitian terapan, maka itu akan menghasilkan ide untuk perubahan teknologi. Jika
peneliti industri mengambil informasi ini dan menerapkannya ke teknologi energi, maka
potensi untuk perubahan teknologi akan diuji dan identifikasi fi ed. Jika menjanjikan
pengetahuan baru ini digunakan oleh pengembang teknologi, maka prototipe energi
e FFI teknologi efisien dapat dikembangkan. Jika produsen menggunakan prototipe dan
merasakan nilai dan risiko rendah, maka teknologi hemat energi yang tersedia secara komersial
akan menghasilkan. Jika ada su FFI edukasi pasar efisien dan insentif dan jika harga yang tepat,
 maka konsumen akan membeli teknologi baru. Jika konsumen yang ditargetkan menggunakan
teknologi yang baru dibeli, maka harus ada pengurangan bersih dalam penggunaan energi,
biaya energi dan emisi, sehingga membuat ekonomi lebih kompetitif dan lingkungan lebih
bersih.
4 . Mengukur performa
Kegiatan pengukuran memimpin mereka dari Model Logika yang
dihasilkan oleh para kerja kelompok. Ada yang dasarnya
dua tujuan untuk mengukur Program kinerja : akuntabilitas atau berkomunikasi nilai program untuk
orang lain , dan Program peningkatan. Ketika kebanyakan manajer dihadapkan dengan persyaratan
akuntabilitas, mereka fokus pada pengumpulan informasi atau bukti program mereka ' prestasi
s - nilai tambah bagi pelanggan mereka dan sejauh mana masalah yang ditargetkan telah
dipecahkan. Cara lain untuk bertanggung jawab adalah menjadi manajer yang
baik. Baik manajer mengumpulkan para jenis dari informasi yang memungkinkan mereka untuk
memahami seberapa baik program mereka bekerja. Untuk memperoleh pemahaman seperti itu,
kami percaya bahwa, selain mengumpulkan informasi hasil, manajer program harus mengumpulkan
informasi yang memberikan gambaran yang seimbang tentang kesehatan program. Ketika manajer
mengadopsi orientasi peningkatan program untuk pengukuran, mereka akan dapat memberikan
informasi pertanggungjawaban kepada para pemangku kepentingan, serta membuat keputusan
tentang perbaikan yang diperlukan untuk meningkatkan kualitas program.
Strategi pengukuran harus melibatkan pemantauan dari apa yang terjadi di fitur penting dari
program kinerja cerita dan evaluasi untuk menilai mereka dianggap kausal hubungan atau
hubungan, termasuk hipotesis di fl uences dari faktor eksternal. Wiess (1997 ) mengutip karya
sebelumnya, mencatat pentingnya tidak hanya menangkap proses program tetapi juga
mengumpulkan informasi tentang hubungan hipotesis. Menurut Wiess, pengukuran harus 'melacak
langkah-langkah program ' . Dalam Model Logika, kotak adalah langkah-langkah yang sering dapat
hanya dihitung atau dipantau, dan garis-garis yang menghubungkan kotak adalah keterkaitan
hipotesis atau hubungan kausal yang membutuhkan di - studi mendalam untuk menentukan dan
menjelaskan apa yang terjadi.
Ini adalah yang pengukuran dari para keterkaitan , yang panah di chart logika, yang
memungkinkan manajer untuk menentukan apakah program ini bekerja. Pemantauan sejauh mana
elemen berada, bahkan hasil yang diinginkan dan tidak diinginkan, tidak akan menjelaskan
pengukuran atau memberi tahu manajer jika program bekerja. Yang penting adalah pengujian
hipotesis program. Bahkan jika manajer mengamati bahwa hasil yang diharapkan tercapai,
pertanyaan berikut harus bertanya, 'Apa ciri-ciri ( s ) , jika ada, program ini memberikan kontribusi
terhadap pencapaian hasil yang diharapkan dan tidak diinginkan? '
Dengan demikian, mengadopsi orientasi peningkatan program untuk pengukuran kinerja
membutuhkan melampaui skor. Sebelumnya kita disebut Patton ' s "0886 ) didukung teori
Tindakan. Fi Langkah pertama dalam pengukuran peningkatan saya s menentukan apakah apa
yang telah telah direncanakan dalam Model Logika benar-benar terjadi Patton akan lihat ini sebagai
menentukan teori-teori. - di - digunakan. Scheirer (1994 ) memberikan review yang sangat bagus
dari proses evaluasi, termasuk tidak hanya metode untuk melakukan yang evaluasi cara kerja
program, tetapi juga kriteria untuk diterapkan dalam evaluasi.
Logika Model menyediakan hipotesis tentang bagaimana program ini seharusnya untuk bekerja
untuk mencapai hasil yang diharapkan. Jika tidak diterapkan sesuai dengan desain, maka mungkin
ada masalah dalam mencapai tujuan program. Selain itu, informasi dari evaluasi proses berfungsi
sebagai informasi penjelas ketika manajer membela klaim pertanggungjawaban dan
menghubungkan hasilnya dengan program.
Yin (1989 ) membahas pentingnya pencocokan pola sebagai alat untuk mempelajari pengiriman
dan dampak suatu program. Penggunaan proses Logic Model
menghasilkan pola yang dapat menjadi digunakan dalam ini cara. Sebagai seperti itu menjadi alat
untuk menilai pelaksanaan program dan program yang dampak. Sebuah prosedur iterasi dapat
diterapkan bahwa fi pertama menentukan yang teori - di - digunakan , diikuti oleh baik revisi dalam
teori yang dianut atau pengetatan pelaksanaan didukung teori. Selanjutnya, pola yang diuji dapat
digunakan untuk mengatasi dampak program.
Kami harus dicatat bahwa veri fi kasi dan kegiatan memeriksa dijelaskan sebelumnya
sehubungan dengan Langkah 4 dan 5 benar-benar mewakili fi pertama tahap pengukuran
kinerja. Artinya, proses ini memastikan bahwa desain program secara logis dibangun, bahwa sudah
selesai, dan bahwa hal itu menangkap apa program sta ff dan pemangku kepentingan percaya untuk
menjadi gambaran yang akurat tentang program.
Memecahkan tantangan pengukuran seringkali membutuhkan perwakilan pemangku
kepentingan untuk terlibat dalam perencanaan. Pemangku kepentingan dan program harus
menyepakati de fi nisi keberhasilan program dan bagaimana hal itu akan diukur. Dan seringkali
program harus mengandalkan pemangku kepentingan untuk
menghasilkan data pengukuran . Stakeholder memiliki mereka kebutuhan sendiri untuk data
pengukuran serta kendala dalam hal sumber daya dan con fi kerahasiaan data.
Rencana pengukuran dapat didasarkan pada char logika ( s ) yang
dikembangkan untuk para Program. The manager atau kerja tim harus menggunakan Logic Model
dengan tingkat detail yang sesuai dengan detail yang diperlukan dalam pengukuran. Saham-
pemegang memiliki di ff erent pengukuran kebutuhan. Misalnya, Program sta ff harus berpikir dan
mengukur pada tingkat yang lebih rinci dari manajemen
atas. The berikut adalah yang kinerja pengukuran pertanyaan di kisah kinerja yang manajer dan
kerja tim akan digunakan untuk menentukan rencana pengukuran kinerja :
(1) Is ( adalah ) setiap elemen diusulkan dalam Model Logika di tempat, di tingkat yang
diharapkan untuk jangka waktu? Apakah keluaran dan hasil diamati pada tingkat kinerja
yang diharapkan? Apakah kegiatan diimplementasikan seperti yang dirancang? Apakah
semua sumber daya, termasuk mitra, tersedia dan digunakan pada tingkat yang
diproyeksikan?   
(2) Apakah hubungan sebab akibat yang diusulkan dalam Model
Logika terjadi sesuai rencana? Apakah wajar kemajuan yang dibuat bersama dengan jalur
logis untuk hasil? Apakah ada tidak disengaja bene fi ts atau biaya?   
(3) Apakah ada hipotesis saingan yang masuk akal yang dapat menjelaskan hasil: hasil?   
(4) Apakah program mencapai pelanggan diharapkan dan pelanggan mencapai satis fi ed dengan
program layanan dan produk?   
Rencana pengukuran akan mencakup seperangkat kecil langkah-langkah kritis, seimbang di
seluruh kisah kinerja, yang merupakan indikator kinerja. Mungkin ada langkah-langkah strategis
pada tingkat detail yang tinggi, dan langkah-langkah taktis untuk pelaksana program. Rencana
tersebut juga akan mencakup pertanyaan pengukuran kinerja penting yang harus diatasi dan
menyarankan waktu yang tepat untuk hasil atau evaluasi dampak . Ini pendekatan untuk
 pengukuran akan memungkinkan manajer program dan pemangku kepentingan untuk menilai
seberapa baik program ini bekerja untuk mencapai jangka pendek, tujuan menengah, dan jangka
panjang dan untuk menilai fitur-fitur dari program dan
eksternal faktor yang mungkin di fl uencing Program sukses.
5 . Kesimpulan
Makalah ini telah menetapkan balik untuk manajer program dan mereka yang mendukung
mereka alat Logic Model untuk memberitahu program ' s cerita kinerja. Bercerita
melibatkan menjawab dengan pertanyaan : "Apa yang Anda mencoba untuk
mencapai dan mengapa adalah hal penting? ' ' Bagaimana akan Anda mengukur e ff efektivitas? ' ,
dan' Bagaimana kabarmu sebenarnya? ' The fi produk akhir dari proses Logic Model akan menjadi
Logic Model diagram "s ) yang mengungkapkan pada dasarnya dari para Program, teks yang
menggambarkan diagram Logic Model, dan rencana pengukuran. Berbekal informasi ini
manajer akan menjadi mampu untuk memenuhi akuntabilitas persyaratan
dan menyajikan sebuah logis argumen , atau cerita , untuk itu program. Berbekal informasi ini,
manajer akan mampu melakukan kedua hasil pengukuran dan pengukuran perbaikan. karena cerita
dan rencana pengukuran telah dikembangkan dengan pemangku kepentingan program, cerita harus
menjadi visi bersama dengan harapan bersama yang jelas dari keberhasilan. penulis akan terus
mencari cara untuk memfasilitasi penggunaan proses Logic Model dan meyakinkan manajer dan
stakeholder bene fi ts penggunaannya. Kami menyambut umpan balik dari manajer, pemangku
kepentingan, dan fasilitator yang telah mencoba ini atau mirip alat untuk mengembangkan dan
mengkomunikasikan program ' cerita kinerja s.
Ucapan Terima Kasih
Selain penulis yang dikutip dalam referensi, penulis berterima kasih kepada Joe Wholey, Jane Reismann,
dan pengulas lain untuk berbagi pemahaman mereka tentang Model Logika. Para penulis mengakui
dana dan sup-port dari Darrell Beschen dan manajer program dari Departemen Energi AS O FFI ce Energi
E FFI siensi dan Energi Terbarukan, dilakukan di bawah kontrak DE - AC93 83AL74999! Dengan Sandia
National Lab-pidato-pidato. Pendapat yang diungkapkan dan contoh yang digunakan adalah dari penulis,
bukan Departemen Energi.