QUASI-EXPERIMENTAL DESIGNS

The classic experimental design relies on the researcher’s ability to control the research
setting. The researcher exercises control from the initiation of the experiment to its conclusion,
selecting and assigning subjects and exposing the experimental group to the independent
variable. As much as possible, she ensures that groups equivalent at the beginning undergo the
same conditions during the study, except for to the independent variable. The tradition of
referring to the independent variable as a "treatment" emphasizes the objective of manipulating
and controlling exposure to the independent variable.

DESAIN QUASI-EXPERIMENTAL

Desain eksperimental klasik bergantung pada kemampuan peneliti untuk mengendalikan

setting penelitian. Peneliti melakukan kontrol dari inisiasi percobaan sampai kesimpulannya,
memilih dan menetapkan subyek dan mengekspos kelompok eksperimen ke variabel independen.
Sebisa mungkin, dia memastikan bahwa kelompok yang setara pada awalnya mengalami kondisi
yang sama selama penelitian, kecuali untuk variabel independen. Tradisi mengacu pada variabel
independen sebagai "perlakuan" menekankan tujuan memanipulasi dan mengendalikan eksposur
terhadap variabel independen.

In research conducted outside a laboratory setting, the amount of control required by the
classical experimental model may be unattainable. True experiments require (1) the manipulation
of at least one independent variable, (2) the random assignment of subjects to group, (3) the
random assignment of the independent variable to groups, and (4) the exposure of the
experimental group or groups to the treatment in isolation from other factors. If one of these
conditions cannot be met, the appropriate research design is a quasi-experimental one. Donald
Cam-bell and Julian Stanley refer to "many natural settings in which the [researcher] can
introduce something like experimental design into his scheduling of data collection procedures
even though he lacks the full control over the scheduling of experimental stimuli which makes a
true experiment possible. In other words, the researcher makes use of as many features of the
classical experimental design as possible and adopts other measures to offset threats to internal
validity. Unlike the groups in true experimental designs, members of the treatment group and the
control group in quasi-experimental designs are not randomly assigned; therefore, the analyst
cannot assume that the groups equivalent at the beginning.

Dalam penelitian yang dilakukan di luar laboratorium, jumlah kontrol yang dibutuhkan
oleh model eksperimen klasik mungkin tidak dapat dicapai. Percobaan yang benar memerlukan
(1) manipulasi setidaknya satu variabel independen, (2) penugasan acak subjek ke kelompok, (3)
penugasan acak variabel independen ke kelompok, dan (4) paparan kelompok eksperimen atau
kelompok untuk pengobatan diisolasi dari faktor lain. Jika salah satu dari kondisi ini tidak dapat
dipenuhi, desain penelitian yang tepat adalah percobaan kuasi eksperimental. Donald Cam-bell
dan Julian Stanley merujuk pada "banyak pengaturan alami di mana [peneliti] dapat
mengenalkan sesuatu seperti desain eksperimental ke dalam penjadwalan prosedur pengumpulan
datanya meskipun ia tidak memiliki kendali penuh atas penjadwalan rangsangan eksperimental
yang membuat eksperimen yang benar. Dengan kata lain, peneliti menggunakan sebanyak
mungkin fitur rancangan eksperimental klasik dan menerapkan langkah-langkah lain untuk
mengimbangi ancaman terhadap validitas internal. Berbeda dengan kelompok dalam rancangan
eksperimental sejati, anggota kelompok perlakuan dan kelompok kontrol di Desain kuasi
eksperimental tidak dilakukan secara acak, oleh karena itu, analis tidak dapat mengasumsikan
bahwa kelompok tersebut setara di awal.

In designing a quasi-experimental, the researcher the constructs the possible approximation

of an experiment and controls for as many threats to internal validity as possible. We discuss
three of the more commonly used quasi-experimental designs: the comparison group
pretest/posttest design, the interrupted time-series design, and the multiple-group, interrupted
time series design.

Dalam merancang eksperimen kuasi, peneliti membuat perkiraan kemungkinan eksperimen

dan kontrol sebanyak mungkin ancaman validitas internal. Kami membahas tiga desain kuasi
eksperimental yang lebih umum digunakan: rancangan pretest / posttest kelompok pembanding,
rancangan deret waktu terputus, dan rangkaian rangkaian waktu bergilir beberapa kelompok.

Sometimes the comparison group design is called “the non-equivalent control-group

design,” but we prefer to restrict the term “control group” to groups whose member are randomly
assigned. The major limitation of the comparison group design is the inability to control for
biases introduced by selection. The greater the similarity between the experimental and
comparison group can control for history, maturation, pretesting, and instrumentation, but this
must be confirmed. Unless a researcher can keep conditions between the experimental and
comparison group the same from pretest to posttest, one group may have an experience that
affects its posttest. For example, if the comparison and experimental groups consisted of police
precincts, and if the precincts used different criteria for data collection, then instrumentation
would be a possible threat to validity. Experimental mortality could be checked by examining
records. The analysts could determine whether any platoons discontinued the experimental
schedule prematurely.

Kadang-kadang desain kelompok pembanding disebut "desain kelompok kontrol yang

tidak setara," tapi kami lebih memilih untuk membatasi istilah "kelompok kontrol" ke kelompok
yang anggotanya diberi secara acak. Keterbatasan utama dari desain kelompok pembanding
adalah ketidakmampuan untuk mengendalikan bias yang diperkenalkan oleh seleksi. Semakin
besar kesamaan antara kelompok eksperimen dan pembanding dapat mengendalikan sejarah,
pematangan, pretesting, dan instrumentasi, namun hal ini harus dikonfirmasi. Kecuali seorang
peneliti dapat menjaga kondisi antara kelompok percobaan dan pembanding yang sama dari
pretest sampai posttest, satu kelompok mungkin memiliki pengalaman yang mempengaruhi
posttestnya. Misalnya, jika kelompok perbandingan dan eksperimental terdiri dari polisi, dan jika
wilayah tersebut menggunakan kriteria pengumpulan data yang berbeda, maka instrumentasi
akan menjadi ancaman yang mungkin bagi validitas. Kematian eksperimental bisa diperiksa
dengan memeriksa catatan. Para analis dapat menentukan apakah ada pleton yang menghentikan
jadwal percobaan sebelum waktunya.

Statistical regression constitutes a threat to validity in this design. This threat is of

particular concern if the experimental group and the comparison group different systematically
on some dimension. Imagine that the pretest turnover rates were higher than usual in the
experimental platoons and lower than usual in the comparison platoons. If each group regressed
toward its average, a posttest m show a lower turnover rate for the experimental group and a
higher rate for the comparison group-both due to a statistical effect, not the difference in
schedule-ing. This is not an unlikely scenario. You would expect administrators to pick the
platoon with the highest turnover rate for an experimental program.
 Regresi statistik merupakan ancaman terhadap validitas dalam desain ini. Ancaman ini
menjadi perhatian khusus jika kelompok eksperimen dan kelompok pembandingnya berbeda
secara sistematis pada beberapa dimensi. Bayangkan bahwa tingkat turnover pretest lebih tinggi
dari biasanya pada peleton eksperimental dan lebih rendah dari biasanya pada peleton
perbandingan. Jika masing-masing kelompok mengalami kemunduran mendekati rata-rata, m
posttest menunjukkan tingkat turnover yang lebih rendah untuk kelompok eksperimen dan
tingkat yang lebih tinggi untuk kelompok pembanding - baik karena efek statistik, bukan
perbedaan dalam jadwal. Ini bukan skenario yang tidak mungkin. Anda akan mengharapkan
administrator untuk memilih peleton dengan tingkat turnover tertinggi untuk sebuah program
eksperimental.

The comparison group pretest/posttest design may have validity if it replicates a program's
effect in a variety of settings. Thus if the change in scheduling reduced turnover in all platoons
where it was tried, and the included ones with high morale and low morale, ones in good
neighborhoods and ones in tough neighborhoods, ones with easy-going leadership and ones with
authoritarian leadership, the administrators would feel confident that shifting the entire police
force to compressed scheduling would prove successful. Another application of a comparison
group pretest/posttest design is illustrated in Example 3.4.

Desain pretest / posttest kelompok pembanding mungkin memiliki validitas jika

menggandakan efek program dalam berbagai pengaturan. Jadi jika perubahan dalam
penjadwalan mengurangi omset di semua peleton dimana diadili, dan yang disertakan dengan
semangat tinggi dan moral rendah, orang-orang di lingkungan yang baik dan orang-orang di
lingkungan yang sulit, orang-orang dengan kepemimpinan yang mudah dan kepemimpinan yang
otoriter, administrator akan merasa yakin bahwa menggeser seluruh kekuatan polisi ke
penjadwalan terkompresi akan terbukti berhasil. Aplikasi lain dari desain pretest / posttest
kelompok pembanding diilustrasikan pada Contoh 3.4.

The comparison group design controls for the threats to internal and external validity in the
following fashion:

History, maturation : may be controlled by design. Note possible threat of local history,
that is, the event affects one group not another. Similarly, selection
 and maturation may inter that is, independent of the experiment,
one group is changing faster than another.
Experimental mortality : not controlled by design but can be detected.
Selection, statistical regression, contamination: not controlled by design.
Testing: controlled by design.
External validity : may be reduced since neither experimental be improved group is
randomly ssigned. However, external validity may be improved
gretly by replication in different settings.
Desain kelompok pembanding mengendalikan ancaman terhadap validitas internal dan
eksternal dengan cara sebagai berikut:
Sejarah, pematangan: dapat dikendalikan dengan desain. Perhatikan kemungkinan
ancaman sejarah lokal, yaitu peristiwa tersebut tidak hanya
mempengaruhi satu kelompok. Demikian pula, pemilihan dan
pematangan mungkin antara lain, terlepas dari percobaan, satu
kelompok berubah lebih cepat dari yang lain.
Kematian eksperimental: tidak dikendalikan oleh desain namun bisa dideteksi.
Seleksi, regresi statistik, kontaminasi: tidak dikendalikan oleh disain.
Pengujian: dikontrol dengan desain.
Validitas eksternal: dapat dikurangi karena grup eksperimen tidak diperbaiki secara acak.
Namun, validitas eksternal dapat diperbaiki dengan replikasi dalam
setting yang berbeda.
In the comparison group pretest/posttest design illustrated in Example 3.4, the
experimental group consisted of people who first signed up to have their homes weatherized. The
comparison group consisted of people who signed up later and were on a waiting list. The
researchers gathered data to make certain that the two groups were similar in respect to the size
of their homes, the number of occupants, and the ratio of home owners to renters. Other
unexamined differences between the groups may have existed. To decide whether such evidence
suggests that a weatherization program is effective, decision makers must use their own
judgment and experience decide whether plausible threats to internal validity may have changed
the findings.
 Pada kelompok pembanding pretest / posttest design yang diilustrasikan pada Contoh 3.4,
kelompok eksperimen terdiri dari orang-orang yang pertama kali masuk rumah mereka
mengalami cuaca. Kelompok pembanding terdiri dari orang-orang yang mendaftar kemudian dan
sedang dalam daftar tunggu. Para peneliti mengumpulkan data untuk memastikan bahwa kedua
kelompok serupa dalam hal ukuran rumah mereka, jumlah penghuni, dan rasio pemilik rumah
terhadap penyewa. Perbedaan yang tidak teruji lainnya antara kelompok mungkin telah ada.
Untuk memutuskan apakah bukti tersebut menunjukkan bahwa program weatherization efektif,
pengambil keputusan harus menggunakan penilaian dan pengalaman sendiri untuk memutuskan
apakah ancaman validitas internal yang masuk akal mungkin telah mengubah temuan tersebut.

The interrupted time-series design incorporates an independent variable other than time
into the time-series design. The design improves greatly upon the before/after design. As
contrasted to the simple time series, the interrupted time series design introduces an independent
variable and can be used to trace the effects of that variable upon other variables. The simple
time-series design, on the other hand, is used to describe the values of one variable over time and
not to explain changes in those values.

Desain seri waktu yang terganggu menggabungkan variabel independen selain waktu ke
dalam desain deret waktu. Desainnya sangat meningkat pada desain sebelum / sesudah. Sebagai
kontras dengan deret waktu sederhana, desain deret waktu terputus memperkenalkan variabel
independen dan dapat digunakan untuk melacak efek dari variabel tersebut pada variabel lain.
Desain rangkaian waktu sederhana, di sisi lain, digunakan untuk menggambarkan nilai dari satu
variabel dari waktu ke waktu dan tidak menjelaskan perubahan nilai tersebut.

The interrupted time-series design calls for several observations before the introduction of
the independent variable. These observations help to demonstrate that exposure to the
independent variable resulted in a change in the dependent variable that cannot be attributed to
long-term trends, cycles, or seasonal events. A series of observations made after the introduction
of the independent variable pro- vides evidence specifying the effect of an independent The
independent variable may have resulted in (1) an abrupt permanent change in the dependent
variable, (2) an abrupt temporary change, which lessens and eventually returns to the baseline
level, (3) a gradual permanent change in which the initial chang gradually increases or decreases
to a point where it starts to level off. The energy-savings contest described in Example 32 seems
to illustrate the second situation. Although the data were incomplete, one could imagine that as
the weeks passed, the students would revert to their previous energy-consumption habits.

Desain deret waktu yang terganggu memerlukan beberapa pengamatan sebelum

pengenalan variabel independen. Pengamatan ini membantu untuk menunjukkan bahwa paparan
terhadap variabel independen menghasilkan perubahan pada variabel dependen yang tidak dapat
dikaitkan dengan tren jangka panjang, siklus, atau kejadian musiman. Serangkaian pengamatan
yang dilakukan setelah diperkenalkannya variabel independen menunjukkan bukti yang
menentukan efek independen. Variabel independen dapat mengakibatkan (1) perubahan
permanen yang tiba-tiba dalam variabel dependen, (2) perubahan sementara yang mendadak,
yang mana mengurangi dan akhirnya kembali ke tingkat dasar, (3) perubahan permanen bertahap
di mana perubahan awal secara bertahap meningkat atau menurun ke titik di mana ia mulai
tingkatkan. Kontes penghematan energi yang dijelaskan dalam Contoh 32 tampaknya
menggambarkan situasi kedua. Meskipun data tidak lengkap, orang bisa membayangkan bahwa
saat minggu-minggu berlalu, para siswa akan kembali ke kebiasaan konsumsi energi mereka
sebelumnya.

In such designs, the independent variable may be introduced by the researcher. However, it
is more likely that the independent variable is something that occurs naturally or is introduced by
someone else. In many cases exposure to the independent variable has already occurred when the
analyst is in a position to study its possible effects.

Dalam desain seperti itu, variabel independen dapat dikenalkan oleh peneliti. Namun,
kemungkinan besar variabel independen adalah sesuatu yang terjadi secara alami atau
diperkenalkan oleh orang lain. Dalam banyak kasus, eksposur terhadap variabel independen telah
terjadi ketika analis berada dalam posisi untuk mempelajari kemungkinan dampaknya.

The design may be represented as follows:

O1 O2 O3 O4 X O5 O6 O7 O8

The number of Os and their placement in relation to X dependent on the number of

observations made before and after the independent variable was introduced. The design controls
best for maturation as a threat to internal validity because the observations illustrate passage
effects of statistical regression. Other be eliminated after a researcher checks into the threats to
internal validity ma that each occurred. Fluctuations in a time series may be due to long-term
trends, cyclical variations, seasonal trends, and random fluctuations. The interrupted time-series
design can eliminate these alternative explanations of what caused changes occurring after an
intervention.

Jumlah Os dan penempatannya sehubungan dengan X bergantung pada jumlah pengamatan

yang dilakukan sebelum dan sesudah variabel independen diperkenalkan. Perancangan kontrol
terbaik untuk pematangan sebagai ancaman terhadap validitas internal karena pengamatan
tersebut menggambarkan efek lintas statistik. Lainnya dihilangkan setelah peneliti memeriksa
ancaman terhadap internal validitas ma yang masing-masing terjadi. Fluktuasi dalam deret waktu
mungkin karena tren jangka panjang, variasi siklus, tren musiman, dan fluktuasi acak. Desain
seri waktu yang terganggu dapat menghilangkan penjelasan alternatif tentang apa yang
menyebabkan perubahan yang terjadi setelah intervensi.

A researcher should alert for an interaction between selection and treatment, that is, wants
to be confident that the pre-intervention data represent a population similar to the post-
intervention data. For example, to evaluate the effectiveness of a year-round school requires a
researcher to determine if the school's student body changed after the year-round school program
began. Students who disliked school and dreaded the prospect of losing their long summer
vacation may have transferred to other schools and more competitive students may have
transferred into the year-round school. Changes in student performance may then be due to
changes in the student body and not to the longer school year. A review of the records may
suggest other events that could have caused the dependent variable. A researcher should examine
program records to determine the extent of experimental mortality. He should make sure that no
change in instrument occurred during the time that the observations were made.

Seorang peneliti harus waspada terhadap interaksi antara seleksi dan pengobatan, yaitu,
ingin yakin bahwa data pra-intervensi mewakili populasi yang serupa dengan data pasca
intervensi. Misalnya, untuk mengevaluasi keefektifan sekolah sepanjang tahun mengharuskan
seorang peneliti untuk menentukan apakah badan siswa sekolah berubah setelah program sekolah
sepanjang tahun dimulai. Siswa yang tidak menyukai sekolah dan takut kehilangan liburan
musim panas yang panjang mungkin telah dipindahkan ke sekolah lain dan siswa yang lebih
kompetitif mungkin telah pindah ke sekolah sepanjang tahun. Perubahan dalam kinerja siswa
mungkin akan terjadi karena perubahan pada tubuh siswa dan tidak pada tahun ajaran yang lebih
lama. Tinjauan terhadap catatan mungkin menyarankan kejadian lain yang dapat menyebabkan
variabel dependen. Seorang peneliti harus memeriksa catatan program untuk menentukan tingkat
kematian eksperimental. Dia harus memastikan bahwa tidak ada perubahan instrumen yang
terjadi selama pengamatan dilakukan.

The list below summarizes how the interrupted time-series design protects against threats
to internal and external validity.

Threats to Validity with Interrupted Time-Series Design

A. To internal validity:

History, instrumentation not protected against the searcher should review records to
determine whether other events occurred at the same time as the intervention or whether
any change in measurement procedure occurred.

Maturation, statistical regression, testing: protected against by the de- variations, and
associated with trends, if the design fluctuations can be out has a sufficient number of
data points (at least 50 data points are recommended for statistical analysis).

Selection: Researcher needs to make sure that intervention does no co- incide with a
major change in the population being measured.

Experimental mortality: not ruled out by design. Researcher should check records
determine whether subjects dropped out after the occurrence of the independent variable.

B. To external validity: The design does not control a threats to external validity. Interaction
between selection and treatment in particular is potential problem.

The interrupted time-series design works best if the independent variable is expected to
have a marked and immediate effect. Otherwise, its effect mistakenly may be attributed to long-
term trends, cycles, or seasonal effects unless these are removed through statistical procedures.
Statistical procedures can help a researcher confirm his impressions that an effect is markedly
greater than expected fluctuations. This design also works best if the independent variable can be
introduced all at once at a clearly identified time. If it is phased in gradually, its effects may be
more difficult to identify.

Desain deret waktu yang terputus bekerja paling baik jika variabel independen diharapkan
memiliki efek yang ditandai dan segera. Jika tidak, efeknya secara keliru dapat dikaitkan dengan
tren jangka panjang, siklus, atau efek musiman kecuali jika dikeluarkan melalui prosedur
statistik. Prosedur statistik dapat membantu peneliti mengkonfirmasi kesannya bahwa efeknya
lebih besar dari fluktuasi yang diharapkan. Desain ini juga bekerja paling baik jika variabel
independen dapat diperkenalkan sekaligus pada waktu yang teridentifikasi dengan jelas. Jika
bertahap bertahap, pengaruhnya mungkin lebih sulit dikenali.

The interrupted time-series design provides journalists, politicians, and researchers a

convenient, easily implemented way to track the impact of a public policy. In 1994 New York's
Mayor Rudy Giuliani's newly appointed police chief instituted reforms that emphasized
community policing targeted at crime "hot spots." The Mayor's biography cites the program's
success, "Under Mayor Giuliani's leadership, New York City has experienced an unprecedented
38 percent reduction in overall crime and 48 percent reduction in murder since 1993. Figure 3.1
supports the Mayor's boast. Although the city's crime rate began dropping in 1989, the crime
rates in 1994 and 1995 were the lowest since 1980. The crime rate decreased 11 percent in 1994
and 16 percent in 1995, the greatest drops over the 15-year period. (Disk problem 2 gives New
York City's homicide data from 1980-1995.)

Desain seri waktu yang terganggu memungkinkan para jurnalis, politisi, dan peneliti cara
yang mudah dan mudah diterapkan untuk melacak dampak kebijakan publik. Pada tahun 1994,
kepala polisi New York Walikota Rudy Giuliani yang baru diangkat melakukan reformasi yang
menekankan kebijakan masyarakat yang ditujukan pada kejahatan "titik-titik panas". Biografi
Walikota menyebutkan keberhasilan program ini, "Kepemimpinan Walikota Giuliani, New York
City telah mengalami penurunan keseluruhan 38 persen dalam keseluruhan kejahatan dan 48
persen pengurangan pembunuhan sejak 1993. Gambar 3.1 mendukung anggotanya tentang
Walikota Meskipun tingkat kejahatan kota mulai menurun Pada tahun 1989, tingkat kejahatan
pada tahun 1994 dan 1995 adalah yang terendah sejak tahun 1980. Tingkat kejahatan menurun 11
persen pada tahun 1994 dan 16 persen pada tahun 1995, penurunan terbesar selama periode 15
tahun (Disk problem 2 memberi data pembunuhan di New York City dari tahun 1980-1995.)
 As tracking and reporting statistical data becomes a common way to monitor reward
performance, a serious type of design contamination may occur. That is, data collectors,
administrators, or will be tempted to manipulate the data to their advantage. For example, one
can imagine police department how it classifies some deaths in order avoid showing increased
homicide rate.

Sebagai pelacakan dan pelaporan data statistik menjadi cara yang umum untuk memantau
kinerja penghargaan, kontaminasi jenis serius dapat terjadi. Artinya, pengumpul data,
administrator, atau akan tergoda untuk memanipulasi data demi keuntungan mereka. Sebagai
contoh, seseorang dapat membayangkan kepolisian bagaimana mengklasifikasikan beberapa
kematian agar tidak menunjukkan tingkat pembunuhan yang meningkat.

The data eliminate maturation or statistical regression as threats. Yet, they do not confirm
the success community policing or Giuliani's leadership. Other cities also experienced lower
crime during the same time period. Other reasons cited for the drop included improvements in
the economy, less use of crack cocaine, and relatively fewer teenagers in the population.
Furthermore, the reported crime rate does not measure the incidence of crime. Cynical citizens
may not call the police; burnt out police officers may not file crime reports. To demonstrate the
effectiveness of police strategies requires more analysis. Investigators should confirm that
reporting patterns were consistent. They should see if changes in the economy, in drug use, or in
the population's age distribution coincide with changes in the crime rate. They should compare
other cities' data with New York City's data.

Data tersebut menghilangkan pematangan atau regresi statistik sebagai ancaman. Namun,
mereka tidak mengonfirmasi kepolisian komunitas sukses atau kepemimpinan Giuliani. Kota lain
juga mengalami tindak pidana yang lebih rendah selama periode waktu yang sama. Alasan lain
yang dikutip penurunan tersebut termasuk perbaikan ekonomi, kurang penggunaan kokain crack,
dan remaja yang relatif sedikit dalam populasi. Selanjutnya, tingkat kejahatan yang dilaporkan
tidak mengukur kejadian kejahatan. Warga negara yang sinis mungkin tidak memanggil polisi;
petugas polisi yang terbakar mungkin tidak mengajukan laporan kejahatan. Untuk menunjukkan
efektivitas strategi polisi memerlukan lebih banyak analisis. Penyidik harus memastikan bahwa
pola pelaporan konsisten. Mereka harus melihat apakah perubahan ekonomi, penggunaan
narkoba, atau dalam distribusi usia penduduk bertepatan dengan perubahan tingkat kejahatan.
Mereka harus membandingkan data kota lain dengan data New York City.

To illustrate an interrupted time-series design with more complete analysis, we examined a

study on the effect of the Illinois rape shield law. A common legal reform enacted by legislatures
in the 1970s and 1980s, rape shield laws restricted the ability of defense attorneys to introduce
evidence about the victim's past sexual history into a rape trial. Advocates of rape laws press
charges change in existing laws would encourage women to report rapes, and increase conviction
rates. Illinois implemented a rape shield law in April 1978. Figure 3.2, based on data drawn from
a more detailed study, 8 shows the yearly data on the conviction rates for rape or rape-related
charges in Chicago.

Untuk menggambarkan disain seri waktu yang terganggu dengan analisis yang lebih
lengkap, kami memeriksa sebuah studi tentang efek hukum perisai pemerkosaan di Illinois.
Reformasi hukum yang umum yang diundangkan oleh legislatif pada tahun 1970an dan 1980an,
undang-undang pertarungan pemerkosaan membatasi kemampuan pengacara pembela untuk
memperkenalkan bukti tentang sejarah seksual korban ke dalam pengadilan pemerkosaan.
Advokat hukum pemerkosaan menekan biaya perubahan dalam undang-undang yang ada akan
mendorong perempuan untuk melaporkan pemerkosaan, dan meningkatkan tingkat keyakinan.
Illinois menerapkan undang-undang pertarungan pemerkosaan pada bulan April 1978. Gambar
3.2, berdasarkan data yang diambil dari penelitian yang lebih terperinci, 8 menunjukkan data
tahunan mengenai tingkat hukuman pemerkosaan atau tuntutan pemerkosaan di Chicago.

The conviction rate went up in 1978, but in subsequent years the conviction rates dropped
and did not look markedly different from the years before the reform. Recall that to implement a
time-series design, a researcher should also collect qualitative information. The qualitative
information allow the researcher to identify other factors that could have caused an observed
change. In this study the researchers interviewed judges, state attorneys, and public defenders.
From the interviews and extensive statistical evidence, the rescarchers concluded that the law
had no impact on the indictment rate, the conviction rate, or incarceration time." The researchers
learned that prior to 1978 case law had started to restrict the use of sexual history as evidence;
thus, the reform had been more gradual than it appeared. The researchers also observed that the
law could have affected only cases that a jury heard and in which a claim of consent was part of
the defense. Since less than 10 percent of rape cases were heard by a jury, the potential of the law
to affect overall conviction rates was less than its advocates expected.

Tingkat keyakinan meningkat pada tahun 1978, namun di tahun-tahun berikutnya tingkat
keyakinan menurun dan tidak terlihat sangat berbeda dari tahun-tahun sebelum reformasi.
Ingatlah bahwa untuk menerapkan desain time-series, peneliti juga harus mengumpulkan
informasi kualitatif. Informasi kualitatif memungkinkan peneliti untuk mengidentifikasi faktor
lain yang dapat menyebabkan perubahan yang diamati. Dalam penelitian ini para peneliti
mewawancarai hakim, pengacara negara, dan pembela umum. Dari wawancara dan bukti statistik
yang ekstensif, para rescarchers menyimpulkan bahwa undang-undang tersebut tidak berdampak
pada tingkat dakwaan, tingkat hukuman, atau waktu penahanan. "Para peneliti mengetahui
bahwa sebelum tahun 1978 undang-undang kasus mulai membatasi penggunaan sejarah seksual
sebagai bukti, sehingga, reformasi tersebut telah lebih bertahap daripada yang ada.Para peneliti
juga mengamati bahwa undang-undang tersebut hanya dapat mempengaruhi kasus-kasus yang
didengar oleh juri dan di mana klaim persetujuan merupakan bagian dari pembelaan.Karena
kurang dari 10 persen pemerkosaan Kasus didengar oleh juri, potensi hukum untuk
mempengaruhi tingkat keyakinan keseluruhan kurang dari yang disarankan oleh para
pendukungnya.

This example suggests the complexity of interpreting an interrupted time-series design. The
graphical information is helpful and easily understood. Often, the graphs are only a first step;
they are usually followed by detailed statistical analysis. Tracking variable and watching its
variations raises interesting questions about what actually caused the shift. One strategy is to
enrich the time series design by collecting similar information from an untreated comparison
group.

Contoh ini menunjukkan kompleksitas menafsirkan disain time-series yang terganggu.

Informasi grafis sangat membantu dan mudah dipahami. Seringkali, grafik hanya merupakan
langkah pertama; mereka biasanya diikuti dengan analisis statistik yang terperinci. Variabel
pelacak dan melihat variasinya menimbulkan pertanyaan menarik tentang apa yang sebenarnya
menyebabkan terjadinya pergeseran. Salah satu strateginya adalah memperkaya desain deret
waktu dengan mengumpulkan informasi serupa dari kelompok perbandingan yang tidak diobati.
 An addition of a comparison time series of an untreated group is seen occasionally with the
interrupted time-series design. This design is called interrupted series with comparison group and
allows the researcher to compar the dependent variable time series of the treatment group with
the same series for a non-equivalent, non-treatment group.

Penambahan rangkaian waktu perbandingan kelompok yang tidak diobati kadang-kadang

dilihat dengan disain time-series yang terganggu. Desain ini disebut seri terputus dengan
kelompok pembanding dan memungkinkan peneliti untuk membandingkan rangkaian waktu
variabel dependen dari kelompok perlakuan dengan rangkaian yang sama untuk kelompok non-
perlakuan non-setara.

In such a design, a time series, which is interrupted by the occurrence of the independent
variable, developed for the treatment group. In addition, a time series is developed concurrently
for another group not exposed to the independent variable. If the groups are equivalent in
important aspects, addition of the comparison group can provide a check on some threats to
internal validit. York one might choose another major American city (Chicago, Philadelphia, or
Boston) to community policing was not implemented. To control selection as a threat internal the
city should have similar populations, simi lar variations in age, ethnic background, income, and
drug use. One also looks for "local history,” that is, events occurred in one city and not in the
other, which could have cused the changes in crime rate.

Dalam desain seperti itu, deret waktu, yang terganggu oleh terjadinya variabel independen,
dikembangkan untuk kelompok perlakuan. Selain itu, deret waktu dikembangkan bersamaan
untuk kelompok lain yang tidak terpapar variabel independen. Jika kelompok setara dalam aspek
penting, penambahan kelompok pembanding dapat memberikan pemeriksaan pada beberapa
ancaman terhadap validitas internal. York mungkin bisa memilih kota besar Amerika lainnya
(Chicago, Philadelphia, atau Boston) hingga perpolisian masyarakat tidak diimplementasikan.
Untuk mengendalikan seleksi sebagai ancaman internal kota harus memiliki populasi yang
serupa, variasi usia, latar belakang etnis, pendapatan, dan penggunaan narkoba secara simultan.
Seseorang juga mencari "sejarah lokal," yaitu, peristiwa terjadi di satu kota dan tidak di sisi lain,
yang bisa saja menyebut perubahan tingkat kejahatan.

The interrupted time series with comparison group design is diagrammed as follows:
 NON-EXPERIMENTAL DESIGNS

Non-experimental designs do not control for threats to internal validity. If an intervention

is implemented on randomly selected subjects, which occurs occasionally, the designs have some
external validity. The value of non-experimental designs may be overlooked because of the
obvious limitation of drawing conclusions when threats to validity, including history, maturation,
statistical regression, and selection, are uncontrolled. The three non-experimental designs are:

DESAIN NON-EKSPERIMENTAL

Desain non eksperimental tidak mengendalikan ancaman terhadap validitas internal. Jika
intervensi diterapkan pada subyek yang dipilih secara acak, yang kadang-kadang terjadi, desain
memiliki validitas eksternal. Nilai desain non eksperimental dapat diabaikan karena keterbatasan
penarikan kesimpulan saat ancaman terhadap validitas, termasuk sejarah, pematangan, regresi
statistik, dan seleksi, tidak terkendali. Tiga desain non eksperimental adalah:

About 400 people showed up yesterday to enroll for a special (farecards) able to senior
citizens at half price after the Transit Authority sent a news release to three Chinese-
language newspapers.

In a single year (South Carolina's welfare-to-work program] has put 442 welfare recipients
on its payroll without creating any new jobs or displacing any state workers.

Sekitar 400 orang muncul kemarin untuk mendaftarkan diri untuk sebuah kelompok
istimewa (pejalan kaki) yang mampu membayar warga lanjut usia setengah harga setelah
Otoritas Transit mengirim sebuah berita ke tiga surat kabar berbahasa Mandarin.

Dalam satu tahun (program kesejahteraan untuk bekerja di South Carolina) telah
menempatkan 442 penerima kesejahteraan dalam daftar gaji tanpa membuat pekerjaan baru
atau menggantikan pekerja negara manapun.

Although single group posttest studies do not control for any threats to internal validity,
only plausible threats need to be considered. In the Chinese-language news release experiment,
history and maturation, the most plausible threats, can be eliminated. The press release
announced that a mobile unit would come to New York City's Chinatown to take farecard
applications. The mobile unit had been traveling throughout the city for six months; however,
prior to the press release relatively few people had used it to apply for farecards. Thus the press
release seems to have been a success.

Meskipun studi posttest kelompok tunggal tidak mengendalikan ancaman terhadap

validitas internal, hanya ancaman yang masuk akal yang perlu dipertimbangkan. Dalam
eksperimen pelepasan berita berbahasa China, sejarah dan pematangan, ancaman yang paling
masuk akal, bisa dihilangkan. Siaran pers mengumumkan bahwa unit mobile akan datang ke
Chinatown New York City untuk mengambil aplikasi farecard. Unit mobile telah bepergian ke
seluruh kota selama enam bulan; Namun, sebelum siaran pers, hanya sedikit orang yang
menggunakannya untuk mengajukan farecards. Dengan demikian siaran pers nampaknya telah
sukses.

The success of the welfare-to-work program is less certain. People who work in low-
paying, low-skilled jobs, rely on welfare during periods of unemployment. The 442 jobs were
concentrated in food service, maintenance, and personl services. Maturation or history cannot be
eliminated as threats. The 442 jobs normally may be held by people who move on and off
welfare depending on their employment status. The state did not know how many welfare
recipients it had hired in previous years. Economic growth may have shrunk the pool of job
applicants and forced the state develop new employee source. The state may have hired welfare
recipients because of its inability to find other employees. A good economy, rather than the
welfare-to-work program, may have contributed to hiring former welfare recipients.

Keberhasilan program kesejahteraan kerja kurang pasti. Orang yang bekerja dalam
pekerjaan dengan gaji rendah dan berpendidikan rendah, bergantung pada kesejahteraan selama
periode pengangguran. 442 pekerjaan terkonsentrasi pada layanan pelayanan makanan,
perawatan, dan personl. Kematangan atau sejarah tidak bisa dihilangkan sebagai ancaman.
Sebanyak 442 pekerjaan biasanya dipegang oleh orang-orang yang beralih dan hidup sesuai
dengan status pekerjaan mereka. Negara tidak tahu berapa banyak penerima kesejahteraan yang
dipekerjakannya di tahun-tahun sebelumnya. Pertumbuhan ekonomi mungkin telah mengurangi
jumlah pelamar kerja dan memaksa negara mengembangkan sumber karyawan baru. Negara
mungkin telah mempekerjakan penerima kesejahteraan karena ketidakmampuannya untuk
mencari karyawan lain. Ekonomi yang baik, bukan program kesejahteraan kerja, mungkin telah
berkontribusi dalam mempekerjakan mantan penerima kesejahteraan.

Even if plausible threats to internal validity cannot be eliminated, the single group pretest
provides useful information. First, the design indicates whether an intervention worked as well as
expected. The Transit Authority expected 50 pleople to visit its mobile unit in Chinatown. Its
expectations were greatly exceeded that press releases in had foreign language newspapers were
not helpful. If South Carolina investigators found that the state had hired few welfare recipients,
they would question the effectiveness of the welfare-to-work program. Second, the design does
not preclude developing valuable, detailed information. In South Carolina, investigator studies
the jobs welfare recipients had-the type of work, whether the jobs were temporary or permanent,
whether they had benefits. Such information can further demonstrate whether the welfare-to-
work program is effective or not.

Bahkan jika ancaman validitas internal yang masuk akal tidak dapat dihilangkan, pretest
kelompok tunggal memberikan informasi yang berguna. Pertama, disain menunjukkan apakah
intervensi berjalan sebaik yang diharapkan. Otoritas Transit mengharapkan 50 orang untuk
mengunjungi unit mobile-nya di Chinatown. Harapannya jauh melebihi siaran pers di surat kabar
berbahasa asing yang tidak membantu. Jika penyidik South Carolina menemukan bahwa negara
telah mempekerjakan beberapa penerima kesejahteraan, mereka akan mempertanyakan
keefektifan program kesejahteraan kerja. Kedua, desain tidak menghalangi pengembangan
informasi yang terperinci dan terperinci. Di South Carolina, peneliti mempelajari pekerjaan yang
dimiliki oleh penerima kesejahteraan-jenis pekerjaan, apakah pekerjaan itu bersifat sementara
atau permanen, apakah mereka memiliki manfaat. Informasi tersebut dapat menunjukkan lebih
jauh apakah program kesejahteraan kerja efektif atau tidak.

The single group pretest posttest design does no better at controlling for threat to interval
validity, but it does add one useful piece of information. It indicates if something changed
between the pretest and the posttest. A pretest/posttest design establishes if program participants
changed. Participants are “tested” at a program’s beginning and end. The change in their
performance may be attributed to the program, but are there alternative explanation? Consider a
10-week course to train new staff how to answer taxpayer inquiries. Participants are tested on
their knowledge of the tax code. At the beginning of the course, 30 percent had a score of 85 or
better, and at the end, 80 percent had a score of 85 or better. What factors, other than the
program, might have brought about the improvement? We can think of four:

Desain pretest postest terhadap kelompok tunggal tidak lebih baik dalam mengendalikan
ancaman terhadap validitas interval, namun menambahkan satu informasi bermanfaat. Ini
menunjukkan jika ada sesuatu yang berubah antara pretest dan posttest. Desain pretest / posttest
menetapkan jika peserta program berubah. Peserta "diuji" pada awal dan akhir program.
Perubahan dalam kinerjanya dapat dikaitkan dengan program ini, namun adakah penjelasan
alternatif? Pertimbangkan kursus 10 minggu untuk melatih staf baru bagaimana menjawab
pertanyaan pembayar pajak. Peserta diuji berdasarkan pengetahuan mereka tentang kode pajak.
Pada awal kursus, 30 persen memiliki skor 85 atau lebih baik, dan pada akhirnya, 80 persen
memiliki skor 85 atau lebih baik. Faktor apa, selain programnya, yang mungkin membawa
perbaikan? Kita bisa memikirkan empat:

lf participants work as they attend the training course, the posttest scores may reflect what
they learned on the job about the tax code.
People with low pretest scores may have dropped out of the course, con tributing to some
of the improvement
The pretest may have motivated people to study the tax code on their own and their
"homework," rather than the training, improved their posttest scores.
An unfamiliar format may have lowered the performance on the pretest. Some posttest
improvement may be attributed to familiarity with the test format.
Jika peserta bekerja saat mereka mengikuti kursus pelatihan, nilai posttest mungkin
mencerminkan apa yang mereka pelajari dari pekerjaan tentang kode pajak.
Orang dengan nilai pretest rendah mungkin telah drop out dari kursus, memberikan
kontribusi pada beberapa perbaikan
Pretest mungkin telah memotivasi orang untuk mempelajari kode pajak mereka sendiri dan
"pekerjaan rumah mereka," daripada pelatihan, memperbaiki nilai posttest mereka.
Format yang tidak biasa mungkin telah menurunkan kinerja pada saat pretest. Beberapa
perbaikan posttest dapat dikaitkan dengan keakraban dengan format tes.
Problems of design contamination may arise in studies of programs intended to change
attitudes or behaviors. At the time of the posttest, participants may give answers or act in a way
that suggests that they have adopted the expected attitudes or behaviors. Nevertheless, their
attitudes may have stayed the same and they have not really altered their behavior.
 Masalah kontaminasi desain mungkin timbul dalam studi program yang dimaksudkan
untuk mengubah sikap atau perilaku. Pada saat posttest, peserta dapat memberikan jawaban atau
tindakan dengan cara yang menunjukkan bahwa mereka telah mengadopsi sikap atau perilaku
yang diharapkan. Meski begitu, sikap mereka mungkin tetap sama dan mereka belum benar-
benar mengubah tingkah lakunya.

The single group pretest/posttest has strengths similar to those of the single group posttest.
First, investigators can decide if a policy or program meets their expectations. Second, they can
gather data to answer specific questions about a program. Third, they can combine their
knowledge of the program with other information and make a plausible case that it is effective.

Kelompok tunggal pretest / posttest memiliki kekuatan yang serupa dengan posttest
kelompok tunggal. Pertama, penyidik dapat memutuskan apakah sebuah kebijakan atau program
memenuhi harapan mereka. Kedua, mereka dapat mengumpulkan data untuk menjawab
pertanyaan spesifik tentang sebuah program. Ketiga, mereka dapat menggabungkan pengetahuan
mereka tentang program ini dengan informasi lain dan membuat kasus yang masuk akal agar
efektif.

Whether an investigator examines a policy's impact with a single group posttest, a single
group pretest/posttest, or interrupted time-series design may depend on the availability of data.
As policy agendas change so do data require- many former welfare recipients worked for the
state. The single group posttest o single group pretest/posttest may be the best that one can do.

Apakah seorang penyidik menguji dampak kebijakan dengan satu kelompok posttest
tunggal, rancangan rangkaian waktu kelas satu / pretest / posttest, atau interrupted mungkin
bergantung pada ketersediaan data. Karena agenda kebijakan berubah, begitu juga data yang
dibutuhkan - banyak mantan penerima kesejahteraan bekerja untuk negara. Kelompok tunggal
posttest o single group pretest / posttest mungkin yang terbaik yang bisa dilakukan.

The last non-experimental design compares two groups: a group that experienced an
intervention and a group that did not. The design has the same limitations as the other non-
experimental designs. One cannot tell if differences between groups existed prior to the
intervention nor can one tell what, if an changes took place in each group. Yet similar to the other
non-experimental designs, the nonequivalent group's posttest provides useful information.
 Desain non eksperimental terakhir membandingkan dua kelompok: kelompok yang
mengalami intervensi dan kelompok yang tidak. Desainnya memiliki keterbatasan yang sama
dengan desain non eksperimental lainnya. Seseorang tidak dapat mengetahui apakah perbedaan
antara kelompok ada sebelum intervensi dan juga tidak dapat memberi tahu apa, jika terjadi
perubahan pada masing-masing kelompok. Namun, serupa dengan desain non eksperimental
lainnya, posttest kelompok non-equivalent memberikan informasi yang berguna.

Example 3.6 describes a nonequivalent groups posttest design to evaluate the effectiveness
of parent training. The information identified the parts of the program that were working and the
parts that needed improvment. The particular study had a problem often encountered in
collecting data from social service clients, e.g., the inability to keep in contact with former
clients. People move, their phones are disconnected, or other household member are careless
about talking messeges.

Contoh 3.6 menjelaskan desain posttest kelompok nonequivalent untuk mengevaluasi

efektivitas pelatihan orang tua. Informasi tersebut mengidentifikasi bagian-bagian dari program
yang sedang bekerja dan bagian-bagian yang memerlukan perbaikan. Studi tertentu memiliki
masalah yang sering dihadapi dalam mengumpulkan data dari klien layanan sosial, misalnya,
ketidakmampuan untuk tetap berhubungan dengan mantan klien. Orang-orang bergerak, telepon
mereka terputus, atau anggota rumah tangga lainnya ceroboh tentang membicarakan masalah.