Professional Documents
Culture Documents
Dereceli Puanlama Anahtarı Kullanan Öğrencilerin Başarıları Üzerine Bir Araştırma
Dereceli Puanlama Anahtarı Kullanan Öğrencilerin Başarıları Üzerine Bir Araştırma
Kabul/Accepted:10.10.2016
Bu almann bir blm 24-26 Nisan 2014 tarihinde stanbul niversitesi Kongre Merkezinde dzenlenen 1.
Avrasya Eitim Aratrmalar Kongresi (Ist Eurasian Educational Research Congress)nde szl bildiri olarak
sunulmutur.
2 Yrd. Do. Dr., Ankara niversitesi , Eitim Bilimleri Fakltesi, lkretim Blm. Ankara. E-posta:
abaraktar@ankara.edu.tr
3 Do. Dr., Ankara niversitesi , Eitim Bilimleri Fakltesi, Gzel Sanatlar Eitimi Blm. Ankara. E-posta:
caslan@ankara.edu.tr
504
the same teacher and had equal academic success rates in two separate sections of the same
school. Both groups had the same teacher and demonstrated an equal level of aca demic
achievement. One group was randomly selected as the experiment group (n=22) and the other
was used as the control group (n=22). The data were collected from the scores students obtained
on their performance homework assignments . Firstly, a performance homework assignment
which was appropriate to the level of the students and the learning outcomes specified in the 6 th
grade Turkish curriculum was prepared. Afterwards, detailed written instructions that explained
how the assignment were to be done and an analytic scoring rubric with nine dimensions which
was based on related literature, expert opinions, and recommendations was prepared by the
researchers. Detailed instructions were given to both groups, but the rubric was given to the
experiment group. The students written assignments were graded by two experienced teachers,
using the nine dimensions specified in the rubric. The Shapiro-Wilk test results showed normal
distribution and Pearson correlation co-efficiency was calculated and the consistency between
the raters was found to be 0.77. This value was meaningful at .05 level and sufficient regarding
the consensus level between the scorers. Mann-Whitney U test was conducted to see whether
there were differences in the achievement scores of the two groups, and a statistically significant
difference was found only in the language and expression dimension between the experiment
and control groups.
Key Words: Scoring rubrics, Turkish course, performance homework, assessment.
Giri
deerlendirilmesi iin gerekli olan boyutlar barndrr (Rezaei ve Lovorn, 2010). Belirli renme
hedeflerine ynelik ltleri ve standartlar belirtir; her bir kategoriye saysal bir deer atar (Cyr,
Smith, Broyles ve Holt, 2014).
retimin deerlendirilmesinde DPA kullanlmas hem retmen hem renci hem de aileler
iin nemli ve gereklidir. renci asndan bakldnda DPAlar rencilerin devlerin ieriini
anlamalarna yardmc olur (Kan, 2007; Panadero ve Jonsson, 2013; van Helvoort, 2012), onlarn
ilerlemelerini dzenler (Andrade ve Du, 2005; van Helvoort, 2012), aldklar puanlarn nedenle rini
anlamalarn salar (Moskal, 2000; Oakleaf, 2008; Scharf, Elliot, Huey, Briller ve Joshi, 2007; van
Helvoort, 2012) ve nitelikli devlerin zelliklerini anlatr (Bolton, 2006; Cyr, Smith, Broyles ve Holt,
2014; DelleBovi, 2012; Goodrich, 2000; Kan, 2007; Moskal, 2000). renciler, DPAlardan aldklar
dntlerle gl ve zayf ynleri hakknda bilgi sahibi olurlar (Cyr, Smith, Broyles ve Holt, 2014;
Fehring, 2005; Goodrich, 2000; Jonsson ve Svingby, 2007; Panadero ve Jonsson, 2013; van Helvoort,
2012). Baka bir deyile, DPAlar rencilere dnt vermesi bakmndan da retimin ayrlmaz birer
parasdr. Durum belirleme ncesinde rencilere grevde kendile rinden neler beklendiini ve
grevlerin nasl yaplacan gsterirler. Durum belirleme srecinde , devlerin yanllktan uzak
deerlendirilmesini; sonrasnda ise, renciye aklayc ve doru bir geribildirim verilmesini salarlar.
DPA, deerlendirme iin ulalmas istenen nitelikleri tanmlar ve bunlarn ne byklkte
incelendiine dayanak oluturur. renciler, hem kendilerinin hem de arkadalarnn almalarndaki
sorunlar ve eksiklikleri grebilir; bylece sorun zme becerilerini gelitirip eksikliklerini giderebilirler
(Goodrich, 2000; Kutlu vd., 2014; Moscal, 2000). DPA kullanmak rencinin kendi kendisini
deerlendirmesine (zdeerlendirme), bireysel olarak birok renmeyi gerekletirmesine ve yaam
boyu renme konusunda sorumluluk almasna katk salar (Erman Aslanolu ve Kutlu, 2003;
Fehring, 2005; Jonsson ve Svingby, 2007; Mason ve Steedly, 2006; Rhodes, 2010; van Helvoort,
2012). Bu yolla rencilerin stbilileri geliir. Nitekim DPA kullanan yedinci snf rencilerinin DPA
kullanmayanlara gre kendilerini daha iyi deerlendirdikleri ve konu alann daha iyi rendikleri
grlmtr (Goodrich, 1996). rencilerin kayg dzeylerini drme (Panadero ve Jonsson, 2013)
ve rencilere devlerinden yksek puan almak iin neyin nemli olduunu gsterme bakmlarndan
da DPA kullanmnn ok nemli olduu dnlmektedir (Wiggins, 1989).
retmenler ise DPAlar yardmyla renci almalarn daha nesnel , hzl (Aslanolu, 2003;
Goodrich, 2000, 2005; Kutlu, Doan ve Karakaya, 2014; Tompkins, 2008), etkili (DelleBovi, 2012) ve
tutarl deerlendirebilir (Cyr, Smith, Broyles ve Holt, 2014), derslerini rencilerin yetenek ve
gereksinimlerine uygun biimde planlayabilir (Mason ve Steedly, 2006) ve rencilere dnt verilmesi
gerektiinde uzun uzun aklamalar yapmak yerine, deerlendirmede kullanlan DPAnn boyutlarna
dikkat ekebilirler (Goodrich, 2000). Ksaca bu anahtarlar, renci ve retmenlerin renme
506
arasnda
yksek
oranda tutarllk
bulunduunu
ve
renci
almalarnn
Ama
Bu almann genel amac, performans devlerini hazrlarken DPA kullanan rencilerle
kullanmayan rencilerin baarlar arasnda fark olup olmadn belirlemektir. Dolaysyla bu
aratrmann sorusu Greve zel zmleyici DPA kullanan rencilerin performans devlerinden
509
aldklar baar notlar DPA kullanmayan rencilerin baar notlarndan anlaml bir biimde
farkllamakta mdr? biiminde oluturulmutur.
Yntem
Bu alma deneysel bir aratrmadr ve yar deneysel desenlerden sontest kontrol gruplu
eletirilmi gruplu desende yrtlmtr. Bu desen gerek deneysel desenlere gre neden-sonu
ilikisini ortaya koymada greceli olarak daha zayftr. Bu da aratrmann bir snrll olarak
dnlebilir. Aratrmada DPA kullanan rencilerle kullanmayan rencilerin baarlar
karlatrlmtr. Btnsel DPAlarn nesnel ve gvenilir deerlendirme iin uygun olmad
gerekesiyle (Elbow, 2000; Gunning, 2006; East, 2009; Koutsoftas ve Gray, 2012) bu almada greve
zel zmleyici puanlama anahtarnn kullanlmas yelenmitir.
alma Grubu
alma, 2014-2015 eitim-retim ylnn ikinci (bahar) dneminde Milli Eitim Bakanlna
bal bir devlet okulunda gerekletirilmitir. Aratrmann alma grubu, ayn okuldaki iki altnc
snfta renim gren 44 rencidir. Snflardan biri deney, teki ise kontrol grubu olarak
belirlenmitir. Deney grubunda 10u kz, 12si erkek 22; kontrol grubunda 8i kz, 14 erkek 22
renci bulunmaktadr. almada retmen farkllndan; baka bir deyile denkletirme
sorunundan kaynaklanabilecek sorunlarn olumamas iin her iki grubun Trke derslerini de ayn
retmenin yrtmesi salanm; retmene deney grubuna verilen DPA bilgilerini kontrol grubuna
hibir ekilde yanstmamas gerektii sylenmitir. Ayrca, deney grubundaki rencilerin DPAdan
etkili yararlanabilmeleri iin retmene neler yapmas gerektii adm adm ve ayrntl biimd e
aklanmtr.
almann banda okul idaresinden her iki gruptaki rencilerin akademik baarlarnn
birbirine denk oluturulduu bilgisinin alnmasna karn aratrmaclar rencilerin bir dnem nceki
Trke ders notlarn temel alarak gruplar arasnda anlaml bir fark olup olmadn t-testi ile
belirlemilerdir. Deney ve kontrol gruplarnn bir dnem nceki Trke ders notlarnn normal dalm
gsterip gstermedii Shapiro-Wilk testine testi ile snanm, her iki grup iin de dalmn normal
olduu belirlenmitir. Sonuta kontrol grubu rencilerinin Trke dersi ortalama puanlarnn (X=
79,93) deney grubu rencilerinin ortalama puanlarndan (X= 75,24) yksek olduu; ancak ortalama
puanlar arasndaki bu farkn anlaml olmad belirlenmitir (t(52)=-1,463, p>0,01). Baka bir deyile,
almann banda deney ve kontrol gruplarnn Trke dersi akademik baar puanlar arasnda
anlaml bir farkllk olmad grlmtr. Bu bulgu gruplarn llen zellik bakmndan denk olduu
biiminde yorumlanabilir.
510
Bulgular
Performans devlerini DPA kullanarak ve kullanmadan hazrlayan rencilerin baar puanlar
arasndaki fark belirlemek amacyla gerekletirilen bu aratrma sonucunda, yalnzca bir boyutta (Dil
ve Anlatm) deney grubunun lehine istatistiksel olarak anlaml bir farkn olduu, dier boyutlardaki
farkn anlaml olmad grlmtr. izelge 1, deney ve kontrol gruplarndaki rencilerin DPAnn
dokuz farkl boyutundan ald puanlar gstermektedir.
izelge 1. Deney ve Kontrol Gruplarnn DPAnn ltlerine likin Puanlarna Ait Betimsel statistikler
ve Mann Whitney U Testi Sonular
ltler
Grup
Ort.
Ortn.
SS
Min.
Maks.
arpklk
Sivrilik
Shapiro- Wilk
Sra ort.
Verilerin
toplanmas
Deney
22
2,95
,84
-,43
-,24
20,73
Kontrol
22
3,18
,85
-,88
,42
Grs ellerle
des tekleme
Deney
22
2,81
-,41
-,97
Kontrol
22
2,27
,41
-1,48
Deney
22
2,95
1,0
5
1,2
4
,38
-,59
5,66
Kontrol
Deney
22
22
3
2,13
3
2
,00
,89
3
1
3
4
,16
-,84
Kontrol
22
2,09
,97
,49
-,64
Deney
22
3,59
-2,28
3,50
Kontrol
22
3,90
1,0
5
,43
-4,69
22,00
Deney
22
2,72
-,66
-,75
Kontrol
22
1,5
,61
-1,19
Deney
22
3,5
-1,88
1,82
Kontrol
22
3,86
1,0
7
1,1
5
1,1
0
,35
-2,28
3,49
Deney
22
2,73
,88
-,77
,22
Kontrol
22
2,18
,95
-,40
-1,90
Deney
22
3,73
,63
-2,23
3,90
Kontrol
22
3,59
,73
-2,33
6,61
Deney
22
27,14
29
15
34
-,88
-,25
Kontrol
22
26,09
27
5,3
5
4,5
9
18
33
-,12
-1,09
,86
p=.005*
,82
p=.001*
,86
p=.005*
,80
p=.001*
,52
p=.000*
,87
p=.007*
,86
p=.006*
,41
p=.000*
,22
p=.000*
,80
p=.000*
,78
p=.000*
,49
p=.000*
,41
p=.000*
,81
p=.001*
,68
p=.000*
,49
p=.000*
,60
p=.000*
,90
p=.026*
,94
p=.185*
Sayfa
dzeni
Plan
leyi
Dil ve
anlatm
Szck
seimi
Yazm ve
noktalama
Szck
dzeni
Toplam
puan
24,27
U,
p
203,00
p=.328
25,32
19,64
22,00
23,00
22,98
179,00
p=.126
231,00
p=.555
213,50
p=.796
22,02
21,43
218,50
p=.268
23,57
26,23
18,77
21,73
160,00
p=.042
*
225,00
p=.531
23,57
25,73
171,00
p=.062
19,27
23,82
213,00
p=.368
21,18
24,23
204,00
p=.370
20,77
*p<.05
513
izelge 1 incelendiinde DPAnn altnc boyutunda (Dil ve Anlatm) deney grubunun lehine
anlaml bir farkllk olmasna karn dier boyutlarda iki grubun sra ortalamalar arasnda anlaml bir
fark olmad sylenebilir. Bu bulgu, aratrma iin hazrlanan DPAnn performans devlerinin
deerlendirilme srecinde renci baarlar zerinde nemli bir etki gstermedii biiminde
yorumlanabilir. Baka bir syleyile, performans devinin deerlendirilmesi srecinde rencilere
DPA verilmesiyle onlarn performans devini hazrlama baarlar arasnda tam bir iliki
bulunamamtr.
Tartma ve Sonu
Performans devlerini hazrlarken zmleyici DPA kullanan rencilerle kullanmayan
rencilerin baarlar arasnda fark olup olmadn belirlemek amacyla yrtlen bu almada
yaplan analizler, DPAnn yalnzca altnc boyutunda (Dil ve Anlatm) deney grubu lehine istatistiksel
olarak anlaml bir farkn olduunu gstermitir. Sonucun bu ekilde kmas birok nedene
balanabilir. Bunlardan biri rencilerin DPAdan ilevsel biimde yararlanamamas olabilir. Baka bir
deyile, sonucun deney grubu lehine yalnzca bir boyutta anlaml kmas, rencilerin DPA
kullanmna alkn olmamasna ve her iki gruptaki rencilerin de devlerini daha ok onlara verilen
ayrntl ynergeye bal kalarak hazrlamalarna balanabilir. Dolaysyla renciler DPAyla almaya
ve zdeerlendirme yapmaya alkn olmadklar iin ayrntl ynergeyi dikkate alm olabilirler ya da
DPAda aklanan ifadeleri grevlerine aktaramam olabilirler.
Sonucun bu ekilde kmasnn bir baka nedeni, retmenin deneysel uygulamay eksik ya da
yanl yapmas olabilir. Uygulama ncesi ilgili bilgilerin verilmesine ve uyarlarn yaplmasna; baka
bir deyile gereken tm nlemlerin alnmasna karn retmen, deney grubundaki uygulamay ve
DPAnn boyutlarn farknda olmadan kontrol grubu rencilerine de yanstm olabilir. Yine, DPA
kullanma konusundaki deneyimsizlii nedeniyle retmen, aratrmaclarn deney grubunda
kullanmak zere kendisine verdii ynergelere (DPAy doru, ilevsel ve etkili kullanmalar
konusunda) btnyle uymam olabilir.
Her iki gruptaki rencilere de devi nasl hazrlayacaklarna ilikin verilen ynergenin ayrntl
olmas da sonucun bu ekilde kmasnn bir baka nemli nedeni olabilir. Baka bir syleyile dev
hazrlarken DPA kullanmaya alk olmayan renciler, devlerini daha ok alkn olduklar ynergeye
bal kalarak hazrlam olabilirler. Ayrca, kullanlan DPA, drt aamal baar puan esas alnarak
hazrlanmtr. Puan aamasnn fazla olmamas da sonucun bu ekilde kmasna neden olmu
olabilir.
DPA kullanmnn renci baarsnda anlaml bir fark yaratmad sonucu Goodrich ve
Boulayin (2003) almasnda da grlmtr. Aratrmaclar sonucun bu ekilde kmasn DPAnn
her iki gruba birden verilmesine balamaktadr. DPA ve ltlerini gren renciler elbette nitelikli
514
yazya ilikin bilgi sahibi olmulardr. Aratrmaclara gre sonucun byle kmasnn bir dier nedeni
de rencilerin rendiklerini kendilerine verilen benzer grevlere aktaramamasdr. Yine Reitmeier
ve Vrchotann (2009) 35 katlmc ile yrtt almada da DPA kullanan ve kullanmayan renciler
arasnda anlaml bir fark bulunmamtr. Onlarn almasnda renciler DPAnn ltlerine ilikin
bilgi sahibi olmular; ancak bu almada da olduu gibi kendilerine verilen ynergeye daha fazla bal
kalmlardr. DPAlar hazrlanrken kullanlan dilin renci dzeyinin stnde olmamas ve grevlerini
tamamlamalar iin onlara yeterli srenin verilmesi gerekir (Goodrich Andrade, 2001). Bu almada
kullanlan DPA hazrlanrken ok sayda retmenden gr alnd iin DPAdaki ifadeler ocuklarn
anlayaca ekilde yazlm ve grevlerin tamamlanmas iin rencilere yeterli sre ( hafta)
verilmitir. Dolaysyla alma sonularnn bu etkenlerden etkilenmedii dnlmektedir.
Hem bu almann hem de Goodrich ve Boulayin (2003) almasnn sonularna
bakldnda retmenlerin DPA kullanm konusunda rencileri gdlemelerinin, ltleri daha iyi
anlayabilmeleri ve nemsemeleri iin rencilerle birlikte oluturmalarnn daha etkili olabilecei
sylenebilir. Bu nedenlerle retmenler performans devlerini puanlarken kullandklar DPAlar ve
bunlar kullanmaya dnk ynergeleri rencilere de vermeli, devlerini yaparken bu anahtarlardaki
ltleri kullanmalarnn yararlarn syleyerek onlar DPA kullanma konusunda gdlemelidir. Hatta
greve zel DPAlarn boyutlarn rencilerle birlikte de hazrlayabilir, onlar da iin iine s okarak
dncelerinden etkin bir biimde yararlanabilirler. Ayn ekilde DPA kullanmak rencilere
devlerinde olmas gereken ltlere ilikin bilgi verebilir; ancak rencilerin bu bilgileri kullanmalar
iin DPA kullanmnn sreklilik gstermesi gerekir (Goodrich Andrade, 2001).
lgili alanyazn ve bu almann sonular dorultusunda aadaki neriler gelitirilebilir.
Wigginsin (1989) de belirttii gibi standardize edilmi testler rencilerin entelektel geliimlerini
deerlendirmede snrl kalabilmektedir. Dolaysyla renci baarsn deerlendirmede DPA gibi daha
etkili ve dnt vermeye de olanak salayan (Bangert-Drowns, Kulik, Kulik ve Morgan, 1991; Butler ve
Winne, 1995) aralardan yararlanlabilir. Buna ek olarak retmenlerin deerlendirme yaparken DPA
kullanma konusunda daha bilgili ve deneyimli olmalar gerekmektedir (zdemir, 2010).
Alanyaznda ve bilgisunar (internet) ortamnda eitimcilerin kullanmas amacyla hazrlanan
birok DPA rnei bulunmaktadr. Ancak Rezaei ve Lovorn (2010) ile Pophamn (1997) da vurgulad
gibi tm bu rnekler doru kabul edilerek olduu biimiyle kullanlmamaldr. Aratrmaclarn
almalarnda eitim fakltelerindeki bir grup profesrn hazrlad DPAlarn bile gvenilir olmad
bulgulanmtr. Bu almada olduu gibi, eitimciler hem konunun ieriine hem de altklar
grubun dzeyine uygun DPAlar hazrlamaldr. Performans devlerinin deerlendirilmesinde,
DPAlarn kullanlmasnn nemini vurgulayan, bu konuda farkndalk yaratmay salayan
515
516
Huerta, M., Lara-Alecio, R., Tong, F. ve Irby, B. J. (2014). Developing and validating a science
notebook rubric for fifth-grade non-mainstream students. International Journal of Science Education,
http://dx.doi.org/10.1080/09500693.2013.879623
Jonsson, A. ve Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational
consequences. Educational Research Review, 2(2), 130-144.
Kan, A. (2007). An alternative method in the new educational program from the point of
performance-based assessment: Rubric scoring scales. Educational Sciences: Theory & Practice, 7(1),
144-152.
Koutsoftas, A. D. ve Gray, S. (2012). Comparison of narrative and expository writing in students
with and without language-learning disabilities. Language, Speech, and Hearing Services in Schools, 43,
395409.
Kutlu, ., Doan, C. D. ve Karakaya, . (2014). lme ve deerlendirme performansa ve
portfolyoya dayal durum belirleme. Ankara: PegemAkademi.
Mason, C. Y. ve Steedly, K. S. (2006). Lessons and rubrics for arts integration. TEACHING
Exceptional
Children
Plus,
3(1)
Article
1.
Retrieved
[date]
from
http://escholarship.bc.edu/education/tecplus/vol3/iss1/art1
Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment,
Research
&
Evaluation,
7(25).
RetrievedMarch
3,
2004
from
http://PAREonline.net/getvn.asp?v=7&n=25
Moskal, B. M. (2000). Scoring rubrics: what, when, how? Practical Assessment, Research and
Evaluation, 7 (3). Retrieved from August 20, 2004 http://PAREonline.net/getvn.asp? v=7&n=3.
Oakleaf, M. (2008). Dangers and opportunities: A conceptual map of information literacy
assessment approaches. Portal: Libraries and the Academy 8(3), 233-253.
zdemir, S. M. (2010). lkretim retmenlerinin alternatif lme ve deerlendirme aralarna
ilikin yeterlikleri ve hizmetii eitim ihtiyalar. Trk Eitim Bilimleri Dergisi, 8(4), 787-816. metin
iinde yok
Panadero, E. ve Jonsson, A. (2013). The use of scoring rubrics for formative assessment
purposes revisited: A review. Educational Research Review, 9, 129-144.
Petkov, D. ve Petkova, O. (2006). Development of scoring rubrics for IS projects as an assessment
tool. Issues in Informing Science and Information Technology, 3, 499-510.
Popham, W. J. (1997). Whats wrong -and whats right with rubrics. Educational Leadership, 72-75.
Reitmeier, C. A. ve Vrchota, D. A. (2009). Self-assessment of oral communication presentations in
food science and nutrition. Journal of Food Science Education, 8(4), 8892.
Reynolds-Keefer, L. (2010). Rubric-referenced assessment in teacher preparation: An
opportunity to learn by using. Practical Assessment Research &Evaluation, 15(8). Retrieved from
http://pareonline.net/getvn.asp?v=15&n=8.
Rezaei, A. R. ve Lovorn, M. (2010). Reliability and vali dity of rubrics for assessment through
writing. Assessing Writing, 15, 1839.
Rhodes, T. (2010). Since we seem to agree, why are the outcomes so difficult to achieve? New
Directions for teaching and Learning, 121, 13-21.
Scharf, D. Elliot, N., Huey, H. A., Briller, V. ve Joshi, K. (2007). Direct assessment of information
literacy using writing portfolios. Journal of Academic Librarianship, 33(4), 462-477.
Tierney, R. ve Simon, M. (2004). Whats still wrong with rubrics: Focusing on the consistency of
performance criteria across scale levels. Practical Assessment, Research and Evaluation, 9 (2). Retrieved from December 12, 2005 from http://PAREonline.net/getvn.asp?v=9&n=2
Tompkins, G. E. (2008). Teaching writing: Balancing process and product. Upper Saddle River, NJ:
Merrill Prentice Hall.
Turgut, M. F. ve Baykul, Y. (2010). Eitimde lme ve deerlendirme. Ankara: Pegem
AkademiYayn.
van Helvoort, A. A. J. (2012). Perspectives on how adult students in information studies use a
scoring rubric for the development of their information literacy skills. The Journal of Academic
Librarianship, 38(3), 165171.
Wiggins, G. (1989). A true test toward more authentic and equitable assessment. Phi Delta Kapan, 70,
703-713.
517