Trk Psikoloji Dergisi 2006, 21 (57), 25-40

Performans Deerlendirmelerinde Geleneksel Olmayan Deerlendirici Kaynaklarnn Kullanm

H. Canan Smer* Reyhan Bilgi Orta Dou Teknik niversitesi

zet

Bu almann amac, bir kamu kuruluunda ok kaynakl performans deerlendirmesinin uygulanabilirliini aratrmak ve geleneksel olmayan deerlendirici kaynaklar (astlar, alma arkadalar ve z) tarafndan yaplan performans deerlendirmelerini hem psikometrik adan hem de kullanc tepkileri temelinde incelemektir. zellikle ast deerlendirmeleri iin kaynak ii deerlendirmeler arasndaki korelasyonlar (deerlendiriciler aras tutarllk katsays) (.49) olduka yksek bulunmutur. Kaynaklar aras korelasyonlarn rnts ise yaznda rapor edilen rntlere paralellik gstermitir (rn., ynetici-alma arkadalar = .31, z-alma arkadalar = .30, ast-ynetici = .26, z-ynetici = .17). Yaplan varyans analizleri ve izleyen ikili karlatrmalar sonunda, z ve alma arkada deerlendirmelerinin cmertlik etkisine en yatkn deerlendirmeler olduu, amir deerlendirmelerinin ise cmertlik etkisine grece daha az yatkn deerlendirmeler olduu bulunmutur. Bununla birlikte, hale etkisi en az z deerlendirmelerinde gzlenmitir. Geleneksel olmayan kaynaklarn kullanmna ynelik kullanc tepkilerinin yorumuyla birlikte, ok kaynakl performans deerlendirmesi yaklamnn Trkiye balamnda uygulanabilirlii tartlmtr.
Anahtar kelimeler: ok kaynakl deerlendirme, cmertlik etkisi, hale etkisi, kullanc tepkileri Abstract

The purpose of this study was to evaluate the feasibility of a multi-source feedback system in a public sector organization and, more specifically, to examine performance appraisals provided by nontraditional rating sources (i.e., subordinates, peers, and self) both psychometrically and on the basis of user-reactions. Intraclass correlations (i.e., inter-rater reliabilities) for subordinate evaluations were found to be relatively high (.49). The pattern of correlations between ratings provided by different source pairs were similar to those reported in the literature (e.g., supervisor-peer = .31, self-peer = .30, subordinate-supervisor = .26, self- supervisor = .17). Results of a series of ANOVAs indicated that while self and peer ratings were most prone to leniency, supervisory ratings were relatively less prone to this bias. Self ratings were less open to halo than the ratings provided by the other sources. Along with an evaluation of the obtained user reactions, applicability of a multi-source performance appraisal system within the Turkish context is discussed.
Key words: Multi-source evaluations, leniency, halo, user reactions
*Yazma Adresi: Do. Dr. H. Canan Smer, Orta Dou Teknik niversitesi, Psikoloji Blm 06531, Ankara. E-posta: hcanan@metu.edu.tr Yazar Notu: Bu makalede ifade edilen grler, almann yrtld kurumun grlerini deil, yazarlarn grlerini temsil etmektedir.

26

H. C. SMER R. BLG

Geleneksel amir/ynetici deerlendirmelerine alternatif bir yaklam olarak gelitirilen ok kaynakl geribildirim yaklam, performans deerlendirmesi alannda son 10-15 ylda yaanan en belirgin yapsal deiikliktir (Levy ve Williams, 2004). Yaznda 360 derece geribildirim yaklam olarak da bilinen, ok kaynakl deerlendirme yaklamnn temelinde, birden ok kaynan (rn., astlar, kiinin kendisi/z, alma arkadalar, ynetici ve mteriler gibi) salayaca bilginin, tek bir kaynan salayaca bilgiden daha kapsaml ve geerli olaca varsaym bulunmaktadr (Antonioni, 1996; Bracken, Timmreck, Fleenor ve Summers, 2001; Dalessio, 1998; London ve Smither, 1995). 1990l yllarn ortalarnda Amerika Birleik Devletlerinde irketlerin %25inin ok kaynakl geribildirim yaklamn ksmen ya da tamamen kullandklar tahmin edilmekteydi (Antonioni, 1996). Bu orann gnmzde artm olmas byk bir olaslktr. Bu yaklamn poplaritesinin artmasnda (bkz., Dalessio, 1998; London ve Beatty, 1993; London ve Smither, 1995; Westerman ve Rosse, 1997), daha katlmc bir performans ynetimi anlayn temsil etmesi, alanlarn etiketlendirilmesi ya da snflandrlmasndan ok gelitirilmesini hedeflemesi, performans deerlendirmelerini bir kiinin sbjektif deerlendirmesine baml kalmaktan kurtarmas gibi zelliklerinin nemli rol oynad sylenebilir. Bu balamda ok kaynakl deerlendirme; takm almas olmad durumlarda bile koordineli almann nem kazand, iler aras snrlarn hzla eridii i ortamlarnda, hzl deiimlere ayak uydurabilmek iin yetkinliklerini srekli gelitirmesi, inisiyatif almas, karar vermesi ve problem zmesi gereken gnmz alannn beklentileriyle daha uyumlu bir performans ynetimi yaklamdr. in doasndaki deiimlere paralel olarak, alanlarn demografik komposizyonlarndaki deimeler de, ok kaynakl deerlendirmeyi kolaylatran nemli bir dier faktr olmutur. lerin giderek daha karmak hale gelmesi, alanlarda aranan niteliklerin de deimesine neden olmutur. Karar verme, problem z-

me, analitik dnme ve muhakeme gibi yetenekler, birok ite aranan temel zellikler arasna girmitir. Sonu olarak, bahsedilen zelliklere sahip alanlarn, performans deerlendirme srecine katkda bulunma potansiyeli ve de talebi ortaya kmtr. Ksaca, iin doasnda ve alanlarda gzlenen deiim ve dnmler, performans deerlendirmesine ok kaynakl yaklam destekleyici ve tevik edici bir ortamn olumasn salamtr. ok kaynakl geribildirim sistemlerinde yaplan deerlendirmeler, alan gelitirmek amacnn yan sra, terfi, cretlendirme ve dllendirme gibi daha ynetsel kararlara hizmet edecek ekilde de kullanlmaktadr (Borman, 1997). Antonioni (1996), ok kaynakl deerlendirme sistemlerinin geribildirim/geliim dndaki amalara ynelik kullanmndaki arta dikkat ekmektedir. Bu gelimeye ramen, ok kaynakl geribildirim sistemlerinin temel amac alana, performansn iyiletirici, yapc geribildirim salamak, alann geliimine katkda bulunmaktr (bkz., Garavan, Morley ve Flynn, 1997). Nitekim, geribildirim ve bireyi gelitirme amacyla yaplan ok kaynakl deerlendirmelerin kalitesinin, ynetsel amal yaplan ok kaynakl deerlendirmelerin kalitesinden daha yksek olduu da grgl almalarla gsterilmitir (bkz., Dalessio, 1998). Ayrca, geliim amal ok kaynakl deerlendirme sistemlerinin, ynetsel amal sistemlere oranla daha kolay iletildii ve kullanclar tarafndan daha ok kabul grd de sylenebilir. ok kaynakl deerlendirme sistemlerinde, farkl kaynaklardan gelen ve mmkn olan durumlarda deerlendirmeyi yapan deerlendiricilerin (ynetici dnda) kimliklerinin gizli tutulduu deerlendirmeler (Antonioni, 1996), kaynak ortalamasn yanstacak ekilde hem betimsel hem de grsel olarak deerlendirilen kiiye iletilmektedir. Baz durumlarda, farkl kaynaklarn yaptklar deerlendirmelerin geribildirimi sadece yazl olarak yaplrken, deerlendirmeler genellikle szl bir geribildirim seansnda, amir ya da bir danman

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

27

(facilitator veya coach) tarafndan kiiye iletilmektedir (Seifert, Yukl ve McDonald, 2003). almalar, farkl deerlendirici kaynaklarnn, performansn farkl ynlerine ynelik gzlem yapma ansna sahip olduklarn gstermektedir. Yneticilerin zellikle, alann grev performansn deerlendirmede etkin ve yetkin olduu bilinmektedir. ok kaynakl deerlendirme yaklamndan bamsz olarak, ynetici deerlendirmeleri halen en yaygn olarak kullanlan deerlendirme kaynadr (Murphy ve Cleveland, 1995). alma arkadalar ya da denkler, performansn, yneticiler tarafndan gzlenemeyen ynlerini gzleme ansna sahiptir. alma arkadalarnn grev performansyla birlikte, ortamsal performansa ynelik deerlendirme konusunda etkin olaca belirtilmektedir (bkz., Murphy ve Cleveland, 1995). Amirleri tarafndan performanslarnn gzlendiini bilen alanlar, iyi deerlendirme alma abasyla davranlarn deitirebilirken, alma arkadalar daha gereki performans gzlemleri yapma ansna sahiptir. 360 derece geribildirim yaklamnn dnda, ast deerlendirmesi ok yaygn olmayan bir uygulamadr. Ancak, ast deerlendirmelerinin ilevselliini gsteren grgl almalar bulunmaktadr (rn., Atwater, Roush ve Fischtal, 1995). Astlarn da zellikle, kendi yneticilerinin ortamsal performansna ynelik bilgiye sahip olduklar sylenebilir. Astlarn ve alma arkadalarnn deerlendirmesini, ynetici deerlendirmelerine kyasla daha etkin klan nemli bir zellik de birden fazla kiinin yapt deerlendirmelerin birletirilmesidir. ok kaynakl deerlendirme yaklamlarnn bir dier temel unsuru z deerlendirmeleridir. alanlarn kendi performanslarn daha cmerte deerlendirme eiliminde olduu ve bu deerlendirmelerin ynetici deerlendirmeleriyle yksek korelasyon gstermedii bilinmektedir (rn., Thornton, 1980). ok kaynakl deerlendirme sistemleri iinde z deerlendirmelerinin amac, kiinin performansna ynelik alglaryla, dier kay-

naklarn kii iin yaptklar deerlendirmeler arasndaki farka dikkat ekerek, deiim ve geliim iin bir farkndalk ve motivasyon yaratmaktr (London ve Smither, 1995). Farkl deerlendirici gruplarnn kiinin performansnn farkl ynlerini gzleme ve deerlendirme ansna sahip olduu grnden yola karak, deerlendirici gruplarnn yaptklar deerlendirmeler arasnda ok yksek pozitif korelasyonlar beklenmemektedir. Kaynaklar aras korelasyonlar inceleyen almalar genel olarak bu beklentiyi destekler niteliktedir. rnein, Harris ve Schaubroeckn (1988) farkl deerlendirme kaynaklarna ynelik meta-analiz almasnda; ynetici, alma arkada ve z deerlendirmeleri karlatrlmtr. Bu meta-analizin sonularna gre, alma arkadalar-ynetici deerlendirmeleri arasndaki ortalama korelasyon .62 iken, z-ynetici korelasyonu .35, z-alma arkada korelasyonu ise .36dr. Bir dier meta analiz sonunda Conway ve Huffcutt (1997), yaplan deerlendirmelerin kaynak ii ve kaynaklar aras korelasyonlarn incelemitir. Bu almann sonunda, dzeltilmi ortalama korelasyonlar, ynetici-alma arkada deerlendirmeleri iin .34, ast-ynetici iin .22, ast-alma arkada iin .22, ast-z iin .14, z-ynetici iin .22, zalma arkada iin ise .19 olarak tespit edilmitir. Kaynak ii tutarllk katsaylar ise, yneticiler iin .50, alma arkadalar iin .37, astlar iin ise .30 olarak bulunmutur. Daha yakn bir zamanda yaplan bir almada ise farkl kaynaklarn yaptklar deerlendirmeler arasndaki korelasyonlarn alma arkada-ynetici arasnda .30, z-ynetici arasnda .15 ve ast-alma arkada arasnda -.05 olduu tespit edilmitir (Atkins ve Wood, 2002). Dier birok ynetim kuram, model ve yaklamlarnda olduu gibi, Kuzey Amerika kkenli bu yaklam, lkemizin de dahil olduu birok dier lkede ilgi ve heyecanla karlanmtr. rnein, Trkiyede farkl sektrlerde hizmet veren 200 zel irkette insan kaynaklar ynetimi faaliyetlerinin kapsam zerine yaplan bir almada, ok kay-

TRK PSKOLOJ DERGS

28

H. C. SMER R. BLG

nakl deerlendirme sistemlerinin btn olarak olmasa da baz unsurlaryla kullanmnn kmsenmeyecek bir dzeyde olduu grlmtr (Szer, 2004). Ancak insan kaynaklar ynetimi uygulamalarnn kltrle uyumlu olmasnn gereklilii de birok aratrmac tarafndan vurgulanmaktadr (Aycan, 2000; Aycan, Kanungo, Mendonca, Yu, Deller, Stahl ve Kurshid, 2000; De Luque ve Sommer, 2000; Fletcher ve Perry, 2001; Levy ve Williams, 2004; Ramamoorthy ve Carroll, 1998; Smer, 2000). Bu nedenle, ok kaynakl deerlendirme gibi kk batya dayanan ve geleneksel olmayan deerlendirici kaynaklarnn deerlendirme srecine dahil edilmesini gerektiren bir yaklamn, kullanlaca kltrel ortamla uyumluluunun gsterilmesi bir zorunluluktur. Bu almann amac, geleneksel olmayan deerlendirici kaynaklarnn, ynetici deerlendirmeleriyle birlikte performans deerlendirmesi srecinde kullanlabilirliini Trkiye balamnda deerlendirmektir. Bu amaca ynelik olarak, hiyerarik yapnn belirgin olduu bir kamu kuruluunda kapsaml bir performans deerlendirme sistemi almas bnyesinde, bir ok kaynakl deerlendirme uygulamas yaplmtr. Bu uygulamann hedefi, geleneksel olmayan deerlendirici kaynaklar tarafndan yaplan deerlendirmelerin psikometrik zelliklerini ve geleneksel olmayan kaynaklarn kullanmna ynelik kullanc tutumlarn incelemekti. Ancak, bu uygulama pratik nedenlerden dolay, yaplan ok kaynakl deerlendirmelerin geribildirimini kapsamamtr. Bu balamda, bu almann, ok kaynakl geribildirim sistemlerinin tam bir testi olduunu sylemek mmkn deildir. almada, farkl kaynaklarn yapt deerlendirmelerin lm kalitesine ve kullanc tepkilerine odaklanlmtr. Yntem

olduka belirgin olduu, dikey rgtsel yaplanmann gzlendii geleneksel bir kamu kuruluunda grevli personel arasndan sekisiz olarak seilen ynetici pozisyonundaki kamu alanlar oluturmutur. Performans deerlendirmesi veren ve alan tm katlmclar, aratrmann gerekletirildii kamu kurumunda alt, orta veya yksek yneticilik pozisyonlarnda grev yapmaktadr. Dier bir deyile, aada ast olarak tanmlanan katlmclarn kendileri de grece alt dzey ynetici pozisyonunda olan alanlardr. Sz konusu kamu kurumunda gerekletirilen kapsaml bir aratrmann bir alt almas olan bu almada, yaplan analizlerin amacna uygun olarak, rneklem saylar (hem deerlendirme yapan hem de deerlendirilen kii saylar) deimitir. Bu makalede yaplan analizlerde her bir deerlendirici-deerlendirilen kombinasyonu iin kullanlan temel rneklem saylar u ekildedir: 251 ynetici1 (deerlendirilen 785 ast ), 29 st ynetici (deerlendirilen 101 ast), 302 alma arkada (deerlendirilen 345 alan, yaplan deerlendirme says 1638), 663 ast (deerlendirilen 118 ynetici). Ayrca, 159 alan da z deerlendirmesi yapmtr. Yalar 23 ile 55 arasnda deien katlmclar arasnda erkek katlmclarn oran, kullanlan her bir alt rneklemde %90 veya zerindedir. Deerlendirme veren ve alan tm katlmclar, aratrmann gerekletirildii kamu kurumunda alt, orta veya yksek yneticilik pozisyonlarnda grev yapmaktadr.

lm Aralar Performans deerlendirme formlar. Bu almada be ayr performans deerlendirme formu (ynetici formu, st ynetici formu, z deerlendirme formu, alma arkada formu ve ast formu) kullanlmtr. Ynetici, st ynetici ve z deerlendirme formlar ayn 18 boyutu kapsam, formlarn sadece ynergeleri farkllamtr. Dier bir deyile, hem astlarn deerlendiren yneticiler ve

rneklem
almanin rneklemini, g mesafesinin
1

Bu makalede, almann amacyla tutarl olarak, amir deerlendirmeleri ile ilgili verinin tamam hibir analizde kullanlmam, sadece kk bir alt seti kullanlmtr.

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

29

st yneticiler hem de kendi performansn deerlendiren alanlar, deerlendirmelerini ayn 18 boyut zerinde yapmtr. Ynetici ve z deerlendirmelerinde kullanlan boyutlar, hem grev performansna (Yaplan iin kalitesi gibi) hem de ortamsal performansa (Uyumluluk gibi) ynelik boyutlardr. alma arkadalarnn yaptklar deerlendirmede kullanlan formda arlkl olarak kiinin ortamsal performansn temsil eden (birliine yatknlk gibi), ancak grev performansn da kapsayan alt boyut yer almtr. Ast deerlendirmelerinde kullanlan formda ise yine arlkl olarak ortamsal performans (Grev dalmnda hakkaniyet gibi) ve snrl sayda da grev performansn temsil eden 12 performans boyutu yer almtr2. Deerlendirmede kullanlan boyutlar ok aamal, iteratif bir yaklamla belirlenmitir. ncelikle kurum iinde halihazrda kullanlan deerlendirme aralar ve var olan i tanmlar proje ekibi tarafndan incelenmitir. Daha sonra, var olan ve nerilen sistemlerin deerlendirilmesine ynelik potansiyel kullanclarla 18 ayr odak grubu yaplmtr. Kapsaml bir anket almas (N > 3000) aracl ile de ierilecek boyutlara ynelik kullanc tepkileri deerlendirilmitir. Tm bu aamalardan sonra tespit edilen boyutlar, kurum iinden ve proje grubundan uzmanlar tarafndan deerlendirilmi, birletirmeler ve elemeler sonunda boyutlar son hallerini almtr. Boyut baznda yaplan tm bu deerlendirmeler 5-basamakl Likert tipi (1 = Yetersiz Performans; 5 = stn Performans) bir lek zerinde yaplmtr. Farkl kaynaklarn kullandklar bu formlarn psikometrik zellikleri bulgular blmnde ele alnmaktadr.

anketlerde katlmclardan, temsil ettikleri deerlendirici kaynann ok kaynakl bir sistem iinde yer alp almamas gerektiine ynelik maddeleri (rn., Ast deerlendirmelerinin amir-alan ilikisine zarar vereceini dnyorum ve alma arkadalarm iin yaptm deerlendirmelerin, kimliimin gizli kalmas kouluyla, kendilerine iletilmesini isterim) 5-basamakl Likert tipi bir lek zerinde (1 = Hi Katlmyorum; 5 = Tamamen Katlyorum) deerlendirmeleri istenmitir. Bu makalede, sadece alma arkada, ast ve/ya z olarak deerlendirme yapan kiilerin doldurduu kullanc tepkisi anketlerinde, sz konusu kaynaa ynelik tutum maddelerine verilen cevaplar analiz edilmitir. alma arkada ve ast deerlendirmeleri iin 9ar madde, z deerlendirmeleri iin ise 4 madde analize dahil edilmitir. Her bir grup madde ncelikle faktr analizine tabi tutulmutur. Bulgular blmnde akland gibi, baz maddeler faktrler altnda gruplanrken, gruplanmayan maddeler tek tek ele alnmtr. Tablo 5-7de bu anketlerde yer alan maddeler (ya da madde gruplar) yer almaktadr.

lem
almann yapld kamu kuruluunda, ncelikle uygulamalarn yaplaca blgeler ve birimler belirlenmi, daha sonra ise her bir blgeden gelen temsilcilere ksa bir eitim verilmitir. Bu eitimin amac kullanlacak ok kaynakl deerlendirme sistemini tantmak ve uygulama srasnda ortaya kabilecek problemlere kar blge temsilcilerini hazrlamakt. z, ynetici, st ynetici, alma arkada ve/ya ast olarak deerlendirme yapacak kiilere, uygulama ncesinde, deerlendirmede dikkat etmeleri gereken noktalara ynelik yazl ynergeler verilmi ve yapacaklar deerlendirmelerin sadece aratrma amal kullanlaca belirtilmitir. Baz katlmclar, sadece bir deerlendirici kaynan temsil ederken, bazlar ise birden fazla kayna-

Kullanc tepkisi anketleri. Ynetici, alma arkada, ast veya z olarak performans deerlendirmesi yapan katlmclarn, ok kaynakl deerlendirmeye ynelik tutumlar da deerlendirilmitir. ok kaynakl performans deerlendirmesine ynelik kullanc tepkilerini lmeyi hedefleyen
2

Kullanlan formlarn geerliini ve gizliliini korumak amacyla formlarda yer alan boyutlar bu makalede paylalmamaktadr. Bu almann hedefinin, ok kaynakl deerlendirme yaklamnn psikometrik adan ve kullanc tepkileri temelinde deerlendirilmesi olduu dnldnde, boyutlarn tek tek paylalmamasnn, bir engel oluturmayaca dnlmtr.

TRK PSKOLOJ DERGS

30

H. C. SMER R. BLG

temsil ederek (rn., hem ast, hem de alma arkada olarak), deerlendirmeler yapmtr. Ayrca, ynetici, st ynetici ve alma arkada olarak deerlendirme yapan katlmclar ounlukla birden fazla kiiyi deerlendirmilerdir. Ynetici, st ynetici, alma arkada veya ast olarak deerlendirme yapacak kiilere, deerlendirecekleri kiinin/kiilerin isimleri nceden salanmtr. Yaplan performans deerlendirmelerinin ardndan, deerlendiricilerden yaptklar deerlendirmelere ve temsil ettikleri deerlendirici kaynann deerlendirme sisteminde yer alp almamasna ynelik tutumlarn len, kullanc tepkisi anketi uygulanmtr. Yaplan performans deerlendirmeleri ve doldurulan kullanc tepkileri anketleri, blge temsilcileri aracl ile aratrmaclara ulatrlmtr. Bulgular almann amac ile tutarl olarak, veriler zerinde iki grup analiz yaplmtr. lk olarak, farkl kaynaklarn yaptklar deerlendirmeler psikometrik adan karlatrlmtr. kinci olarak ise, geleneksel olmayan kaynaklarn, performans ynetimi sisteminde yer almasna ynelik kullanc tepkileri betimsel dzeyde irdelenmitir.

relasyonlar ve kullanlan formlarn i tutarlk katsaylar incelenmitir.

Farkl Kaynaklar Tarafndan Yaplan Performans Deerlendirmelerinin Psikometrik Adan Deerlendirilmesi

Bu amala yaplan analizleri balk altnda toplamak mmkndr. lk olarak, deerlendirmelerde kaynak ii ve kaynaklar aras korelasyonlar incelenmitir. kinci olarak, deerlendirmelerde kaynak etkisini incelemek amacyla, ayn kiiyi deerlendiren farkl deerlendirici gruplarnn yaptklar deerlendirmelerin karlatrld varyans analizleri sunulmutur. Bu analizler ve izleyen ikili karlatrmalar, deerlendirici kaynaklar temelinde cmertlik etkisinin (olumlu uta deerlendirme yapma eilimi) incelenmesine izin vermitir. Son olarak ise, hale etkisini (deerlendirme yaplan boyutlar birbirlerinden ayramama eilimi) incelemek amac ile farkl deerlendirici kaynaklarnn yaptklar deerlendirmeler iin boyutlar aras ko-

Kaynak ii ve kaynaklar aras korelasyonlar. Kaynak ii (intraclass ICC) korelasyonlar, ayn kiiyi deerlendiren tek bir deerlendirici kaynann (rn., astlarn ya da denklerin) kendi iindeki hemfikir/tutarl olma derecesini yanstan bir indekstir (Garson, 2005). Bu almada, kaynak ii korelasyonlarn hesaplanmasndaki ama, iki ynl varyans analizini kullanarak ayn kiiyi deerlendiren deerlendiriciler aras hemfikir olma derecesini tespit edebilmektir. Yaplan analizlerde, Shrout ve Fleiss (1979) tarafndan nerilen ICC modelinden nc model olan iki ynl karmak etki modeli (two-way mixed design) kullanlmtr. Bu analizlerde, ayn kiiyi ayn boyutlarda deerlendiren deerlendiriciler, sabit (fixed) etkiye, yaplan boyut deerlendirmeleri de sekisiz (random) etkiye karlk gelmektedir (ayrntl bilgi iin bkz. Yaffee, 1998). Ast ve alma arkadalar iin ortalama kaynak ii korelasyonun (deerlendiriciler aras ortalama tutarllk katsaysnn) hesaplanmasnda 2 aamal bir yaklam kullanlmtr. ncelikle, deerlendiriciler aras tutarllk katsays, en az 5 ast ya da alma arkada tarafndan deerlendirilen her bir kii iin ayr ayr hesaplanmtr. Daha sonra ise sz konusu deerlendirme kaynana genellenebilecek deerlendiriciler aras i tutarlk katsaysn belirleyebilmek amac ile o kaynak tarafndan deerlendirilen her bir kii iin hesaplanm olan ICC deerlerinin ortalama, ortanca ve standart sapmalar hesaplanmtr.
Toplam 345 alan iin 1638 alma arkada deerlendirmesi yaplmtr. Deerlendirme yapan alma arkada says 302dir. Ayn kii iin deerlendirme yapan alma arkada says 1-13 arasnda deimitir. Kaynak ii ortalama hemfikir olma derecesini tespit edebilmek amacyla, yukarda da belirtildii gibi en az 5 alma arkada tarafndan performans deerlendirilen her bir kii iin, kaynak ii korelasyonlar hesaplanmtr. Bu korelasyonlarn ortalamas .28 (standart sapma = .44, ortanca korelasyon =.38) olarak bulunmutur. Bu

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

31

ortalama, 71 ayr alma arkada grubunun yapt deerlendirmeleri kapsamaktadr (bir deerlendirici, birden fazla alma arkada deerlendirme grubunda yer alabilmitir). Standart sapmann grece byklnden anlalaca gibi, baz kiiler iin alma arkadalarnn yapt deerlendirmelerin arasndaki korelasyon ok yksek ve pozitifken, bir ok kii iin korelasyon 0a yakn ya da negatif olarak gzlenmitir. Ayn ilem ast deerlendirmeleri iin tekrarlanmtr. almada, 663 ast, 118 yneticisini deerlendirmitir. Ayn ynetici iin deerlendirme salayan ast says 1-37 arasnda deimitir. Ast deerlendirmeleri iin kaynak ii ortalama korelasyon katsays .49 (standart sapma = .37, ortanca korelasyon = .58) olarak bulunmutur. Bu ortalama, 42 ast grubunun yapt ynetici deerlendirmelerini kapsamtr. Ayn kiiyi deerlendiren farkl deerlendirici gruplar arasnda hemfikir olma derecesini deerlendirmek amacyla kaynaklar aras korelasyonlar incelenmitir. Tablo 1de ayn alanlar iin farkl kaynaklarn salad deerlendirmelerin (ortalama performans puan zerinden) korelasyonlar verilmitir. Tablo 1de grld gibi, ynetici-st ynetici (.58), ast-ynetici (.26), ast-st ynetici

(.33), alma arkada-z (.30), alma arkadaynetici (.31) ve alma arkada-st ynetici (.37) arasndaki korelasyonlar anlamldr. Ynetici-st ynetici deerlendirmeleri arasndaki korelasyon en yksek iken, en dk korelasyonlar z-st ynetici ve alma arkada-ast deerlendirmeleri arasndaki korelasyonlardr.

Kaynaklar aras karlatrmalar. Tablo 2de ayn kii iin farkl kaynaklar tarafndan yaplan deerlendirmelerin karlatrld, tekrar lml varyans analizlerinin sonular ve deerlendirme ortalamalar yer almaktadr. Bu analizler kiilere verilen ortalama puanlar (tm performans boyutlarnda verilen puanlarn toplanp boyut saysna blnmesiyle elde edilen puan; minimum = 1, maksimum = 5) zerinden yaplmtr. Analizlerde, birden fazla deerlendiricinin bulunduu durumlarda (alma arkadalar ve ast deerlendirmelerinde) kaynak ortalamas alnmtr. lk olarak, 5 kaynan (z, ynetici, st ynetici, astlar ve alma arkadalarnn) ayn kii iin verdii deerlendirmelerin karlatrld analiz sunulmutur. Tm kaynaklar tarafndan deerlendirilen kii says (N = 31) grece kktr. kinci olarak, yalnzca ynetici, alma arkadalar ve astlar tarafndan deerlendirilen

Tablo 1 Farkl Kaynaklar (z, Ynetici, st Ynetici, Ast ve alma Arkadalar) Tarafndan Yaplan Deerlendirmeler Aras Korelasyonlar
z z Ynetici st Ynetici Ast al. Ark. 1.000 (166) .17 (109) -.05 (51) .17 (56) .30** (113) Ynetici st Ynet. Ast al. Ark.

1.000 (339) .58** (64) .26* (74) .31** (256)

1.000 (100) .33* (41) .37* (45)

1.000 (118) .05 (59)

1.000 (345)

**p < .01 , *p < .05. Parantez iindeki deerler, sz konusu korelasyonun alnd rneklemin byklne karlk gelmektedir.

TRK PSKOLOJ DERGS

32

H. C. SMER R. BLG

Tablo 2 Farkl Kaynaklar (z, Ynetici, st Ynetici, Ast, ve alma Arkada) Tarafndan Yaplan Deerlendirmelerin Tekrar lml Varyans Analizleri Sonular ve Her bir Kaynak in Ortalamalar ve Standart Sapmalar
Deerlendirme Kaynaklar z, Ynetici, st Yn., Ast, al. Ark. Ynetici, Ast, al. Ark. Ynetici, st Ynetici Hata sd Grup sd

z Ort. (SS) 4.75 (.30) -

Ynetici st Y. Ort. Ort. (SS) (SS) 4.00 (.71) 4.14 (.72) 4.29 (.69) 4.22 (.63) -

Ast Ort. (SS) 4.44 (.60) 4.38 (.58) -

al. A. Ort. (SS) 4.67 (.33) 4.60 (.42) -

120

13.61

.001

.31

90

8.99

.001

.17

63

5.73

.020

.08

4.47 (.57)

Karlatrmalar toplam ortalama puanlar (5-basamakl lek) zerinde yaplmtr.

kiiler (N = 46) iin yaplan deerlendirmelerin karlatrld varyans analizinin sonular sunulmutur. Son olarak ise, ayn alanlar (N = 64) iin yaplan ynetici ve st ynetici deerlendirmeleri karlatrlmtr. ncelikle, farkl kaynaklarn deerlendirme ortalamalar incelendiinde, tm kaynaklarn cmerte, lein olumlu ucunu kullanarak deerlendirme yapt grlmektedir. Be kaynan karlatrld varyans analizi sonularna gre, ayn kii iin farkl kaynaklarn yaptklar deerlendirmeler ara-

sndaki fark istatistiksel olarak anlamldr ve gldr (2 = .31). En yksek deerlendirme z deerlendirmesi iken, en dk deerlendirme ynetici deerlendirmesidir. Tablo 3te anlaml bulunan bu farkllklar irdeleyen ikili karlatrma sonular yer almaktadr. Karlatrma sonularna gre, ynetici deerlendirmeleri, ast, alma arkadalar ve z deerlendirmelerinden anlaml derecede daha dktr. st ynetici deerlendirmeleri ise z ve alma arkada deerlendirmelerinden anlaml derecede daha dktr.

Tablo 3 Farkl Kaynaklar (Ynetici, z, alma Arkadalar ve Astlar) Tarafndan Yaplan Deerlendirmeler zerinde Yaplan Varyans Analizleri Sonucunda Tespit Edilen Anlaml Farkllklar
Deerlendirme Kayna z, Yn., st Yn., Ast, al. Ark. z Ynetici st Ynetici stYn.<al. Ark. st Yn.<z Ast Ast>Yn. alma Arkada al. Ark.>st Yn. al. Ark.>Yn.

z>st Yn. Yn.<Ast z>Yn. Yn.<al. Ark Yn.<z Ynetici<al. Ark.

Yn., Ast, al. Ark.

Tm farkllklar p < .01de anlamldr.

al. Ark.>Yn.

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

33

kinci varyans analizinde (Tablo 2) ayn kii iin yaplan ynetici, alma arkadalar ve ast deerlendirmeleri karlatrlmtr. Analiz sonularna gre, bu kaynak arasnda anlaml bir farkllk (2 = .17) gzlenmitir. Bu veri setinde, en yksek deerlendirme alma arkadalar tarafndan yaplrken, en dk deerlendirme yneticiler tarafndan yaplmtr. Tablo 3te sunulan ikili karlatrmalar sonunda ynetici deerlendirmelerinin alma arkada deerlendirmelerinden anlaml olarak daha dk olduu bulunmutur. Son analizde ise, ayn alan iin yaplan ynetici ve st ynetici deerlendirmeleri karlatrlmtr. Analiz sonularna gre, st ynetici deerlendirmeleri, ynetici deerlendirmelerinden daha yksektir (2 = .08).

Tablo 4te grlecei gibi, tm formlar iin i tutarlk katsays olduka yksektir. Bu bulgu, ierilen boyutlarn birbiri ile rtt anlamna gelebilecei gibi, deerlendiricilerin boyutlar aras ayrm yapma konusunda istekli ya da yetkin olmamalarndan da kaynaklanabilir. Dier bir deyile, yksek i tutarlk katsays, hale etkisinin (kavramsal olarak ayr olan performans boyutlarn birbirinden ayrt edememe) bir gstergesi olabilir. Hale etkisinin varln incelemede kullanlacak bir dier nemli kriter, boyutlar aras korelasyonlardr. Grlecei gibi, boyutlar aras korelasyon, en dk z deerlendirmeleri iin, daha sonra ynetici deerlendirmeleri iin tespit edilmitir. st yneticiler, alma arkadalar ve astlarn yaptklar deerlendirmelerde boyutlar aras korelasyonlar grece yksektir.

Boyutlar aras korelasyonlar ve formlar iin i tutarlk katsaylar. Yukarda da belirtildii zere, farkl kaynaklar, farkl formlar kullanarak deerlendirme yapmtr. Bunun nedeni, ayn kiiyi deerlendirme pozisyonunda olabilecek farkl kaynaklarn, performansn farkl ynlerini daha etkili (ya da etkisiz) deerlendirecekleri beklentisidir. Bu nedenle, farkl kaynaklar iin hazrlanan deerlendirme formlarnda ortak baz boyutlar yer alsa da, genel olarak kapsanan boyutlar, boyutlarn ierii ve/ya says farkllamtr. Aada sunulan analizlerin amac, farkl kaynaklarn kulland formlarn i tutarlk katsaylarn ve ierilen boyutlar arasndaki korelasyon katsaylarn incelemektir.

Geleneksel Olmayan Deerlendirici Kaynaklarna Ynelik Tutumlarn Deerlendirilmesi

ok kaynakl deerlendirme uygulamasna katlan katlmclardan, uygulamann hemen ardndan, yaptklar deerlendirmelerin farkl ynlerine ynelik (ynetici, alma arkada ve/ya z deerlendirmelerine) grlerini 5 basamakl Likert tipi lekler zerinde belirtmeleri istenmitir. Kullanc tepkisi anketinde yer alan ve geleneksel olmayan deerlendirme kaynaklarna ynelik olan maddeler farkl bir seri temel bileenler analizine tabi tutulmu3, bu analizler sonunda gruplatklar grlen baz maddeler iin i tutarlk katsaylar hesaplan-

Tablo 4 Farkl Kaynaklarn Yaptklar Deerlendirmelerin Tutarlk Katsaylar ve Kullanlan Formlarda Boyutlar Aras Korelasyonlar
Deerlendirme Kayna Ynetici st Ynetici alma Arkadalar Astlar z Boyut Says 18 18 7 12 18 N 57 99 1597 646 161 -Tutarlk Katsays .97 .98 .96 .97 .95 Boyutlar Aras Ortalama Korelasyon .67 .78 .77 .75 .57

Nler her bir deerlendirici grubu tarafndan yaplan deerlendirme saysna karlk gelmektedir.

TRK PSKOLOJ DERGS

34

H. C. SMER R. BLG

Tablo 5 alma Arkadalar Deerlendirmesine Ynelik Tutumlara likin Betimleyici statistikler

fade 1 alma arkadalarm deerlendirmek zor geldi. (Madde says = 3, Alfa = .80) 2 alma arkada deerlendirmeleri, deerlendirme sisteminde yer almaldr. (Madde says = 3, Alfa = .85) 3 alma arkada deerlendirmeleri sadece geri besleme amac ile kullanlmaldr. 4 alma arkada deerlendirmelerinin i ilikilerine zarar vereceini dnyorum. 5 alma arkadalarm iin yaptm deerlendirmelerin, kimliimin gizli kalmas kouluyla, kendilerine iletilmesini isterim. N 293 292 293 292 292 Ort. 2.24 3.67 3.44 2.77 3.87 Std. Sp. 1.32 1.33 1.62 1.61 1.53

Deerlendirme 5-basamakl bir lek zerinde yaplmtr (1 = Hi Katlmyorum; 5 = Tamamen Katlyorum).

mtr. Herhangi bir faktr altnda yer almayan maddeler iin betimleyici analizler ise madde baznda yaplmtr. Tablo 5te alma arkada deerlendirmesini yapan 293 kiinin, bu deerlendirme kaynann performans ynetimi sisteminde yer almasna ynelik grleri ile ilgili temel betimleyici istatistikler sunulmutur. Grlecei gibi, alma arkadalarn deerlendirmek katlmclara ok zor gelmedii gibi (Ort = 2.24), ok kolay da

gelmemitir. alma arkadalarnn deerlendirmelerinin, deerlendirme sisteminde yer almasna (Ort = 3.67) ve de sadece geribildirim amal kullanlmasna (Ort = 3.44) ynelik olarak ise grece olumlu tutumlarn olduu gzlenmitir. arkadalarnn birbirlerini deerlendirmesinin i ilikilerine zarar verecei grne (Ort = 2.77), ortann hemen altnda bir dzeyde bir katlm olduu grlmtr. alma arkadalarnn yaptklar deerlen-

Tablo 6 Ast Deerlendirmesine Ynelik Tutumlara likin Betimleyici statistikler

fade 1 Amirimi deerlendirmek zor geldi. (Madde says = 2, Alfa = .70) 2 Ast deerlendirmeleri sistem iinde yer almaldr. (Madde says = 3, Alfa = .75) 3 Astlar tarafndan yaplan deerlendirmeler sadece geri besleme amac ile kullanlmaldr. 4 Ast deerlendirmelerinin amir-alan ilikisine zarar vereceini dnyorum. 5 Amirim iin yaptm deerlendirmelerin, kimliimin gizli kalmas kouluyla, kendisine iletilmesini isterim. N 660 656 660 660 658 Ort. 2.09 4.11 2.47 2.29 3.91 Std. Sp. 1.26 1.01 1.64 1.53 1.47

Deerlendirme 5-basamakl bir lek zerinde yaplmtr (1 = Hi Katlmyorum; 5 = Tamamen Katlyorum).

3

alma arkadalarnn deerlendirmelerine ynelik tutumlarla ilgili maddeler zerinde yaplan varyans analizi sonunda, varyansn %60n aklayan deerlendirmelerin yarar ve deerlendirmelerin zorluu olarak adlandrlabilecek iki faktrn olduu, dier maddelerin ise herhangi bir faktr altnda yer almad grlmtr. Benzer ekilde adlandrlan ve varyansn %53.4n aklayan iki faktr de ast deerlendirmelerine ynelik tutumlar iin tespit edilmitir.

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

35

Tablo 7 z Deerlendirmesine Ynelik Tutumlara likin Betimleyici statistikler

fade 1. Yaptm bu deerlendirmenin, zayf ve gl ynlerimi iyi yansttn dnyorum. 2. Bir kii kendisini tarafsz deerlendirebilir. 3. Kendimi deerlendirmek bana zor geldi. 4. Kendim iin yaptm bu deerlendirmenin amirimin beni deerlendirmesinden daha olumlu olduunu dnyorum. N 158 159 159 158 Ort. 4.16 3.06 2.86 3.37 Std. Sp. 1.25 1.49 1.61 1.44

Deerlendirme 5-basamakl bir lek zerinde yaplmtr (1 = Hi Katlmyorum; 5 = Tamamen Katlyorum).

dirmelerin, gizliliin salanmas kouluyla, deerlendirilen kiilere geribildiriminin yaplmasna ynelik, ortann zerinde (Ort = 3.87) olumlu bir tutum gzlenmitir. Tablo 6da yneticisini deerlendiren katlmclarn (N = 660), bu deerlendirmelere ynelik tutum sorularna verdikleri cevaplarla ilgili betimleyici istatistikler yer almaktadr. ncelikle, yneticilerini deerlendirmenin, katlmclara ok zor gelmedii (Ort = 2.09) grlmektedir. Ast deerlendirmelerinin, performans ynetimi sistemi iinde yer almasna ynelik olduka olumlu (Ort = 4.11) bir tutum gzlenmitir. Katlmclarn, ast deerlendirmelerinin sadece geribildirim amal kullanm fikrine ok fazla katlmadklar (Ort = 2.47) tespit edilmitir. Benzer ekilde, katlmclar, astlarn yaptklar deerlendirmelerin, ynetici-ast ilikisine zarar verecei fikrine de ok katlmamlardr (Ort = 2.29). Son olarak, deerlendirme yapan astn kimliinin korunmas kouluyla, yaplan deerlendirmelerin, deerlendirilen yneticiye iletilmesi konusunda olduka (Ort = 3.91) olumlu bir tutum gzlenmitir. Tablo 7de z deerlendirmelerine katlan katlmclarn (N = 159), bu deerlendirmelere ynelik tutumlaryla ilgili betimleyici istatistikler yer almaktadr. Grlecei gibi, z deerlendirmesi yapan katlmclar, bu deerlendirmelerde performanslarn olduka gereki bir ekilde (Ort = 4.16) yansttklarn dnmektedir. Bununla bera-

ber katlmclar, genel olarak kiilerin kendilerini yansz deerlendirebilecei grne (Ort = 3.06) orta dzeyde katlmlardr. Katlmclarn, z deerlendirmelerinin zor olduu grne ise ortaya yakn (Ort = 2.86) dzeyde katldklar grlmtr. Son olarak, z deerlendirmelerinin, amirlerin yapt deerlendirmelerden daha cmerte olduu grne de ortann zerinde katldklar bulunmutur (Ort = 3.37). Tartma Bu almann amac bir kamu kuruluunda gerekletirilen ok kaynakl deerlendirme uygulamasn lm kalitesi ve kullanc tepkileri asndan incelemekti. Yaplan analizler sonunda, astlar iin kaynak ii korelasyon katsaylarnn, Conway ve Huffcuttn (1997) meta analiz almasnda rapor ettikleri katsaylardan yksek olduu bulunmutur. Ayrca, yine yazndan farkl olarak, ast deerlendirmeleri iin tespit edilen ortalama kaynak ii korelasyon katsaysnn, alma arkadalar iin tespit edilen ortalama katsaydan daha yksek olduu da gzlenmitir. Bu bulgu, zellikle astlarn yapt deerlendirmelerin geerliinin bir iareti olarak yorumlanabilir. alma arkada deerlendirmelerinde gzlenen grece dk kaynak ii korelasyonlar ve yksek standart sapma ise, ast deerlendirmelerine kyasla alma arkada deerlendirmelerinin geerliinin grece dk olduunu dndrmektedir.

TRK PSKOLOJ DERGS

36

H. C. SMER R. BLG

Bu almada kaynaklar arasnda gzlenen korelasyonlarn rnts, yaznda rapor edilen benzer deerlendirici kaynaklar arasndaki korelasyonlarn rntsne paralellik gstermektedir. rnein, yukarda da bahsedildii gibi, Harris ve Schaubroeckn (1988) farkl deerlendirme kaynaklarna ynelik meta-analiz almasnda; alma arkada, ynetici ve z deerlendirmeleri karlatrlmtr. Harris ve Schaubroeckn almasnda kullanlan bu kaynan birbirleri arasndaki korelasyonlarn sralamas, bu almada elde edilen korelasyonlarn sralamasyla ayndr. Bununla birlikte, Trk rnekleminden elde edilen korelasyonlar grece daha dktr. Gzlenen korelasyonlarn dk olmasnn nemli bir nedeni, aada akland gibi, deerlendirmelerin dar bir aralk iinde (cmerte) yaplm olmas olabilir. Deerlendirme aralnn dar olmasnn gzlenen korelasyonlar kltecei bilinmektedir (bkz., Tsui ve Ohlott, 1988). Gzlenen kaynaklar aras korelasyonlarn rnts ve byklkleri, bir istisna (ast-alma arkada ifti) dnda Conway ve Huffcutt (1997) ve Atkins ve Wood (2002) tarafndan rapor edilen korelasyonlarla da byk oranda benzemektedir. Yaptmz almada, ast-alma arkada deerlendirmeleri arasndaki korelasyon (.05), Conway ve Huffcuttun meta-analizlerinde rapor ettii (.22) ayn deerlendirici gruplar arasndaki korelasyondan olduka dktr. Bu bulgu, yaplan almada ast ve alma arkada olarak deerlendirme yapan kiilerin, performans deerlendirmeleri yaparken muhtemelen farkl perspektiflerden baktklar eklinde yorumlanabilir. Ayrca, zellikle alma arkada deerlendirmelerinin cmertlik etkisinin en fazla gzlendii deerlendirmeler arasnda olduu, dolaysyla da dar bir aralkta olduu dnldnde, gzlenen dk korelasyon ok artc deildir. Alternatif olarak, gzlenen bu dk korelasyonun, ast ve alma arkada deerlendirmelerinde tamamen ayn boyutlarn kullanlmamasndan kaynakland ileri srlebilir. Bununla beraber, bu iki kaynak tarafndan kullanlan boyutlarn

farkl olmasnn, gzlenen dk korelasyonu aklamada tek bana yeterli olmayaca da aktr. Ast ve alma arkadalarnn yapt deerlendirmelerde kullanlan boyutlarn says farkl olsa da, bu boyutlarn temsil ettii performans alanlar (ortamsal ve grev) ayn kalmtr. Ayrca, kaynaklar aras korelasyonlarn, tm boyut deerlendirmelerinin ortalamasn yanstan ortalama performans puan kullanlarak hesapland dnldnde de, boyut bazndaki baz farkllamalarn gzlenen dk korelasyonlardan tamamen sorumlu olmayaca grlmektedir. Farkl deerlendirme kaynaklarnn ayn kiiler iin yaptklar toplam performans puan deerlendirmeleri zerinde yaplan analizler sonunda, tm kaynaklarn cmerte, yani lein olumlu ucunu kullanarak deerlendirme yapt tespit edilmitir. Kaynak karlatrmalar sonunda, en cmerte yaplan deerlendirmelerin z ve alma arkada deerlendirmeleri olduu, grece en dk deerlendirmelerin ise yneticiler tarafndan verildii gzlenmitir. ki ynetici grubunun yapt deerlendirmeler karlatrldnda ise, st yneticilerin, ilk amirlerden daha yksek deerlendirme yapma eiliminde olduu grlmtr. Gzlenen bu farkllklara ramen, vurgulanmas gereken nemli bir nokta, tm deerlendirici gruplarnn cmertlik etkisine maruz olduklardr. alma, aratrma amal olmasna ve katlmclar bu konuda ayrntl bir ekilde bilgilendirilmelerine ramen, cmertlik etkisi yaygn bir ekilde tm deerlendirmelerde gzlenmitir. Gzlenen cmertlik etkisini ksmen de olsa, allan kamu kurumunun deerlendirme kltr zerinde muhtemelen kuvvetli bir etkiye sahip olan ulusal kltrmzle aklamak mmkn olabilir. Fletcher ve Perry (2001), bizimki gibi topluluku kltrlerde (bkz., Hofstede, 1980, 1991) olumsuz geribildirimden kanmann daha yksek olduunu ve deerlendirmelerin daha cmerte yapldn gsteren grgl almalara iaret etmektedir. Kltrn topluluku zelliinin giderek azaldn vurgulayan aratrmaclar olsa da (rn., Gregenli 1995, 1997), yaadmz

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

37

kltrde geleneksel ve topluluku elerin hala belirgin olduunu gsteren yakn zamanda yaplm almalar da bulunmaktadr (rn., Aycan ve ark., 2000; Schwartz, akt., Triandis ve Bhawuk, 1997). Bu eilimin, bu almada yer alan kamu kuruluu gibi kurumlarda, zel sektr kurumlarndan daha belirgin olmas da muhtemeldir. Bu deerlendirmeyle tutarl olarak, Olmez, Smer ve Soysal (2004), Trkiyede kamu kurumlarnn, zel sektr kurumlarna ve Trkiyede faaliyet gsteren ok uluslu kurumlara oranla, daha geleneksel, bireycilii karakterize eden rasyonellikten grece uzak bir alma anlayn benimsediini bulmulardr. Ynetici ve alma arkada deerlendirmeleriyle yksek korelasyon gstermelerine karn, st ynetici deerlendirmeleri ilk amir deerlendirmelerinden daha yksek olma eilimindedir. Bu durumda, ilk amire kyasla alan hakknda grece daha az bilgi sahibi olmas beklenen st yneticilerin, deerlendirme sistemlerinde yer almamalarnn byk bir eksiklik olmayaca sylenebilir. Hale etkisine ynelik analiz sonularna gre, z deerlendirmelerinin hale etkisine daha az maruz olduu sylenebilir. st ynetici, alma arkada ve ast deerlendirmelerinin ise hale etkisine zellikle maruz olduklar gzlenmitir. Kiilerin, kendi performanslarnn farkl ynlerinin, performans dardan gzleyen ve deerlendiren kiilerden daha fazla farknda olduklar, dier bir deyile z deerlendirmelerinin hale etkisine daha az ak olduu yaznda da (rn., Frone, Adams, Rice ve Instone-Noonan, 1986) rapor edilmektedir. Geleneksel olmayan kaynaklara ynelik tutumlar incelendiinde alma arkadalarnn deerlendirme sisteminde yer almasna ynelik genel olarak temkinli bir tutumun olduu sylenebilir. alma arkadalarn deerlendirmeyi ne ok kolay ne de ok zor bulan katlmclar, bu deerlendirmelerin sadece geribildirim amal kullanlmasna (idari kararlara esas tekil edecek ekilde deil) ynelik grece olumlu bir yaklam sergilemilerdir. Ayrca alma arkada deerlendirmelerinin i ilikile-

rine zarar verebilecei grne katlm da orta dzeye yakndr. Ast deerlendirmesi yapan katlmclarn ast deerlendirmesine ynelik tepkileri incelendiinde, ncelikle bu deerlendirmelere ynelik olduka olumlu bir atmosferin olduu ve amirlerini deerlendirmenin katlmclara ok zor gelmedii grlmtr. Ast deerlendirmelerinin kiilerin kimlii gizli kalmak kouluyla deerlendirilen yneticilere iletilmesine scak bakmakla birlikte, katlmclar astlarn yaptklar deerlendirmelerin sadece geribildirim amacyla snrlandrlmasna da olumlu yaklamamladr. Bu bulgu, ast deerlendirmelerinin, geribildirimin tesinde idari karar verme srecinde de yer almasnn beklendii eklinde yorumlanabilir. Katlmclar ast deerlendirmelerinin astst ilikisini olumsuz etkileyecei grne genel olarak fazla katlmamlardr. Son olarak, z deerlendirmelerine katlan katlmclar her ne kadar kendi yaptklar z deerlendirmesinde performanslarn olduka gereki bir ekilde yansttklarn belirtseler de, genel olarak kiilerin kendilerini yansz deerlendirebilecei grne orta dzeyde katlmlardr. Ayrca, z deerlendirmelerinin, zellikle ynetici deerlendirmelerine kyasla daha cmerte olaca da kabul gren bir grtr. almann bulgular bir btn olarak ele alndnda, geleneksel olmayan deerlendirici gruplarndan alma arkadalarnn salad deerlendirmelerin psikometrik kalitesinin ok yksek olmad; kullanclarn da bu kaynan kullanlmasna ynelik dikkatli yaklatklar grlmektedir. alma arkadalarnn ayn kii iin yaptklar deerlendirmeler iin hesaplanan korelasyonlara ynelik betimleyici istatistikler incelendiinde, baz alma arkada gruplarnn deerlendirmelerinde ar derecede hemfikir olduklar, bazlarnn yaptklar deerlendirmeler arasndaki korelasyonun ise eksi deer tad grlmtr. Bu bulgu, alma arkada deerlendirmelerinde, deerlendirilen kiinin performans dndaki faktrlerin rol oynama olas-

TRK PSKOLOJ DERGS

38

H. C. SMER R. BLG

lnn yksek olduunu gstermektedir. Baz gruplarn ok yksek dzeyde hemfikir olmas dierlerinin ise son derece dk dzeylerde hemfikir olmas, i ortamnda olumas muhtemel igrup, d-grup dinamikleri ile aklanabilir. Bizimki gibi, grece topluluku ve iliki ynelimli kltrlerde, alma arkadalarnn birbirlerini deerlendirmesinde, bireyci kltrlerdekinden farkl srelerin devreye girecei beklenebilir. almalar, grubun ahenginin bozulmas tehlikesi nedeniyle topluluku kltrlerde alma arkadalarnn deerlendirme srecinde yer almasna scak baklmadn gstermektedir (Entrekin ve Chung, 2001; Huo ve Von Glinow, 1995). Aycan (2000) da, topluluku kltrlerde, kayrmacln ve sadakatin, alma arkadalarna ve yneticilere olumsuz deerlendirme vermeyi engelleyeceini belirtmektedir. Bununla beraber, ast deerlendirmelerinin hem psikometrik adan hem de kullanc tepkileri dikkate alndnda daha kullanlabilir olduu grlmtr. Aslnda, ulusal kltrel zelliklerimiz dnldnde astlarn performans deerlendirme srecine dahil edilmelerinin problemli olaca beklenebilir. G mesafesinin bu denli yksek olduu (Aycan ve ark., 2000; Hofstede, 1980, 1991) bir kltrde astlarn deerlendiren pozisyonunda olmasnn, hem kendileri hem de deerlendirilen yneticiler tarafndan iselletirilmesinin olduka g bir durum olaca, bu durumun rgtlerdeki g dengelerini bozabilecei ileri srlebilir. Bununla beraber, bu almann bulgular bu beklentileri desteklememektedir. Astlarn, alma arkadalarndan farkl olarak, ayn ynetici iin grece tutarl deerlendirmeler salayabildii grlmtr. Cmertlik etkisine maruz olduu bilinen z deerlendirmelerinin (Thornton, 1980), bu almada da olduka cmerte yapld grlmtr. Bu nedenle de, st ynetici deerlendirmeleri ile birlikte, z deerlendirmelerinin herhangi bir deerlendirme sistemi iinde salayaca fayda ok dikkatli deerlendirilmelidir.

Bu almaya ynelik olarak tartlmas gereken nemli bir konu, farkl kaynaklarn ayn boyutlar zerinde deerlendirme yapmam olmalardr. almada, z, amir, ast ya da alma arkada olarak deerlendirme yapan kiiler, daha ok bilgi sahibi olacaklar tespit edilmi olan (yaplan n almalar sonunda ve de ilgili yazn temelinde) boyutlarda deerlendirme yapmlardr. Makalenin n deerlendirmesini yapan deerli bir hakemin de belirttii gibi, zellikle farkl kaynaklarn yaptklar deerlendirmelerin karlatrld durumlarda, deerlendirmelerde kullanlan boyutlarn say ve ierik olarak birbirinden farkl olmasnn bir sorun yarataca dnlebilir. Bununla birlikte, bu almada, farkl deerlendirme boyutlarnn kullanlm olmasnn yaplan form/kaynak karlatrmalar iin byk bir sorun yaratmadna iaret eden tespitler vardr. ncelikle, boyut saylar ve ierikler farkl olsa bile, tm kaynaklar hem ortamsal hem de grev performans boyutlarnda (farkl saylarda olsa da) deerlendirme yapmlardr. Ayrca, tm kaynaklarn yapt deerlendirmelerde, deerlendirme rnts boyutlar arasnda ok farkllk gstermemitir. Dier bir deyile, yaplan tm deerlendirmelerde (z deerlendirmelerinde grece az olmak kouluyla), hale etkisinin de bir gstergesi olarak, boyutlar aras korelasyonlarn olduka yksek olduu gzlenmitir. Tm bu nedenlerle, farkl kaynaklarn yaptklar deerlendirmeleri karlatrrken ortalama performans puannn kullanlm olmasnn bu almada ciddi bir problem yaratmad sylenebilir. Bu almann nemli bir kstll, ok kaynakl deerlendirme sisteminin tam bir uygulamasnn yaplamam olmasdr. almada, farkl deerlendirici gruplarndan deerlendirmeler alnm, ancak ok kaynakl deerlendirmenin en nemli unsuru olan geribildirim, srece dahil edilememitir. Sonu olarak, bu alma ekilsel olarak ok kaynakl deerlendirmenin baz lme problemleriyle birlikte mmkn olabileceini gstermitir. Ancak gerek anlamda ok kaynakl bir deerlendirme sisteminin iletilebilmesi iin, tm kaynak-

HAZRAN 2006, CLT 21, SAYI 57

GELENEKSEL OLMAYAN DEERLENDRC KAYNAKLARI

39

lardan elde edilen deerlendirmelerin ynetici ya da bir danman tarafndan kiiye, performans gelitirme amal, geribildiriminin yaplmas gerekmektedir. Deerlendirme srecinde rol oynayaca ileri srlen kltrel faktrlerin, ok daha youn bir ekilde geribildirim srecini etkileyecei sylenebilir. De Luque ve Sommer (2000), performansa ynelik geribildirim arama davrannda etkili olmas muhtemel gizil kltrel yaplardan bahsetmektedir. Bu yazarlara gre, rnein, bizimki gibi grece geleneksel kltrlerde dorudan deil, dolayl yollardan geribildirim arama ve alma daha ok tercih edilebilmektedir. Trk kltrnn, De Luque ve Sommern btncl kltr tanmyla tutarl olan iliki odakl yn, yaam alanlar arasnda (i ve zel yaant gibi) belirgin ayrmlar yaplmasn engellemektedir. Bu da zellikle olumsuz deerlendirmelerin bireysel alglanmas ve i d ilikilere tanmas, grup ahenginin bozulmas ve de alann motivasyonunun azalmas ihtimalini artrmaktadr. Davis (1998) de, Trk kltr gibi iliki ynelimli kltrlerde insanlarn zellikle olumsuz performans geribildirimine ani duygusal tepkiler gstermelerinin beklendik bir davran olacan belirtmektedir. Bununla birlikte, vurgulanmas gereken nemli bir nokta, kltr temelli bu beklentilerin bir ksmnn (belki de ounluunun) Trkiyede yaplan uygulamalarda desteklenmeyebileceidir. Nitekim, sunulan almadaki ast deerlendirmelerine ynelik bulgular, var olan kuramsal bilgilerle ok uyumamaktadr. Bu nedenle, ok kaynakl deerlendirme sistemlerinin ileyip ilemeyeceini daha salkl deerlendirebilmek iin farkl sektrlerde, farkl rneklemler kullanlarak yaplan ve ok kaynakl deerlendirme sistemlerinin btn unsurlaryla snand grgl almalara ciddi bir ekilde ihtiya duyulmaktadr. Kaynaka
Antonioni, D. (1996). Designing an effective 360-degree appraisal feedback process. Organizational Dynamics, 25, 24-38. Atkins, P. W. B., & Wood, R. E. (2002). Self versus others ratings as predictors of assessment center ratings: Validation evidence for 360-degree feedback programs. Personnel Psychology, 55, 871-904.

Atwater, L., Roush, P., & Fischtal, A. (1995). The influence of upward feedback on self- and follower ratings of leadership. Personnel Psychology, 48, 35-59. Aycan, Z. (2000). Cross-cultural industrial and organizational psychology: Contributions, past developments, and future directions. Journal of Cross-Cultural Psychology, 31(1), 110-128. Aycan, Z., Kanungo, R. N., Mendonca, M., Yu, K., Deller, J., Stahl, G., & Kurshid, A. (2000). Impact of culture on human resource management practices: A 10-country comparison. Applied Psychology: An International Review, 49(1), 192-221. Borman, W. C. (1997). 360 ratings: An analysis of assumptions and a research agenda for evaluating their validity. Human Resource Management Review, 7(3), 299-315. Bracken, D. W., Timmreck, C. W., Fleenor, J. W., & Summers, L. (2001). 360 feedback from another angle. Human Resource Management, 40(1), 3-20. Conway, J. M. & Huffcutt, A. I. (1997). Psychometric properties of multisource performance ratings: A meta-analysis of subordinate, supervisor, peer, and self-ratings. Human Performance, 10(4), 331-360. Dalessio, A. T. (1998). Using multisource feedback for employee development and personnel decisions. In J. W. Smither (Ed.), Performance appraisal: State of the art in practice (pp. 278-330). San Francisco: Jossey-Bass Inc. Publishers. Davis, D. D. (1998). International performance measurement and management. In J. W. Smither (Ed.), Performance appraisal: State of the art in practice (pp. 95-131). San Francisco: Jossey-Bass Inc. Publishers. De Luque, M. F. S., & Sommer, S. M. (2000). The impact of culture on feedback-seeking behavior: An integrated model and propositions. Academy of Management Review, 25(4), 829-849. Entrekin, L., & Chung, Y. W. (2001). Attitudes towards different sources of executive appraisal: A comparison of Hong Kong Chinese and American managers in Hong Kong. International Journal of Human Resource Management, 12(6), 965-987. Fletcher, C., & Perry, E. L. (2001). Performance appraisal and feedback: A consideration of national culture and a review of contemporary research and future trends. In N. Anderson, D. S. Ones, H. Kepir-Sinangil, & C. Viswesvaran (Eds.), Handbook of industrial, work, and organizational psychology: Vol. 1, pp. 128-144, Sage.

TRK PSKOLOJ DERGS

40

H. C. SMER R. BLG

Frone, M. R., Adams, J., Rice, R. W., & Instone-Noonan, D. (1986). Halo error: A field study comparison of self- and subordinate evaluations of leadership process and leader effectiveness. Personality & Social Psychology Bulletin, 12(4), 454-461. Garavan, T. N., Morley, M., & Flynn, M. (1997). 360 degree feedback: Its role in employee development. Journal of Management Development, 16(2/3), 134. Garson, D. (2005). Reliability analysis: Key concepts and terms. www2.chass.ncsu.edu/garson/pa765/reliab.htm# intraclass Gregenli, M. (1995). Kltrmz asndan bireyciliktoplulukuluk eilimleri: Bir balang almas. Trk Psikoloji Dergisi, 10(35), 1-14. Gregenli, M. (1997). Individualist-collectivist tendencies in a Turkish sample. Journal of Cross-Cultural Psychology, 28(6), 787-794. Harris, M. M., & Schaubroeck, J. (1988). A meta-analysis of self-supervisor, self-peer, and peer-supervisor ratings. Personnel Psychology, 41, 43-62. Hofstede, G. (1980). Cultures consequences: International differences in work-related values. Thousands Oaks, CA: Sage. Hofstede, G. H. (1991). Cultures Consequences: Comparing values, behaviors, institutions, and organizations across nations (2nd edition). Thousand Oaks, CA: Sage Publications. Huo, Y. P., & Von Glinow, M. A. (1995). On transplanting human resource practices to China: A culture driven approach. International Journal of Manpower, 16, 3-15. Levy, P. E., & Williams, J. R. (2004). The social context of performance appraisal: A review and framework for the future. Journal of Management, 30(6), 881-905. London, M., & Beatty, R. W. (1993). 360-degree feedback as a competitive advantage. Human Resource Management, 32, 353-372. London, M., & Smither, J. W. (1995). Can multi-source feedback change perceptions of goal accomplishment, self-evaluations, and performance-related outcomes? Theory-based applications and directions for research. Personnel Psychology, 48, 803-839. Murphy, K. R., & Cleveland, J. N. (1995). Understanding performance appraisal: Social, organizational, and goal-based perspectives. Thousand Oaks, CA: Sage Publications.

Olmez, A. E., Sumer, H. C., Soysal, M. (2004). Organizational rationality in public, private and multinational firms in Turkey. Information Knowledge Systems Management, 4, 107-118. Ramamoorthy, N., & Carroll, S. J. (1998). Individualism/ collectivism orientations and reactions toward alternative human resource management practices. Human Relations, 51, 571-588. Seifert, C. F., Yukl, G., & McDonald, R. A. (2003). Effects of multisource feedback and a feedback facilitator on the influence behavior of managers toward subordinates. Journal of Applied Psychology, 88(3), 561-569. Shrout, P.E., and J. L. Fleiss (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86, 420-428. Szer, S. (2004). An evaluation of current human resource management practices in the Turkish private sector. Unpublished manuscript. Middle East Technical University, Ankara, December, 2004. Smer, H. C. (2000). Performans deerlendirmesine tarihsel bir bak ve kltrel bir yaklam. Z. Aycan (Ed.). Akademisyenler ve profesyoneller gzyle Trkiyede ynetim, liderlik ve insan kaynaklar uygulamalar. Ankara: Trk Psikoloji Dernei Yaynlar. Thornton, G. C., III. (1980). Psychometric properties of self-appraisals of job performance. Personnel Psychology, 33, 263-271. Triandis, H. C., & Bhawuk, D. P. S. (1997). Culture theory and the meaning of relatedness. In P. C. Earley & M. Erez (Eds.), New perspectives on international industrial/organizational psychology (pp. 13-52). San Francisco: Jossey-Bass Inc. Publishers. Tsui, A. S., & Ohlott, P. (1988). Multiple assessment of managerial effectiveness: Interrater agreement and consensus in effectiveness models. Personnel Psychology, 41, 779-803. Westerman, J. W., & Rosse, J. G. (1997). Reducing the threat of rater nonparticipation in 360-degree feedback systems: An exploratory examination of antecedents to participation in upward ratings. Group & Organization Management, 22(2), 288-309. Yaffee, R. A. (1998). Enhancement of reliability analysis: Application of intraclass correlations with SPSS/Windows v.8. www.nyu.edu/its/socsci/Docs/intracls.html.

HAZRAN 2006, CLT 21, SAYI 57

Trk Psikoloji Dergisi 2006, 21 (57), 41-43

Summary Use of Nontraditional Rating Sources in Performance Appraisals

H. Canan Smer* Reyhan Bilgi Middle East Technical University

Multi-source feedback systems, or 360 degree feedback systems, have been one of the major developments in the area of performance management over the last two decades (Levy & Williams, 2004). The idea behind multi-source systems is the belief that performance evaluations obtained from multiple sources (i.e., supervisors, peers, subordinates, self, and, if possible, customers) are likely to be more comprehensive and reliable than those provided by a single rating source (i.e., immediate supervisor) (Antonioni, 1996; Bracken, Timmreck, Fleenor & Summers, 2001; Dalessio, 1998; London & Smither, 1995). Although multi-source feedback systems are increasingly being used for administrative purposes (Antonioni, 1996), the original idea behind such systems is to contribute to the development of employees though constructive feedback coming from multiple sources. Performance information available to each rating source is not necessarily the same. While, for example, supervisors are more likely to observe task performance of the ratees, peers are more likely to observe contextual performance. This is why, high correlations between ratings provided by different sources are not expected. Accordingly, studies examining inter-source rating correlations report relatively low correlations between ratings provided by different source pairs (e.g., Conway & Huffcutt, 1997; Harris & Schaubroeck, 1988).

Like many other management theories, models, and applications originating from North America, multi-source feedback systems have been welcome by other countries including Turkey. A recent study on the range and width of human resources management practices in Turkey indicated that there was a positive attitude toward multi-source appraisal in private sector organizations (Szer, 2004). On the other hand, there are potential problems associated with the application of management systems and theories originating from North America in a totally different cultural context (Aycan, 2000; Aycan, Kanungo, Mendonca, Yu, Deller, Stahl & Kurshid, 2000; De Luque & Sommer, 2000; Fletcher & Perry, 2001; Levy & Williams, 2004; Ramamoorthy & Carroll, 1998; Smer, 2000). We believe that despite the observed positive attitudes toward multi-source feedback systems in Turkey, we need to evaluate the extent to which such systems fit in our cultural context. Hence, the purpose of this study was to evaluate the feasibility of a multi-source feedback system in a public sector organization and, more specifically, to examine performance appraisals provided by nontraditional rating sources (i.e., subordinates, peers, and self) both psychometrically and on the basis of user-reactions.

*Address for Correspondence: H. Canan Smer, Orta Dou Teknik niversitesi, Psikoloji Blm 06531, Ankara, Turkey. E-mail: hcanan@metu.edu.tr Note from authors: Opinions expressed in this manuscript are those of the authors and do not necessarily reflect the views of the organization in which the study was conducted.

42

H. C. SMER R. BLG

Method

Sample
The sample of the study was composed of lower, middle, or upper-middle managers of a public sector organization. The organization in which the study was carried out was a traditional, vertically organized, large public sector organization in which the power distance was very much emphasized. Participants were selected randomly to represent the managerial levels included in the study. Sample sizes (in terms of the number of raters and ratees) varied depending on the nature of the analyses conducted. However, the basic samples used for each rater-ratee combination were as follows: 251 immediate supervisors1 (rating 785 subordinates), 29 upper level supervisors (rating 101 subordinates), 302 peers (rating 345 peers, yielding 1638 ratings), 663 subordinates (rating 118 immediate supervisors). Furthermore, 159 managers provided self-ratings. The age of the participants ranged from 23 to 55 years. In all sub-samples, the males constituted > %90 of the sample.

through a multi-stage approach, involving examination of job descriptions and performance evaluation forms in use; focus groups with subject matter experts; administration of questionnaires (N > 3000) to potential users to identify relevant dimensions. In all forms, ratings are conducted on a 5-point Likert type scale (1 = Poor Performance; 5 = Exceptional Performance).

User Reactions Questionnaire (URQ). The URQ was filled out by participants providing self (4 items), peer (9 items), and/or subordinate (9 items) ratings to evaluate user reactions toward multi-source performance evaluations in general and toward the use of nontraditional rating sources in particular. Items of the URQ are rated on a 5point Likert type scale (1 = Strongly Disagree; 5 = Strongly Agree). Procedure
Participants representing different rating sources provided performance ratings first and then they filled out the URG. Participants were informed that the evaluations they would provide were to be used for research purposes only. User reactions provided by immediate and upper level supervisors were not included in the present analyses. Results and Discussion Consistent with the purpose of the study, two groups of analyses were conducted. First, ratings provided by different rating sources were compared psychometrically. Second, user reactions concerning the use of nontraditional rating sources were analyzed.

Measures Rating forms. Five different rating forms were used in the study (forms used by immediate supervisors, upper level supervisors, self, peers, and subordinates). Forms used by immediate supervisors, upper level supervisors, and self included the same 18 performance dimensions representing both task (e.g., Quality of Work) and contextual performance (e.g., Agreeableness) dimensions differing only in instructions. Forms used in peer and subordinate ratings included six and 12 dimensions, respectively. Majority (but not all) of dimensions included in both peer and subordinate rating forms tapped into contextual performance domain. Performance dimensions included in all rating forms were developed
1

Psychometric Qualities of the Ratings Provided by Different Rating Sources

Mean intraclass correlation coefficients (i.e., inter-rater reliabilities) for subordinate evaluations was found to be higher (.49, sd =. 37, median =. 58) than that for peers (.28, sd = .44, median = .38), and

Consistent with the purpose of this study, in the present analyses only a subset of ratings obtained from immediate supervisors has been used.

HAZRAN 2006, CLT 21, SAYI 57

NONTRADITIONAL RATING SOURCES

43

also higher than those reported by Conway and Huffcutt (1997) in their meta analysis. Relatively high levels of agreement observed among subordinates rating the same supervisor can be interpreted as an evidence for relative soundness of subordinates as a rating source in the present study. The pattern of correlations between ratings provided by different source pairs (i.e., supervisorpeer = .31, self-peer = .30, subordinate-supervisor = .26, self- supervisor = .17) was similar to those reported in the literature (Atkins & Wood, 2002; Conway & Huffcutt, 1997), with the exception of the correlation between subordinate-peer ratings (.05). Ratings provided by all sources were prone to leniency. Yet, results of a series of ANOVAs on the average of dimensional ratings indicated that while self and peer ratings were most prone to leniency, immediate supervisors (not upper supervisors) ratings were relatively less prone to this bias. The observed tendency to provide lenient ratings can be explained by the cultural context in which the system was tried. Fletcher and Perry (2001) refer to studies suggesting a proneness to leniency and an avoidance from negative feedback in cultures characterized by collectivism, such as Turkey (see Hofstede, 1980, 1991). Finally, analyses of interdimensional correlations indicated that self-ratings were less open to halo than the ratings provided by, especially, peers, upper level supervisors, and subordinates.

subordinates identity was kept confidential and the ratings were not used for feedback purposes only, suggesting that there was an expectation concerning the use of subordinate evaluations in administrative decision making process as well. Overall, self-ratings were not perceived to be credible. Participants thought that although they themselves provided objective self-ratings, others would not be able to evaluate themselves objectively. Taken together, findings of this study suggest that among the nontraditional rating sources, peers seem to be the most problematic one. In addition to problems associated with psychometric qualities, users were not very optimistic about and welcoming towards peer ratings. This finding is consistent with the literature which suggests that peer ratings are not received enthusiastically in collectivistically oriented cultures because of the potential threats against workgroup harmony (Entrekin & Chung, 2001; Huo & Von Glinow, 1995). Interestingly, however, subordinate ratings were found to be both psychometrically less deficient and have more positive user reactions. This finding may look inconsistent with the Turkish context, which is characterized by relatively high power distance (Aycan et al., 2000; Hofstede, 1980, 1991). One may well argue that involving subordinates in performance evaluation process could be something difficult to accept by both subordinates and supervisors since it is very much against the nature of how things are done in most public sector organizations in Turkey. Yet, findings of this study indicated the opposite. Subordinates do provide more reliable ratings, and users seem more ready for subordinate ratings than they are for peer ratings. An important limitation of the present study is that it failed to incorporate a test of the feedback component of a multi-source evaluation system. Future studies need to be conducted to fully test the feasibility of a multi-source system in a range of organizations in the Turkish context.

Analyses of User Reactions toward Nontraditional Ratings Sources

In general, users were more cautious toward the use of peers in a multi-source performance appraisal system. Although, they were not negative toward the use of peer ratings for feedback (but not for administrative) purposes, they thought that involving peers in performance evaluation could somewhat harm workplace relationships. Compared to peer ratings, users reacted more positively to subordinate evaluations. They were especially positive as long as the rating

TRK PSKOLOJ DERGS

Reproduced with permission of the copyright owner. Further reproduction prohibited without permission.