K THUT THU THP THNG TIN, MINH CHNG1 I.

K thut nghin cu vn bn, h s trong t nh gi Nghin cu vn bn/h s l mt trong nhng phng php thu thp thng tin quan trng nht thng c dng trong t nh gi cht lng. 1.1. nh ngha Nghin cu vn bn/h s l xem xt c h thng cc ti liu di dng vn bn vit nh cc quy nh, k hoch, bin bn, bo co, h s, s sch, gio trnh, cng mn hc nhm cung cp thng tin cho qu trnh t nh gi (v d: t nh gi cht lng chng trnh o to, cht lng gio dc ca trng theo cc tiu ch, tiu chun,). Nghin cu, phn tch vn bn/h s c thc hin nhm phn loi, sp xp, nh gi v la chn cc thng tin trong vn bn cho ph hp vi ni hm cc tiu ch trch dn, bnh lun phc v mc ch t nh gi. 1.2. u im v nhng hn ch/im cn lu Gip xc nh nhng vn bn no c ni dung ph hp c coi l minh chng tt cho mt tiu ch no , Vn bn, h s ch xc nhn s tn ti/s c mt, cha chc l minh chng, xc nh mt vn bn no nh l minh chng cn xem xt vn bn ph hp p ng n u cc yu cu ca tng tiu ch Cn c s thm nh ca nhm cn b chuyn trch, chu trch nhim thu thp minh chng, vit bo co tiu ch v s thm nh nh gi ca cc chuyn gia v kim nh cht lng, D b lm dng nh qu ch trng n h s vn bn m khng xem xt thc t. 1.3. Cc k thut xem xt vn bn/h s Vic nghin cu phn tch vn bn h s xc nh liu n c th l mt minh chng tt cho mt tiu ch no hay khng? Cn bm st ni hm tng tiu ch, so snh vi ni dung cc ch bo ca tng tiu ch, cc t kho ch ni hm ca tiu ch... Nhng cu hi hng dn xem xt phn tch vn bn/h s Khi tip xc vi mt vn bn ln u tin trong qu trnh la chn minh chng cho bo co t nh gi, cc nhm cng tc cn t t ra v tr li nhng cu hi sau y:
1

Ngun: Ti liu Hng dn t nh gi cht lng chng trnh o to gio vin THPT trnh i hc ca D n pht trin gio vin THPT v TCCN

135

y l loi vn bn g? Ai pht hnh? Vn bn c vit cho i tng no? Tnh hiu lc ca vn bn ny?

Vn bn/ti liu ny c ni dung ph hp, p ng ni hm 1 tiu ch no/ nhng tiu ch no? tiu ch? sao? Vn bn/ti liu ny p ng ni dung c th no trong ni hm ca Vn bn ny c th l minh chng tt cho nhng tiu ch no? V Cc bc tin hnh

Bc 1: Xc nh tn vn bn, loi ti liu/h s cn thu thp? Ni c th thu thp. Bc 2: c ni dung vn bn, xc nh mc tin cy ca vn bn, tm cc cu/phn/ni dung cn thit p ng cc yu cu nu trong ni hm ca tng tiu ch ghi nhng nhn xt nhng ch quan trng. Bc 3: Thm nh li vn bn, xc nh mc tin cy, xc nh cc on ph hp trch dn, bnh lun. Bc 4: Trao i trong nhm, xc nh liu vn bn c phi l minh chng tt, c mu thun vi cc ngun minh chng khc? Phng php ny ch thc s pht huy hiu qu khi c kt hp vi cc phng php khc nh phng vn c nhn/ tho lun nhm v quan st. II. K thut quan st trong t nh gi Quan st l mt trong nhng phng php thu thp thng tin quan trng thng c dng trong vic nh gi cc hot ng o to, t nh gi ca mt n v. 2.1. nh ngha Quan st l s ving thm hin trng, xem xt tn mt, c s vt cht, iu kin, mi trng, s tng tc hoc mt hot ng c th no . V d, quan st xem xt c s vt cht, tin nghi khu k tc x sinh vin, d gi mt tit hc, thm th vin, thm nh n sinh vin, thm phng thc hnh, phng th nghim, phng my tnh 2.2. Cc loi quan st Theo Creswell (2000), quan st c th chia thnh 4 loi: ph, Tham gia hon ton - vai tr ngi quan st nghin cu c gi kn, Quan st ng thi tham gia - vai tr quan st l chnh, tham gia ch l Tham gia ng thi l quan st - tham gia l chnh, quan st l th yu, 136

Quan st hon ton - ngi nghin cu quan st m khng tham gia. Gip ngi quan st tn mt chng kin hiu bit tt hn v bi cnh,

2.3. u im v nhng hn ch Quan st gip thm tra li cc s liu, cung cp nhng thng tin, d liu in hnh lin quan n tnh hung, Quan st cng gip thm tra li minh chng/chng c gip hiu r tnh trng, hiu qu hot ng m cc phng php khc khng cho kt qu tin cy, D mang tnh phin din, ch quan cao v d b can thip. Cc bc tin hnh: Bc 1: Ln k hoch Xc nh mc ch, i tng quan st, Xc nh cc ni dung, phm vi quan st, Xc nh cc hot ng c th cn quan st, Xc nh cc y t, cc pht hin cn tm, cn thm tra 2.4. K thut quan st

Bc 2: Thit lp cc tiu ch v chun b cc cng c h tr quan st Thit lp cc tiu ch quan st, cc mc , cc biu hin c th quan st cch nh gi, a ra cc tiu ch khi quan st cho tng ni dung quan st c th, Xy dng b cng c dng cho quan st (v d: Xy dng cc phiu quan st, bng kim),

Giy, bt, thit b ghi m, ghi hnh nh my nh, my quay, Phiu ghi cc kt qu quan st. Bc 3: Xem xt hin trng v ghi chp thng tin Ngi quan st ghi chp li nhng thng tin chnh vo phiu quan st, Ghi ch nhng pht hin ca mnh trong qu trnh quan st,

Xem xt cc ti liu, trang thit b v d: lch hot ng hng tun, s nht k s dng, bin bn bo dng thit b Xem cc gp ca ging vin v hc sinh v phng thc hnh Trc tip kim tra: thao tc tht trn thit b xc nh cht lng trang thit b Bc 4: X l cc thng tin trong qu trnh quan st Tm lc cc thng tin, So snh, i chiu vi cc ngun thng tin, d liu khc,

137

Lu cc thng tin tri chiu, cc pht hin mi.

Bc 5: Trao i trong nhm, mc ch tm nhng bng chng, loi b cc mu thun. Tm kim cc bng chng, minh chng xc nhn hay bc b mt nhn nh no ,

a ra cc cu hi, nhn xt trao i trong nhm tham gia quan st, Pht hin cc mu thun, tm hiu cc l do, nguyn nhn, Thng nht cc nhn nh. Thc hnh V d: Quan st cch bi tr lp hc/d gi ging/d gi xemina. Cch t chc gi dy/ gi xemina, S chun b ca ging vin cho gi dy, Cc vt liu h tr bi ging, Tng tc gia ging vin v sinh vin, Phng php phn hi, nh gi, S tham gia tch cc, ch ng/th ng ca sinh vin?

Phng php ny ch thc s pht huy hiu qu khi c kt hp vi cc phng php khc nh phng vn c nhn/nhm v nghin cu h s. III. K thut phng vn trong t nh gi Phng vn l mt trong nhng phng php thu thp thng tin rt quan trng trong t nh gi cht lng gio dc ca nh trng (v d: phng vn ging vin v sinh vin v hiu qu mn hc, v mc ph hp, cp nht ca chng trnh o to...). 3.1. nh ngha Phng vn nh tnh l s dng nhng cu hi m thu thp thng tin t cc c nhn/nhm, nhm thm nh hoc thu thp thng tin, minh chng cho qu trnh t nh gi (v d: phng vn hiu trng v k hoch chin lc ca trng; phng vn trng phng t chc v thit k chng trnh o to, quy trnh tuyn la gio vin, nh gi ging vin). 3.2. u im v nhng hn ch Phng vn l mt phng php rt c ch v c dng nhiu trong nh gi, kim nh cht lng. i khi y l phng php duy nht thu thp thng tin, hiu su quan im ca mt c nhn. Tuy nhin, phng php ny d mang tnh ch quan, d phin din (nu chn i tng phng vn khng ng), khng thc hin c vi nhiu i tng nh iu tra bng bng hi.

138

3.3. Quy trnh phng vn Chun b phng vn Chn i tng phng vn, hnh thc phng vn, Xc nh mc tiu, ni dung (nhng vn cn lm r) phng vn, Chun b cc cu hi phng vn, Chun b a im, thi gian phng vn, Chun b cc cng c h tr (v d: my ghi m). Tin hnh phng vn

Khi ng (gii thiu/lm quen): ni r mc ch phng vn, khng nh cc thng tin c gi b mt, ch uc dng cho mc ch nghin cu lm an lng ngi c phng vn (xem thm cc bc tin hnh phng vn), Phng vn: tp trung vo nhng cu hi chnh khai thc thng tin. Ghi tm tt cc thng tin, ni li cc tm tt ngi c phng vn khng nh mc chnh xc ca cc thng tin, Tm lc cc thng tin chnh cn thit, Khai thc su cc thng tin c lin quan lm r vn , Chnh xc ho cc thng tin, Kt thc phng vn. Sau phng vn

Kim tra li cc thng tin, pht hin nhng ch mu thun hoc khng r hi li; khng nh li cam kt gi b mt thng tin ngi c phng vn yn tm v nhng thng tin h cung cp. 3.4. Cc bc tin hnh phng vn Bc 1: Gii thiu bn thn v mc ch phng vn ( i tng yn tm cung cp thng tin); Khng nh vi i tng rng thng tin s c gi b mt (gii thch r cch lm); Bc 2: Gii thch r ngha, tm quan trng ca nhng thng tin chnh xc do i tng cung cp; Xin php ghi m hoc ghi chp thng tin; Hi cc cu hi lm quen; Bc 3: Hi cc cu hi thuc ni dung nghin cu (s dng bn cu hi m c sn v hi thm nhng cu hi ny sinh trong tnh hung khc thc thng tin chiu su); Bc 4: Kt thc phng vn, cm n, tr li cc cu hi ca ngi c phng vn. Ngi phng vn cn to c bu khng kh trao i ci m, ghi chp li cc thng tin v cn c s kim chng i chiu vi cc ngun thng tin khc. 139

Phng php ny ch thc s pht huy hiu qu khi c kt hp vi cc phng php khc nh nghin cu vn bn, kho st iu tra v quan st. IV. K thut tho lun nhm trong t nh gi Tho lun nhm l mt trong nhng phng php thu thp thng tin rt quan trng trong t nh gi chng trnh o to, t nh gi cht lng gio dc ca nh trng (chng hn, tho lun nhm ging vin v i mi phng php dy hc, tho lun nhm sinh vin v hiu qu mn hc, v mc ph hp, cp nht ca chng trnh o to...). 4.1. nh ngha Tho lun nhm l s dng nhng cu hi m thu thp thng tin t mt nhm i tng (ging vin/sinh vin/cn b qun l), nhm thm nh hoc thu thp thng tin, minh chng cho mt ni dung no , thuc tiu ch/tiu chun no trong qu trnh t nh gi (v d: tho lun vi nhm ging vin hoc sinh vin v i mi phng php dy v hc, v quy trnh, hnh thc kim tra nh gi cc mn hc). 4.2. u im v nhng hn ch Khi khng th tin hnh phng vn c nhn, hoc khng cn thit phi ly thng tin t c nhn, m ch cn thng tin t nhiu ngi, t cc nhm i tng khc nhau, th tho lun nhm l mt phng php rt c ch c dng nhiu trong nh gi, kim nh cht lng. i khi n l phng php duy nht thu thp nhanh chng cc thng tin, hiu quan im chung ca mt nhm i tng. Tuy nhin, phng php ny d mang tnh ch quan, d chu p lc ca mt vi c nhn chi phi nhm (nu chn nhm i tng phng vn khng tt), khng thc hin c phng vn su, th hin r quan im c nhn. 4.3. Quy trnh tho lun nhm Chun b tho lun Chn i tng tham gia tho lun nhm, Xc nh mc tiu, ni dung (nhng vn ) cn tho lun lm r, Chun b cc cu hi tho lun, Chun b a im, thi gian tho lun Chun b cc cng c h tr (v d: my ghi hnh/m). Tin hnh tho lun

Khi ng: gii thiu/lm quen, ni r mc ch, yu cu, nu vn , cu hi mi ngi trong nhm tho lun. Xin php c ghi chp/ghi m cn lm an lng nhng ngi tham gia tho lun, Tho lun chnh: tp trung vo nhng cu hi chnh khai thc thng tin, lng nghe ghi chp y kin pht biu ca nhng ngi tham gia. Ghi tm tt cc thng tin, tm lc cc quan im nhng ngi tham gia tho lun khng nh mc chnh xc ca cc thng tin (xem thm cc bc tin hnh tho lun nhm), 140

Tm lc cc thng tin chnh cn thit, Khai thc su cc thng tin c lin quan lm r vn , Chnh xc ho cc thng tin, Kt thc tho lun nhm. Sau tho lun

Kim tra li cc thng tin, pht hin nhng quan im chung, nhng kin/quan im khc bit gia cc nhm trong cuc tho lun khng nh li mc ch s dng thng tin ca cuc tho lun nhng ngi tham gia yn tm v nhng thng tin h cung cp. 4.4. Cc bc tin hnh tho lun nhm Bc 1: Gii thiu bn thn v mc ch ni dung, thi gian ( i tng yn tm cung cp thng tin); Khng nh vi i tng rng thng tin s c s dng vo mc ch g; Gii thch r ngha, tm quan trng ca cuc tho lun, kt qu mong mun (xin php ghi m hoc ghi chp thng tin). Bc 2: Nu vn , t cc cu hi thuc ni dung cn ta m/tho lun, tp trung vo vn chnh, trng tm cn tho lun. Ghi chp y kin tng c nhn, tm tt thnh quan im chung, trao i k v cc kin khc nhau. Bc 3: Kt thc ta m nhm, ngi ch ta cn cm n, tr li cc cu hi ca nhng ngi tham gia ta m. Cc phng php ny ch thc s pht huy hiu qu khi c kt hp vi cc phng php khc nh kho st, phng vn su v quan st. V. K thut thit k cc cng c iu tra iu tra kho st l mt trong nhng phng php thu thp thng tin rt quan trng. Chng hn, kho st hiu qu mn hc; s hi lng ca sinh vin v chng trnh o to... Phng php ny thng c dng nhiu trong t nh gi cht lng chng trnh o to, t nh gi hiu qu hot ng ca nh trng. 5.1. nh ngha iu tra kho st bng bng hi l thit lp mt h thng cc cu hi di dng vn bn vit v xc nh cc mc nh gi, th tc cho im, hng dn v cch x l phn tch s liu nhm cung cp thng tin ng tin cy cho qu trnh t nh gi (chng hn, kho st s hi lng ca sinh vin v chng trnh o to; kho st hiu qu mn hc so vi mc tiu). 5.2. u im v nhng hn ch Kho st l mt trong nhng phng php rt ph hp hi ngi khc v nhn thc, kin v quan im ca h v nhng vn no . Tuy nhin, trong trng hp bn mun bit ngi khc thc s c x hoc hnh ng nh th no th tin cy ca phng php ny khng cao.

141

5.3. Cc nguyn tc thit k cng c o Khi xy dng, thit k cng c o, d nhng hnh thc n gin nht nh phiu hi (questionaires), bng kim k (checklists) n nhng hnh thc phc tp hn nh cc thang o chun hay cc trc nghim chun (standardized tests), ngi nghin cu cn m bo cc c tnh thit k (mc tiu o lng, i tng, ni dung cn o, cc th tc cho im, hng dn...) v m bo cc c tnh o lng ( tin cy, phn bit/ kh... hiu lc), m bo tnh i din ca mu thng k, khng nh liu n c a ra c nhng thng tin chnh xc, c nhiu li ch hay khng. 5.4. Quy trnh thit k cng c iu tra kho st Bc 1: Xc nh r mc tiu o lng. Cng c o c thit k o ci g? Bc 2: Xc nh r i tng. Php o ny c thit k cho i tng no? Php o ny c lm vi c nhn hay nhm? Bc 3: Xc nh r cc ni dung cn o lng. Xc nh r cc ni dng c th cn o: hiu bit no, k nng no, thi /hng th no

Bc 4: Vit cu hi cho tng ni dung c th. Bc 5: Xc nh cc th tc cho im/ lng ho. Bc 6: Th nghim b cng c trn mu nh; nhp s liu (v d vo SPSS) v phn tch s liu: nh gi tin cy, loi b cc cu hi cht lng km. Bc 7: Hon thin b cng c v s dng n thu thp thng tin. Phng php ny ch thc s pht huy hiu qu khi c kt hp vi cc phng php khc nh phng vn c nhn/tho lun nhm v quan st. Thc hnh: gii thiu mt b phiu nh gi hiu qu mn hc/iu tra sinh vin tt nghip. Gii thiu phn mm x l s liu: SPSS; Conquest. VI. K thut x l v phn tch s liu X l v phn tch s liu l mt trong nhng khu quan trng trong iu tra kho st, lm cho s liu bit ni, c sc thuyt phc ngi c. Chng hn, x l v phn tch s liu kho st sinh vin v hiu qu mn hc/ mc hi lng ca sinh vin v chng trnh o to... X l v phn tch s liu thng c dng nhiu trong t nh gi cht lng chng trnh o to, t nh gi hiu qu hot ng ca nh trng. 6.1. nh ngha X l v phn tch s liu kho st l thit lp mt m hnh, quy trnh, s dng mt h thng cc th tc/ thao tc/cu lnh c lp trnh trong cc phn mm chuyn dng cho x l phn tch s liu nh lng, pht hin, so 142

snh l gii kim tra/chng minh cc gi thit nghin cu nhm cung cp thng tin ng tin cy, c gi tr khoa hc cho qu trnh t nh gi (chng hn, c bao nhiu % s sinh vin hi lng v chng trnh o to; v hiu qu mn hc). 6.2. u im v nhng hn ch X l s liu bng phn mm chuyn dng nh SPSS, Conquest v s dng cc k thut phn tch s liu tin tin nh phn tch tin cy, phn tch kh, phn bit ca cc cu hi (item) theo m hnh Rasch, phn tch yu t, phn tch phng sai, phn tch hi quy n bin/a bin lm tng mc tin cy v gi tr khoa hc ca cc s liu kho st (thay v x l n gin nh tnh t l % bng phn mm Excel, x l bng tay). Cc trng gp kh khn v cha bit s dng cc phn mm ny hoc khng bit k thut x l, phn tch chuyn su ni trn. nm cc k thut x l v phn tch s liu ny (mc c bn) cn phi tham gia cc kha hc ngn hn v s dng cc phn mm ni trn (khong 2 tun). 6.3. Lp m hnh x l v phn tch d liu M hnh nh r cc thang, tiu thang o, cch thc x l v phn tch s liu cho tng kiu item, kiu thang o, m bo nh gi c cc c tnh o lng ca b cng c ( tin cy, phn bit/ kh... hiu lc). M hnh ny phi m bo s dng ph hp cc php ton thng k (tnh tn sut, trung bnh, tng quan hi quy) trong cc phn tch thng k nh gi c cc mc nh hng, chi phi khng nh liu cc s liu thu c c a ra c nhng thng tin chnh xc, c nhiu li ch hay khng. 6.4. Quy trnh x l v phn tch s liu Bc 1: M ha cc cu hi/item thnh cc bin c lp M tn bin, chn kiu thang o, Gn cc gi tr ca bin. Loi b cc phiu tr li u, tr li b st (trn 10% thng tin), Nhp s liu, kim tra chnh xc ca s liu nhp, Loi b cc trng hp tr li bt thng, cc oan. nh gi tin cy, kh, phn bit nh gi mc ph hp ca tng item. nh gi tin cy, kh, phn bit nh gi mc ph hp ca tng item,

Bc 2: Nhp s liu v lm sch s liu

Bc 3: Phn tch item

Bc 4: Tnh ton

Tnh ton/lp ra cc bin trung gian c th p dng cc php ton thng k phn tch su. 143

Bc 5: p dng cc php ton thng k m t, suy lun kim nh cc cu hi/gi thit nghin cu Tnh tn xut (%), trung bnh, lch chun So snh im trung bnh (phn tch ANOVA, t-test) gia cc nhm mu,

Xc nh mc tng quan (phn tch tng quan),

Xc nh mc nh hng, chi phi ln nhau gia cc bin (phn tch hi quy). Bc 6: Lp cc biu bng, gii thch bnh lun s liu Lp bng tn xut (%), trung bnh, lch chun, tng quan c hiu kt qu: gii thch, bnh lun da trn cc s liu kho st.

Phng php ny ch thc s pht huy hiu qu khi c kt hp vi cc phng php khc nh cc s liu qua phng vn c nhn/ s liu qua quan st. Thc hnh Gii thiu cc file s liu, file x l kt qu kho st nh gi hiu qu mn hc, iu tra sinh vin tt nghip, s dng phn mm SPSS, Conquest v kt qu (out put) phn tch s liu, cc biu bng, k nng c hiu s liu. VII. K thut thit lp cc d liu thng k Thit lp cc d liu thng k rt cn cho qu trnh vit bo co t nh gi. Chng hn, s liu thng k v i ng ging vin (trnh o to, cc cng trnh nghin cu khoa hc m ging vin tham gia, s bi bo, gio trnh vit...); t l sinh vin/ging vin; ... 7.1. Cch lp cc biu mu thng k Cc biu bng thng k thng c lp theo hng dn trong cu trc bo co t nh gi, cc ph lc km theo hoc theo yu cu ca tng tiu ch. thit lp cc biu bng thng k cn tr li cc cu hi sau: C bao nhiu loi biu bng thng k cn c mi phn trong bo co t nh gi? Mc ch ca vic thit lp cc biu bng ny? n v thng k l g?

Nhng s liu cho cc biu bng ny c th thu thp u ? Chng hn, cc s liu thng k v c s vt cht c th thu thp phng qun tr; cc s liu thng k v gio vin c th thu thp phng t chc... Ai cung cp ngun s liu thng k? Mc tin cy ca cc s liu thng k ny? Thi im thu thp cc s liu thng k?

144

7.2. S dng cc cu hi kim tra cc d liu thng k Cc d liu thng k hu ch nht c a vo bo co? Mc ch m t cc d liu thng k? Thit lp cc biu bng, n v thng k c ph hp? Cc s liu trong cc biu bng c chnh xc, c ng tin cy? Cc s liu thng k ly t ngun no/ do ai cung cp?

S tch hp cc s liu thng k trong mi biu bng ph hp cha? C d c hiu? Phn tch s liu thng k ny gip g cho vic hiu bit bc tranh thc trng (ni hm) ca tiu ch, s liu v chng trnh o to, v ngun ti chnh ca trng... v chng minh nh trng t c cc yu cu, mc tiu o to... mc no? S liu thng k m t c gip nh hng cho vic khc phc tn ti (pht huy im mnh)?... Cht lng mt bo co t nh gi khng ph thuc vo s lng cc biu bng thng k m ph thuc vo vic c hiu cc biu bng thng k. S lp lun v phn tch, bnh lun, so snh,lm cho cc con s thng k trong bo co t nh gi bit ni./,

145