Professional Documents
Culture Documents
08. Στάθμιση - Εγκυρότητα - Αξιοπιστία Ερωτ. (Θ)
08. Στάθμιση - Εγκυρότητα - Αξιοπιστία Ερωτ. (Θ)
ΔΙΑΤΡΟΦΗΣ
ΠΑΡΑΔΟΣΗ 8Η
1
Στάθμιση ερωτηματολογίου
• Στάθμιση μπορεί να λέγεται εκείνη η διαδικασία, που
διασφαλίζει ότι τα αποτελέσματα μίας τεχνικής (π.χ.
ενός ερωτηματολογίου) έχουν προκύψει:
• A). Μετά από προσαρμογή των ποιοτικών
δεδομένων του δείγματος (όσων έλαβαν μέρος στην
έρευνα), με τα πραγματικά δεδομένα του
πληθυσμού.
• Β). Μετά από έλεγχο και προσαρμογή της
καταλληλότητας της τεχνικής (π.χ. ερωτηματολογίου)
στον συγκεκριμένο πληθυσμό (γλώσσα, αντίληψη,
γνώση, ιδιαιτερότητες).
• Η στάθμιση ερωτηματολογίου περιλαμβάνει πιλοτική
εφαρμογή, έλεγχο της εγκυρότητας και αξιοπιστίας
και σχετικές προσαρμογές/βελτιώσεις. 2
Στάθμιση Ερωτηματολογίου
• Εντοπισμός και επιλογή ερωτηματολογίου:
– Σύνθεση διαφορετικών ερωτηματολογίων ,
– Τροποποίηση υπαρχόντων ερωτηματολογίων,
– Επιλογή από τη διεθνή βιβλιογραφία το κατάλληλο
ερωτηματολόγιο βάσει κριτηρίων (π.χ. σύντομο, υψηλή
εγκυρότητα-αξιοπιστία, κτλ.).
• Μετάφραση ερωτηματολογίου,
• Πολιτισμική προσαρμογή,
• Πιλοτική εφαρμογή (pre-test),
• Έλεγχος εγκυρότητας και αξιοπιστίας (test, re-test).
3
Στάθμιση Ερωτηματολογίου
• Μετάφραση ερωτηματολογίου:
• Έγκριση μετάφρασης από το συγγραφέα και τον
κάτοχο δικαιωμάτων έκδοσης.
• Δίγλωσση μετάφραση προς δύο κατευθύνσεις
(forward translation, backward translation), π.χ.
• Μετάφραση από 2 διαφορετικά άτομα στα Ελληνικά.
• Σύγκριση των 2 μεταφράσεων 1η εκδοχή
ερωτηματολογίου στα Ελληνικά.
• Μετάφραση της 1ης εκδοχής του Ελληνικού
ερωτηματολογίου στα Αγγλικά (ένα δίγλωσσο άτομο
με μητρική γλώσσα τα Αγγλικά).
• Αποστολή στο συγγραφέα για σχόλια-παρατηρήσεις.
• Ενσωμάτωση των παρατηρήσεων στη 2η εκδοχή του
ελληνικού ερωτηματολογίου.
4
Στάθμιση Ερωτηματολογίου
• Πολιτισμική προσαρμογή:
• Στη χώρα (Ελλάδα), στο νομό/περιοχή (Κρήτη)
• π.χ. Διατροφικές συνήθειες.
• Σε μικρό τυχαίο δείγμα εφαρμογή της 2ης εκδοχής
του ελληνικού ερωτηματολογίου.
• Έλεγχος κατανόησης και αναδιατύπωσης των
ερωτήσεων.
• Ενσωμάτωση των παρατηρήσεων στη 2η εκδοχή.
• (Ελληνικό) Ερωτηματολόγιο.
5
Στάθμιση Ερωτηματολογίου
• Είναι απαραίτητο να διεξάγεται μια πιλοτική μελέτη
(pilot study) με σχετικά μικρό αριθμό
συμμετεχόντων (περίπου 30−50), έτσι ώστε να
πραγματοποιείται μια προκαταρκτική εκτίμηση της
εγκυρότητας και της αξιοπιστίας του
ερωτηματολογίου και να διορθώνονται όσο το
δυνατόν περισσότερο τα λάθη και οι παραλείψεις.
• Ακολούθως, το διορθωμένο ερωτηματολόγιο
υποβάλλεται σε τελικό έλεγχο εγκυρότητας και
αξιοπιστίας, μέσω μιας νέας πιλοτικής μελέτης.
6
Στάθμιση Ερωτηματολογίου
• Εάν το ερωτηματολόγιο εμφανίσει αποδεκτή
ερωτηματολογίου.
7
Στάθμιση Ερωτηματολογίου
• Πιλοτική εφαρμογή (pre-test):
• Σε τυχαίο δείγμα στο 5%-10% του τελικού
δείγματος για έλεγχο:
• Κατανοητής-σωστής διατύπωσης των ερωτήσεων.
• Χρόνου συμπλήρωσης.
• Ενδιαφέροντος των ερωτώμενων.
• Εμφάνισης.
• Διορθώσεις
• Βελτιωμένο ερωτηματολόγιο → Νέα πιλοτική μελ.
• Έλεγχος αξιοπιστίας και εγκυρότητας του ερωτηματολογίου.
• Test, re-test. 8
Τελική Στάθμιση Ερωτηματολογίου
• Έλεγχος Εγκυρότητας και Αξιοπιστίας
Ερωτηματολογίου
– Έλεγχος απαραίτητος όταν αυτά αξιολογούν μη
αριθμητικά χαρακτηριστικά (π.χ. διατροφικές
συνήθειες, κατάθλιψη, άγχος, ικανοποίηση).
– Το ερωτηματολόγιο (βελτιωμένο) δίνεται στο ίδιο
δείγμα δυο διαδοχικές φορές σε ένα περιορισμένο
χρονικό διάστημα (π.χ. 15 ημέρες, 30 ημέρες)
(test, re-test).
9
Στάθμιση Ερωτηματολογίου
• Έλεγχος Εγκυρότητας και Αξιοπιστίας
Ερωτηματολογίου
10
11
Επισήμανση
• Προσοχή! Κάθε ερωτηματολόγιο δεν αποτελεί
13
Η εγκυρότητα ερωτηματολογίου
• Η εγκυρότητα μιας κλίμακας μέτρησης, με απλά
λόγια αφορά τον βαθμό που όντως μετράει αυτό
για το οποίο φτιάχτηκε να μετράει.
• Υπάρχουν πολλοί τύποι εγκυρότητας, όπως είναι:
15
Η εγκυρότητα ερωτηματολογίου
• Η εγκυρότητα περιεχομένου (content validity) αφορά
το βαθμό που μία κλίμακα μέτρησης μετρά το
σύνολο του ζητουμένου για το οποίο έχει φτιαχτεί.
• Κατά τη διαδικασία εκτίμησης της εγκυρότητας του
περιεχομένου, γίνεται μία καταγραφή των δεδομένων
που αφορούν στην συγκεκριμένη έννοια που
εξετάζεται σε μία ερώτηση. Από όλα αυτά τα
δεδομένα, γίνεται η επιλογή των πιο σχετικών με το
αντικείμενο της έρευνας.
16
Εγκυρότητα περιεχομένου
• Για παράδειγμα, εάν υποτεθεί ότι η ποιότητα ζωής
περιλαμβάνει έξι διαστάσεις, και πιο συγκεκριμένα τη
γενική υγεία, τη σωματική λειτουργικότητα, τη
ζωτικότητα, την κοινωνική λειτουργικότητα, το
συναισθηματικό ρόλο και την ψυχική υγεία, και σε
μια μελέτη για την εκτίμηση της ποιότητας ζωής
χρησιμοποιηθεί ένα ερωτηματολόγιο με τέσσερις
διαστάσεις (γενική υγεία, σωματική λειτουργικότητα,
ζωτικότητα, κοινωνική λειτουργικότητα), τότε είναι
σαφές ότι το ερωτηματολόγιο αυτό έχει μειωμένη
εγκυρότητα περιεχομένου, καθώς δεν μετρώνται
όλες οι διαστάσεις της ποιότητας ζωής.
17
Εγκυρότητα περιεχομένου
• Οι δημιουργοί του ερωτηματολογίου ζητούν από
μία προεπιλεγμένη ομάδα ειδικών να κρίνουν κάθε
στοιχείο του ερωτηματολογίου ως ≪απαραίτητο≫,
≪χρήσιμο, άλλα όχι απαραίτητο≫ ή ≪μη
αναγκαίο≫ και ακολούθως υπολογίζεται ο “Λόγος
Εγκυρότητας Περιεχομένου” για κάθε στοιχείο του
ερωτηματολογίου, σύμφωνα με την παρακάτω
ισότητα (βλέπε επόμενη διαφάνεια):
18
Εγκυρότητα περιεχομένου
21
Η εγκυρότητα ερωτηματολογίου
• Η εγκυρότητα εννοιολογικής κατασκευής (construct
validity). Αυτή αφορά τον βαθμό που μια κλίμακα
μέτρησης μετρά επακριβώς την έννοια που έχουμε
ορίσει ότι μετράει.
• Η αποτίμηση της εγκυρότητας εννοιολογικής
κατασκευής είναι μια διαδικασία που εφαρμόζεται
κυρίως όταν δημιουργούμε “όργανα/εργαλεία”
μέτρησης πιο αφηρημένων χαρακτηριστικών,
όπως αντιλήψεων, ή πεποιθήσεων. 22
Η εγκυρότητα εννοιολογικής κατασκευής
• Ο έλεγχος της εγκυρότητας εννοιολογικής κατασκευής
είναι έως ένα βαθμό υποκειμενικός και για το λόγο
αυτόν απαιτείται η διεξαγωγή σημαντικού αριθμού
μελετών σε διαφορετικές χώρες, σε διαφορετικούς
μελετώμενους πληθυσμούς και σε διαφορετικές
χρονικές στιγμές.
• Εν τούτοις, σε μια συγκεκριμένη μελέτη, ο έλεγχος της
εγκυρότητας εννοιολογικής κατασκευής (βλέπε
παρακάτω) μπορεί να επιτευχθεί με την παραγοντική
ανάλυση, τη συγκλίνουσα εγκυρότητα, τη διακρίνουσα
εγκυρότητα και τη μέθοδο των γνωστών ομάδων.
23
Η εγκυρότητα ερωτηματολογίου
• Η εγκυρότητα στη βάση κριτηρίων (criterion validity)
αφορά ακριβώς αυτό που αναφέρει. Την αναζήτηση
δηλαδή ενός κριτηρίου με βάση το οποίο θα
αποφανθούμε ότι πράγματι η κλίμακα μετράει την
έννοια που έχουμε πει ότι μετρά.
• Το κριτήριο είναι ισχυρά ενδεικτικό στοιχείο για να
κρίνουμε ή να αξιολογήσουμε. Εάν π.χ., τα άτομα
που ρωτήθηκαν εμφανίζονται ως λάτρεις της
άσκησης σε σχετική κλίμακα στάσεων, τότε τα
αποτελέσματα θα ήταν συναφή με την κατοχή
κάρτας γυμναστηρίου (εμπειρικό κριτήριο) – δηλαδή
τα υπάρχοντα ανεξάρτητα στοιχεία θα συνέκλιναν με
τα αποτελέσματα της μέτρησης. 24
Αξιολόγηση εγκυρότητας ερωτηματολογίου
• 1). Συνήθως ψάχνουμε να βρούμε τη συσχέτιση
μεταξύ της κλίμακας που φτιάχνουμε και μίας
αντίστοιχής που μετρά το ίδιο χαρακτηριστικό ή
παρόμοιο (συγκλίνουσα-συγχρονική εγκυρότητα ή
convergent - concurent validity) ή μη συνάφεια με μία
κλίμακα που μετρά διαφορετικό χαρακτηριστικό
(διακρίνουσα εγκυρότητα ή discriminant validity).
• Ιδανικά, αν υπάρχει μία πρότυπη κοινά
αναγνωρισμένη ως επαρκής ή πλέον κατάλληλη
κλίμακα (gold standard), η σύγκριση γίνεται με αυτή.
25
Στάθμιση Ερωτηματολογίου
• Έλεγχος εγκυρότητας με πρότυπη μέθοδο
– Στο ίδιο δείγμα ατόμων εφαρμόζουμε το νέο
ερωτηματολόγιο και το ερωτηματολόγιο της
πρότυπης μεθόδου (gold standard).
• Έλεγχος συμφωνίας των αποτελεσμάτων των δυο
μεθόδων με γνωστούς στατιστικούς δείκτες και μέτρα.
– Μέτρο συμφωνίας kappa.
26
Αξιολόγηση εγκυρότητας ερωτηματολογίου
• 2). Επίσης μπορούν να χρησιμοποιηθούν
πειραματικές διαδικασίες ( π.χ. χρησιμοποιούμε
την κλίμακα σε ένα πληθυσμό στόχο που
γνωρίζουμε την συμπεριφορά του ως προς το
χαρακτηριστικό που μελετούμε): μέθοδος των
γνωστών ομάδων (known groups method).
• Π.χ. έλεγχος κλίμακας κατάθλιψης σε
διαγνωσμένους καταθλιπτικούς, ή ανορεξίας σε
διαγνωσμένους ανορεκτικούς ασθενείς.
27
Αξιολόγηση εγκυρότητας ερωτηματολογίου
• 3). Στην περίπτωση που η έννοια ( ή το
χαρακτηριστικό που μας ενδιαφέρει) έχει πολλές
διαστάσεις (π.χ. στην κλίμακα 1-5) χρησιμοποιούμε
παραγοντική ανάλυση (factor analysis). H
παραγοντική ανάλυση εφαρμόζεται συχνά στις
περιπτώσεις της κλίμακας ίσων διαστημάτων
(Likert scale) και όταν το μέγεθος του δείγματος
είναι μεγάλο.
28
Αξιολόγηση εγκυρότητας ερωτηματολογίου
•Παραγοντική ανάλυση (Factor analysis)
• Εφαρμόζοντας την παραγοντική ανάλυση (factor
analysis) στα στοιχεία ενός ερωτηματολογίου
προκύπτουν διάφοροι παράγοντες (factors) που
εκφράζουν επί μέρους διαστάσεις της έννοιας που
μετρά το ερωτηματολόγιο της μελέτης.
•Οι παράγοντες αυτοί προκύπτουν με βάση τις
συσχετίσεις που παρουσιάζουν μεταξύ τους τα
διάφορα στοιχεία ενός ερωτηματολογίου.
29
Αξιολόγηση εγκυρότητας ερωτηματολογίου
•Παραγοντική ανάλυση (Factor analysis)
• Για παράδειγμα, εάν ένα ερωτηματολόγιο αποτελείται
από 30 στοιχεία, εφαρμόζοντας την παραγοντική
ανάλυση προκύπτουν πολύ λιγότεροι παράγοντες,
καθένας από τους οποίους περιλαμβάνει ορισμένα
από τα 30 στοιχεία του ερωτηματολογίου.
• Με τον τρόπο αυτόν, μια ευρεία έννοια
απλουστεύεται, ομαδοποιείται σε επί μέρους
παράγοντες και γίνεται σαφέστερη.
30
Factor analysis
Cronbach's alpha
coefficients
obtained for each
factor were:
Factor 1 (10 items)
= 0.880,
Factor 2 (five
items) = 0.655
and Factor 3 (five
items) = 0.584.
Pereira, Ana Telma, Maia, Berta Rodrigues, Marques, Mariana, Bos, Sandra
Carvalho, Soares, Maria João, Gomes, Ana, Macedo, António, & Azevedo, Maria
Helena Pinto de. (2008). Factor structure of the Rutter Teacher Questionnaire in
Portuguese children. Revista Brasileira de Psiquiatria, 30(4), 322-327.
31
https://dx.doi.org/10.1590/S1516-44462008000400004
Αξιολόγηση εγκυρότητας ερωτηματολογίου
•Παραγοντική ανάλυση (Factor analysis)
– Δημιουργία παραγόντων: ομαδοποίηση
μεταβλητών/ερωτήσεων που σχετίζονται μεταξύ τους.
• Στατιστική ανάλυση με λιγότερες μεταβλητές.
– Για κάθε παράγοντα (factor) υπολογίζεται η εσωτερική
συνοχή (Cronbach’s a).
• < 0,5 μη αποδεκτή συνοχή (αξιοπιστία),
• 0,5-0,6 μικρή συνοχή,
• 0,6-0,7 αποδεκτή,
• 0,7-0,9 καλή,
• > 0,9 εξαιρετική συνοχή (αξιοπιστία).
32
Αξιολόγηση εγκυρότητας ερωτηματολογίου
• 4). Επίσης μπορεί να αναζητήσουμε ένα κριτήριο
που προβλέπει την συμπεριφορά στο μέλλον ή σε
μία άλλη περίπτωση (προβλεπτική εγκυρότητα-
predictive validity). Η προβλεπτική εγκυρότητα-
predictive validity μοιάζει με την συγχρονική
εγκυρότητα - concurent validity σε σχέση με τον
τρόπο αποτίμησής της με μόνη διαφορά τον χρόνο
που δίνεται η δεύτερη κλίμακα.
33
Αξιολόγηση εγκυρότητας ερωτηματολογίου
• Για να αποτιμήσουμε τελικά την εγκυρότητα
35
Αξιολόγηση αξιοπιστίας ερωτηματολογίου
• Η αξιοπιστία ή, αλλιώς, η ακρίβεια ενός
43
Εναλλακτικές κλίμακες πόνου
44
Αξιολόγηση αξιοπιστίας ερωτηματολογίου
47
Αξιολόγηση αξιοπιστίας ερωτηματολογίου
(συνέπειας).
48
49
Τελική Στάθμιση Ερωτηματολογίου
• Εγκυρότητα; ΝΑΙ
• Αξιοπιστία; ΝΑΙ
– Σταθμισμένο και κατάλληλο το ερωτηματολόγιο.
50