4.

1 GIỚI THIỆU
Giáo viên ngôn ngữ,
ĐÁNH GIÁ như Amrani (2011: 270)
lưu ý, liên tục tham gia VÀ ĐIỀU vào việc đánh giá tài
liệu:
CHỈNH
Đánh giá tài liệu không có gì mới đối với
giáo viên. Họ làm VẬT LIỆU điều đó mọi lúc, từ lang
thang tình cờ quanh hiệu sách, chọn
một cuốn sách mới hoặc mượn một ý tưởng mới lượm lặt được từ
một hội nghị, thuyết trình hoặc đồng nghiệp, đến lướt internet, thảo
luận và các trang web tài nguyên để thu thập các tài liệu mới.
Trong danh sách các hoạt động đánh giá không chính thức này,
chúng ta có thể thêm 'bài kiểm tra flick' nổi tiếng, không bao gồm nhiều
hơn một cái nhìn nhanh qua các trang của sách giáo khoa, có lẽ lấy các
chủ đề, minh họa và các điểm ngôn ngữ chính được đề cập trong một
cuốn sách cụ thể. Tomlinson lưu ý một cách đăm chiêu, "các nhà xuất bản
nhận thức rõ về quy trình này và đôi khi đặt các hình minh họa hấp dẫn ở
góc trên cùng bên phải của trang bên phải để tác động đến nhấp nháy theo
hướng tích cực" (2013a: 31).
Tuy nhiên, các hoạt động như vậy về cơ bản là trực quan. Khi trực
giác này được thông báo một cách chuyên nghiệp, các hoạt động này có
thể có một số giá trị đối với người có liên quan, nhưng đánh giá vẫn còn,
để sử dụng các từ của Tomlinson (2003b: 17), 'đặc biệt và ấn tượng': nó
không dựa trên một bộ nguyên tắc giảng dạy và học tập rõ ràng được nêu
rõ trước khi đánh giá. Trong chương này, chúng ta chủ yếu quan tâm đến
đánh giá nguyên tắc mà Tomlinson đề cập đến, và chúng ta sẽ tuân theo
định nghĩa của ông (2003b: 15): "Đánh giá tài liệu là một thủ tục liên quan
đến việc đo lường giá trị (hoặc giá trị tiềm năng) của một bộ tài liệu học
tập. Nó liên quan đến việc đưa ra đánh giá về effect của các tài liệu đối với
những người sử dụng chúng. Tomlinson (2003b) lựa chọn từ ngữ của
mình một cách cẩn thận trong định nghĩa của mình: các từ như 'thủ tục',
'đo lường', 'giá trị', 'phán đoán' và 'hiệu quả' kết hợp để gợi ý một quy trình
có hệ thống hơn, cân nhắc hơn và phức tạp hơn các quy trình trực quan,
không chính thức như duyệt qua các quầy sách tại một hội nghị ELT hoặc
thực hiện 'thử nghiệm flick'.
 4.2 SỰ CẦN THIẾT PHẢI ĐÁNH GIÁ CÓ NGUYÊN TẮC
Một câu hỏi chúng ta cần đặt ra ngay từ đầu là: "(Tại sao) việc đánh
giá vật liệu có hệ thống và nguyên tắc là cần thiết?" Lý do đầu tiên là, như
chúng tôi đã thiết lập trong phần giới thiệu về tập này, tài liệu đóng một vai
trò quan trọng trong quá trình học ngôn ngữ. Thật vậy, trong một số bối
cảnh, tài liệu sẽ tạo thành sự tiếp xúc chính mà người học phải tiếp xúc với
TL. Như Littlejohn (2011) lập luận, các tính năng bổ sung bổ sung mà
nhiều nhà xuất bản hiện cung cấp (ví dụ: sách bài tập, CD, tài nguyên bảng
trắng tương tác (IWB)) có khả năng có nghĩa là tài liệu sẽ chiếm vai trò nổi
bật hơn trong lớp so với trước đây. Chúng ta có thể thêm vào điều này
rằng các tài liệu mà giáo viên sử dụng thậm chí, trong thực tế, có thể cấu
thành giáo dục giáo viên trong tay của các giáo viên thiếu kinh nghiệm và /
hoặc không được đào tạo, những người phụ thuộc nhiều vào tài liệu để
hướng dẫn cách tiến hành các lớp học của họ. Lý do thứ hai mà việc đánh
giá có hệ thống và nguyên tắc là cần thiết là các tài liệu có khả năng đại
diện cho một chuyên gia quan trọng, "đầu tư tài chính và / hoặc chính trị
(Sheldon 1988). Đây là trường hợp đặc biệt khi chính phủ quốc gia hoặc
khu vực đang cung cấp sách giáo khoa tiếng Anh cho hệ thống trường
công lập. Đối với hai lý do thực tế mạnh mẽ này để thực hiện đánh giá tài
liệu một cách nghiêm túc, chúng ta có thể thêm một lý do thứ ba, có lẽ học
thuật hơn: đánh giá vật liệu có thể là một hoạt động phát triển chuyên
nghiệp mạnh mẽ cho những người tham gia vào nó. Nhìn theo cách này,
đánh giá vật liệu không phải là một thành phần bổ sung để phát triển vật
liệu, mà là một phần không thể thiếu của nó. Lập luận rằng đánh giá vật
liệu là phát triển dựa trên ý tưởng rằng việc đưa ra các tiêu chí đánh giá và
đưa ra đánh giá dựa trên các tiêu chí đó tiết lộ nhiều về các giả định, kiến
thức và giá trị của chính người đánh giá. Nó cũng có thể mở rộng tầm nhìn
của những người đánh giá: McGrath (2013: 107), ví dụ, lập luận rằng khi
giáo viên và người giám sát tham gia đánh giá, điều này có thể thúc đẩy
'phản ánh về các khía cạnh của tài liệu mà họ có thể không nghĩ đến và
[cung cấp] một lối thoát cho những cảm xúc có thể không được thể
hiện". Tương tự, Al Khaldi (2011) báo cáo rằng nhiều giáo viên tham gia
vào bài tập đánh giá sách giáo khoa của ông ở Jordan nhận xét rằng họ
thấy đó là một trải nghiệm khai sáng, vì các tiêu chí đánh giá mà họ được
đưa ra và quá trình áp dụng các tiêu chí đó đã giúp họ thấy rõ hơn những
gì họ muốn từ các tài liệu họ sử dụng.
Mặc dù chúng tôi đã xác định đánh giá vật liệu ở trên, nhưng có lẽ
chúng tôi có thể mô tả nó một cách chắc chắn hơn bằng cách xem xét
những gì nó không phải. Do đó, chúng ta cần lưu ý rằng Tomlinson
(2003b) đối chiếu đánh giá với phân tích: trong khi đánh giá liên quan đến
việc đánh giá tác động của vật liệu trong một bối cảnh nhất định, phân tích
liên quan đến những gì có trong vật liệu, ví dụ:

• Giáo trình có bao nhiêu đơn vị?

• Giáo trình có chứa các văn bản xác thực không?

Câu hỏi đầu tiên có thể được trả lời bằng một số; Thứ hai có thể được trả
lời có / không. Tuy nhiên, chúng ta cần thừa nhận rằng việc đánh giá đôi
khi có thể tiềm ẩn trong các câu hỏi phân tích tài liệu khách quan, đơn
giản. Ví dụ, ở điểm thứ hai ở trên, chúng ta có thể lập luận rằng chính thực
tế bao gồm một câu hỏi về tính xác thực cho thấy nhà phân tích nghĩ rằng
tính xác thực là quan trọng. Chúng tôi có thể đi xa hơn và đề xuất rằng các
định nghĩa về tính xác thực có thể khác nhau giữa các nhà phân tích. Phân
tích, như chúng tôi đã định nghĩa ở đây, ví dụ, có thể hữu ích trong quá
trình 'loại bỏ', tức là loại bỏ các tài liệu ở giai đoạn lựa chọn rõ ràng là
không phù hợp về các tiêu chí phân tích đơn giản như cấp độ, độ tuổi mục
tiêu; số lượng đơn vị, trọng tâm kỳ thi, v.v. Các vật liệu sống sót sau phân
tích ban đầu sau đó có thể được đánh giá chi tiết hơn.

Nhiệm vụ 4.1
Quyết định nhóm người học mục tiêu, ví dụ: lớp luyện thi Hệ thống Kiểm
tra Anh ngữ Quốc tế (IELTS). Xây dựng bốn hoặc năm câu hỏi phân tích
bạn sẽ hỏi về các tài liệu tiềm năng cho nhóm đó, chẳng hạn như:

• Hình thức thi có được giải thích không?

4.3 BẢN CHẤT CỦA ĐÁNH GIÁ

Khi đã xác định đánh giá và phân biệt nó với phân tích, chúng ta cần xem
xét các cách khác nhau để đánh giá có thể được thực hiện. Về cơ bản,
đánh giá có thể khác nhau dọc theo bốn chiều:

• Những gì đang được đánh giá?

• Khi nào việc đánh giá được thực hiện?
• Việc đánh giá được thực hiện như thế nào?
• Ai thực hiện đánh giá?

Trong phần này, chúng tôi giải quyết bốn câu hỏi này.

NHỮNG GÌ ĐANG ĐƯỢC ĐÁNH GIÁ?

Giả định trong các tài liệu đánh giá tài liệu thường là đánh giá được áp
dụng cho sách giáo khoa. Thật vậy, đây có lẽ là hình thức đánh giá phổ
biến nhất, và phần lớn các cuộc thảo luận trong chương này phản ánh giả
định đó. Tuy nhiên, chúng ta cần lưu ý rằng sách giáo khoa không phải là
trọng tâm duy nhất có thể có của đánh giá. Trong số các tài liệu có thể
được đánh giá một cách hữu ích là, ví dụ, tài liệu nội bộ, bài kiểm tra, đầu
đọc được phân loại hoặc tài liệu tự truy cập. Chúng ta nên lưu ý rằng việc
đánh giá các tài liệu nội bộ là một trường hợp rõ ràng trong đó đánh giá có
thể được phát triển, vì nó gần như chắc chắn sẽ liên quan đến việc phản
ánh và sửa đổi các tài liệu của chính các học viên. McGrath (2002) cũng
lưu ý rằng các đánh giá đã được thực hiện trên các khía cạnh cụ thể của
tài liệu, ví dụ như minh họa, nội dung văn hóa và định kiến giới, trong khi
Ellis (2011) báo cáo về 'đánh giá vi mô', bao gồm nghiên cứu chi tiết ảnh
hưởng của các nhiệm vụ lớp học cụ thể có trong tài liệu. Lợi ích của đánh
giá vi mô, Ellis (2011: 231) lập luận, là nó "buộc giáo viên phải kiểm tra các
giả định nằm đằng sau việc thiết kế một nhiệm vụ và các thủ tục được sử
dụng để thực hiện nó. Nó đòi hỏi họ phải vượt ra ngoài đánh giá ấn tượng
bằng cách kiểm tra theo kinh nghiệm liệu một nhiệm vụ có "hoạt động"
theo cách nó dự định hay không và làm thế nào nó có thể được cải thiện
để sử dụng trong tương lai.
KHI NÀO VIỆC ĐÁNH GIÁ ĐƯỢC THỰC HIỆN?
Sự lựa chọn rõ ràng về thời điểm đánh giá diễn ra là giữa đánh giá trước
khi sử dụng, sử dụng và sau sử dụng (Tomlinson 2003b). Tuy nhiên,
chúng ta cần lưu ý rằng lý tưởng nhất là tất cả các loại đánh giá này sẽ
được đi trước bởi một phân tích chi tiết về bối cảnh mà các tài liệu sẽ được
sử dụng (McGrath 2002). Phân tích bối cảnh này có thể bao gồm, tùy
thuộc vào hoàn cảnh cụ thể, thông tin cơ bản về các mục tiêu giáo dục
quốc gia, mục tiêu chương trình giảng dạy hoặc mục tiêu cụ thể của việc
giảng dạy ngôn ngữ. Nó cũng có thể liên quan đến việc nghiên cứu các tài
liệu như giáo trình và giấy kiểm tra. Thông tin về người học (ví dụ: động
lực và kỳ vọng) và giáo viên (ví dụ: trình độ và kinh nghiệm) sẽ có tầm
quan trọng trung tâm trong phân tích bối cảnh đó. Được trang bị thông tin
theo ngữ cảnh này, người đánh giá rõ ràng ở vị trí tốt hơn để đánh giá xem
các tài liệu có phù hợp với mục tiêu của một nhóm người học cụ thể hay
không với các ràng buộc và đặc điểm của bối cảnh.

Đánh giá trước khi sử dụng

Đánh giá trước khi sử dụng phổ biến hơn cả đánh giá sử dụng và sau sử
dụng vì hai lý do: nó thường được thiết kế để thông báo quyết định quan
trọng về việc áp dụng tài liệu nào và dễ thực hiện hơn so với đánh giá sử
dụng hoặc sau sử dụng, như chúng ta sẽ thấy, cả hai có thể yêu cầu các
phương pháp đánh giá tốn nhiều thời gian hơn như quan sát hoặc kiểm tra
trong lớp học. Như Tomlinson (2003b) than thở, đánh giá trước khi sử
dụng thường được thực hiện một cách ấn tượng, mặc dù, như chúng ta
cũng sẽ thấy, các lựa chọn thay thế rõ ràng, ví dụ như một khuôn khổ các
tiêu chí đánh giá. Đánh giá trước khi sử dụng có thể bao gồm phần lớn
cùng một nền tảng như các tiêu chí sử dụng whilst, nhưng chúng sẽ được
diễn đạt khác nhau, ví dụ:

Sử dụng trước: Các tài liệu có khả năng thúc đẩy người học đến mức
nào? 5 4 3 2 1 Sử dụng trong thế nào: Người học thấy tài liệu có động lực
đến mức nào? 5 4 3 2 1 Sau khi sử dụng: Người học thấy tài liệu có động
lực đến mức nào? 5 4 3 2 1

Các phương pháp đánh giá trước khi sử dụng thay thế được ghi
nhận bởi McGrath (2002), người đề cập đến khả năng thử nghiệm / thí
điểm các vật liệu, tham khảo ý kiến các đồng nghiệp đã sử dụng vật liệu
(trong các bối cảnh khác) và quan sát các lớp nơi vật liệu đã được sử
dụng.
Đánh giá sử dụng whilst
Tomlinson (2003b: 24) ghi nhận tính hữu ích của đánh giá sử dụng whilst
và chỉ ra một số trọng tâm tiềm năng có thể cho vay đặc biệt đối với nó:
• rõ ràng về hướng dẫn, bố cục
• tính dễ hiểu, độ tin cậy, khả năng đạt được của các nhiệm vụ
• Đạt được các mục tiêu thực hiện
• tiềm năng nội địa hóa
• Tính thực tiễn, khả năng dạy, tính linh hoạt
• Hấp dẫn, sức mạnh thúc đẩy, tác động
• Hiệu quả trong việc tạo điều kiện học tập ngắn hạn

Tuy nhiên, Tomlinson (2003b) cũng có vẻ là một lưu ý cảnh báo về đánh
giá sử dụng whilst: một người đánh giá có thể dễ dàng bị đánh lừa bởi các
hoạt động có vẻ hoạt động tốt. Ví dụ, các bài học tạo ra 'thời gian nói
chuyện của học sinh' thường được đánh giá cao, nhưng chúng ta cũng cần
đánh giá chất lượng của bài nói chuyện: ví dụ, chúng ta có thể quan tâm
đến việc liệu bài nói chuyện của học sinh có cấu thành 'đầu ra được đẩy
hay không', tức là hoạt động nói kéo dài người học vượt ra ngoài 'vùng
thoải mái' của họ (xem Chương 2). Chúng ta cũng có thể nói thêm rằng,
khi xem xét các tiêu chí do Tomlinson đề xuất (ở trên) thông qua quan sát,
không phải lúc nào cũng đơn giản để cô lập ảnh hưởng của các tài liệu
khỏi các biến khác, đáng chú ý nhất là giáo viên. Ví dụ, mức độ rõ ràng mà
"sức mạnh thúc đẩy" hiển nhiên trong quan sát nằm trong các tài liệu hoặc
giáo viên? Hầu hết các khía cạnh đánh giá sử dụng whilst được lưu ý ở
trên, Tomlinson (2003b) lập luận, có thể được đánh giá một cách ấn tượng
thông qua quan sát, mặc dù ông khuyên rằng nên tập trung vào một khía
cạnh cho mỗi quan sát. Ông cũng chỉ ra các phương pháp đánh giá khách
quan hơn (nếu đúng hơn là tốn thời gian) như "ghi lại tỷ lệ và thời gian
đóng góp bằng miệng của mỗi học sinh" (ibid.: 24). Trong khi cuộc thảo
luận của Tomlinson (2003b) về đánh giá sử dụng whilst dường như ngụ ý
rằng nó sẽ được thực hiện bởi một nhà đánh giá bên ngoài, McGrath
(2002: 120) tập trung đặc biệt vào vai trò của giáo viên trong việc đánh giá
như vậy, kêu gọi 'sử dụng theo kế hoạch kinh nghiệm hàng ngày của giáo
viên' trong việc thực hiện cả đánh giá sử dụng và sau sử dụng. Giáo viên
có thể, ông lập luận, tự hỏi mình những câu hỏi thuộc loại sau đây như là
lời nhắc nhở để đánh giá sử dụng và sau khi sử dụng:

• Tôi có thể sử dụng không thay đổi bao nhiêu phần trăm vật liệu?
• Các vật liệu không thay đổi có vẻ hoạt động tốt không? Tôi có bằng
chứng gì cho việc này?
• Tôi đã thực hiện những thay đổi tự phát nào khi tôi dạy với các tài
liệu? Những ứng biến này có hoạt động tốt không? Nếu không, tôi cần làm
gì khác đi?

Các tiêu chí đánh giá rộng như thế này sau đó có thể được sử dụng làm
cơ sở nguyên tắc để điều chỉnh các vật liệu.
McGrath (2002) cũng đề cập đến vai trò tiềm năng của quan sát lớp học
trong đánh giá sử dụng whilst (điều này có thể được thực hiện bởi các
đồng nghiệp) và khả năng giáo viên và người học giữ nhật ký ghi lại ấn
tượng của họ về các tài liệu.
Đánh giá sau sử dụng
Mặc dù đánh giá trước khi sử dụng có vai trò quan trọng trong việc ngăn
chặn việc lựa chọn tài liệu kém (hoặc lựa chọn tài liệu kém), đánh giá sau
sử dụng có khả năng là loại thông tin nhiều nhất, vì nó có thể được thông
báo bởi kinh nghiệm của giáo viên và người học về tài liệu hoặc, lý tưởng
nhất, dựa trên bằng chứng thực tế về ảnh hưởng của tài liệu đối với người
học. Tomlinson (2003b) lưu ý rằng đánh giá sau sử dụng có khả năng 'đo
lường hiệu quả ngắn hạn [của các tài liệu] liên quan đến động lực, tác
động, khả năng đạt được, học tập tức thì, v.v. Ông cũng chỉ ra khả năng đo
lường tác động lâu dài của vật liệu thông qua, ví dụ, các thử nghiệm bị trì
hoãn. Tuy nhiên, ông thừa nhận những thách thức đáng kể đối với loại
đánh giá này được đưa ra bằng cách can thiệp các biến số như mức độ
tiếp xúc bên ngoài lớp học, và mức độ hỗ trợ khác nhau của cha mẹ và
động lực cá nhân. McGrath (2013) đề cập đến đánh giá hồi cứu (bởi giáo
viên), lưu ý rằng điều này có thể dẫn đến việc xác định các điểm yếu trong
tài liệu, dẫn đến sửa đổi và thích ứng mang tính xây dựng.
ĐÁNH GIÁ ĐƯỢC THỰC HIỆN NHƯ THẾ NÀO?
Tiêu chí đánh giá
Trong cuộc thảo luận của chúng tôi về các loại đánh giá khác nhau (sử
dụng trước, sử dụng bất chợt, sau sử dụng), chúng tôi nhất thiết phải tham
khảo một số công cụ hoặc phương pháp đánh giá được sử dụng, ví dụ
như quan sát hoặc thử nghiệm. Tuy nhiên, trong đánh giá vật liệu nguyên
tắc, việc lựa chọn và thiết kế công cụ đánh giá rất quan trọng đến mức
chúng ta cần xem xét lại vấn đề này chi tiết hơn. Yếu tố quan trọng nhất
trong việc thiết kế một công cụ đánh giá phải là các tiêu chí mà vật liệu
được đánh giá (Tomlinson 2003b). Các tiêu chí thường chỉ liên quan đến
cái gọi là 'phương pháp danh sách kiểm tra': chúng tôi coi thuật ngữ 'danh
sách kiểm tra' là không may, vì nó dường như ngụ ý một hoạt động được
thực hiện nhanh chóng và hời hợt, như kiểm tra xem bạn đã đóng gói mọi
thứ cho một kỳ nghỉ. Nó cũng có thể ngụ ý, chúng tôi sẽ lập luận, rằng có
một danh sách rõ ràng và được thống nhất chung về các mục cần kiểm tra,
và quá trình kiểm tra các mục này là nhanh chóng và dễ dàng (xem
McGrath 2013: 55 để biết tổng quan về các danh sách kiểm tra như
vậy). Xây dựng các tiêu chí đánh giá, như chúng ta sẽ thấy dưới đây, có
thể là một quá trình phức tạp, cũng như việc áp dụng các tiêu chí này.
Tạo tiêu chí đánh giá
Như McGrath nhận xét, một trong những thách thức chính mà người đánh
giá phải đáp ứng là đặc điểm kỹ thuật của các tiêu chí. Một số nhà bình
luận đã đề xuất những cách có hệ thống để tiếp cận nhiệm vụ này: một sự
phân chia cơ bản, ví dụ, giữa các tiêu chí chung và cụ thể được đề xuất
bởi Ur (1996), trong khi một từ viết tắt (CATALYST) để tạo điều kiện cho
việc tạo ra các tiêu chí được đề xuất bởi Grant (1987: 119):
Cgiao tiếp
Mộtims
Tkhả năng dạy
Mộttiện ích bổ sung có giá trị
Level
Yấn tượng của chúng tôi
Slãi suất đinh đầu
Tcưỡi và kiểm tra
Nhiệm vụ 4.2
Sử dụng khung CATALYST để tạo ra một số tiêu chí đánh giá cụ thể được
áp dụng cho một bộ tài liệu bạn chọn. Ví dụ: từ khía cạnh 'Giao tiếp' của
khung, chúng tôi có thể tạo ra các câu hỏi đánh giá như:
• Các tài liệu cung cấp các nhiệm vụ nói có ý nghĩa ở mức độ nào?
• Các tài liệu cung cấp cơ hội cá nhân hóa ở mức độ nào?
• Bạn thấy khung này hữu ích như thế nào trong việc tạo ra các tiêu chí
đánh giá có nguyên tắc?

Khung CATALYST, có lẽ, có khả năng hữu ích như một điểm khởi
đầu cho các tiêu chí động não. Tuy nhiên, khuôn khổ này có một số hạn
chế. Cần xem xét những hạn chế này để nhắc nhở bản thân về những gì
chúng ta đang tìm kiếm trong một bộ tiêu chí đánh giá:
• Hai trong số các danh mục - 'Cấp độ' và 'Tiện ích bổ sung có sẵn' -
là các câu hỏi phân tích chứ không phải là câu hỏi đánh giá theo thuật ngữ
của chúng tôi.
• 'Ấn tượng của bạn' rất ấn tượng.
• 'Đã thử và thử nghiệm' là một tiêu chí trống rỗng và hầu như không
có khả năng dẫn đến sự đổi mới có nguyên tắc. Có thể các tài liệu được
sử dụng đã giữ cho người dạy và người học hạnh phúc một cách hợp lý,
nhưng điều đó không có nghĩa là các tài liệu có nguyên tắc và hiệu quả tối
đa: chúng chỉ có thể cung cấp 'thức ăn thoải mái'.

Nói tóm lại, khuôn khổ này dường như đề cập đến các vấn đề ấn
tượng và thực tiễn nhiều như thể không muốn nói là nhiều hơn các nguyên
tắc dạy và học. Tuy nhiên, các tiêu chí đánh giá, theo định nghĩa, thể hiện
các giá trị, vì vậy điều quan trọng là các giá trị này phải được khớp nối làm
cơ sở để tạo ra các tiêu chí (Tomlinson 2003b). Như Tomlinson (trang 22)
lập luận, 'Cuối cùng, điều quan trọng là đánh giá có nguyên tắc, rằng các
nguyên tắc của người đánh giá được thực hiện công khai và chúng được
đề cập đến khi xác định và thực hiện các thủ tục đánh giá.'
Tuy nhiên, các khung tiêu chí giải quyết các mối quan tâm lý thuyết
trực tiếp hơn đã được đề xuất bởi Tomlinson (2003b) và Rubdy
(2003). Tomlinson (2003b), ví dụ, đề xuất năm loại tiêu chí đánh giá, mỗi
loại có thể được sử dụng để phát triển một số tiêu chí cụ thể:
• phổ quát (được thúc đẩy bởi lý thuyết SLA): ví dụ: các vật liệu có động
lực không?

• Địa phương (liên quan đến bối cảnh): ví dụ: các tài liệu có được chấp
nhận về mặt văn hóa trong bối cảnh không?
• Phương tiện truyền thông cụ thể (ví dụ: âm thanh hoặc máy tính): ví dụ:
chất lượng âm thanh của vật liệu âm thanh có tốt không?
• nội dung cụ thể (ví dụ: bài kiểm tra hoặc tiếng Anh cho các mục đích cụ
thể (ESP)): ví dụ: các tài liệu có sao chép các loại nhiệm vụ trong thế giới
thực mà nhóm mục tiêu sẽ cần làm không?
• Độ tuổi cụ thể: ví dụ: hình ảnh có khả năng thu hút trẻ em không? Rubdy
(2003) lập luận rằng các tiêu chí đánh giá có thể được tạo ra từ ba khái
niệm chính: giá trị tâm lý; giá trị sư phạm và hiệu lực quy trình. Các thuật
ngữ này được mô tả như sau:
• Giá trị tâm lý: nhu cầu, mục tiêu và yêu cầu sư phạm của người học
• Giá trị sư phạm: Kỹ năng, khả năng, lý thuyết và niềm tin của giáo viên
• Quy trình và giá trị nội dung: Tư duy làm cơ sở cho việc trình bày nội
dung và cách tiếp cận dạy và học của người viết tài liệu tương ứng

Rubdy (2003) cung cấp thêm một bóng để làm rõ các thuật ngữ này. Giá trị
tâm lý bao gồm các khái niệm như độc lập và tự chủ; phát triển bản thân
và sáng tạo. Giá trị sư phạm đề cập đến các khái niệm như hướng
dẫn; lựa chọn và re0ection. Một khía cạnh đặc biệt thú vị trong khuôn khổ
của Rubdy (2003) là sự nhấn mạnh vào sự phát triển của giáo viên: "Một
tiêu chí quan trọng để đánh giá tài liệu sẽ... liên quan đến mức độ mà họ
tham gia vào quan điểm phê phán liên tục phát triển của giáo viên và tạo
điều kiện cho việc mở rộng và tinh chỉnh lược đồ của giáo viên trong quá
trình này' (ibid.: 50). Tính hợp lệ của quy trình và nội dung dường như là
một phạm trù rộng bao gồm các khía cạnh từ phương pháp luận và nội
dung đến bố cục và đồ họa. Tuy nhiên, nó là một khuôn khổ để tạo ra các
tiêu chí chứ không phải là một khuôn khổ của các tiêu chí được thiết lập.
Rõ ràng là từ ba ví dụ này (Grant 1987; Rubdy 2003; Tomlinson 2003b)
rằng các khung tiêu chí có thể khác nhau cả về trọng tâm và phạm vi,
nhưng McGrath (2002: 43) lưu ý các lĩnh vực sau đây phổ biến đối với hầu
hết chúng:

• Thiết kế: bao gồm cả bố cục vật liệu trên trang và sự rõ ràng tổng thể của
tổ chức
• Nội dung ngôn ngữ: Bảo hiểm các mục ngôn ngữ và kỹ năng ngôn ngữ
• Chủ đề: Chủ đề
• Cân nhắc thực tế: ví dụ: tính sẵn có, độ bền và giá cả

Tiêu chí vận hành

Cho dù chúng ta thiết kế, điều chỉnh hoặc áp dụng khuôn khổ nào, chúng
ta cần xem xét cách chúng ta thực sự tạo ra các tiêu chí cụ thể cho từng
danh mục và vận hành khung. McGrath (2002: 40–1) đề xuất quy trình sau:

1. Quyết định danh mục chung

2. Quyết định các tiêu chí cụ thể trong từng hạng mục
3. Quyết định thứ tự các loại chung và tiêu chí cụ thể
4. Quyết định hình thức của lời nhắc và phản hồi

Tuy nhiên, Tomlinson (2003b) đề xuất một quy trình hơi khác: động
não các tiêu chí trước khi chia chúng thành các loại trong khuôn khổ của
mình, ví dụ: phổ quát; địa phương; theo độ tuổi cụ thể. Sau đó, ông đề xuất
một số câu hỏi mà các nhà đánh giá có thể sử dụng để theo dõi và sửa đổi
các tiêu chí mà họ đã tạo ra:

1. Có phải mỗi câu hỏi chỉ hỏi một câu hỏi?

2. Mỗi câu hỏi có thể trả lời được không?
3. Mỗi câu hỏi có phải là không có giáo điều?
4. Mỗi câu hỏi có đáng tin cậy theo nghĩa là những người đánh giá khác sẽ
giải thích nó theo cùng một cách không?

Sau đây là ví dụ về các câu hỏi lần lượt vi phạm từng tiêu chí giám sát này:

1. Các văn bản có xác thực và thú vị không?

2. Các vật liệu sẽ đứng trước thử thách của thời gian?
3. Có thực hành kiểm soát rộng rãi mọi mục ngữ pháp không?
4. Có sự cân bằng tốt giữa bốn kỹ năng không?

Tomlinson (2003b: 27) cũng gợi ý một tập hợp các câu hỏi có thể được sử
dụng rộng rãi hơn để theo dõi các tiêu chí đánh giá trong bất kỳ khung
đánh giá nào:

• Danh sách này có dựa trên một bộ nguyên tắc học ngôn ngữ mạch lạc
không?
• Tất cả các tiêu chí có thực sự là tiêu chí đánh giá không?
• Các tiêu chí có đủ để giúp người đánh giá đưa ra kết luận hữu ích
không?
• Các tiêu chí có được tổ chức một cách có hệ thống (ví dụ thành các danh
mục và danh mục phụ tạo điều kiện cho các phán quyết và quyết định rời
rạc cũng như toàn cầu) không?
• Các tiêu chí có đủ trung lập để cho phép các nhà đánh giá với các ý thức
hệ khác nhau sử dụng chúng không?
• Danh sách có đủ linh hoạt để cho phép các nhà đánh giá khác nhau sử
dụng trong các trường hợp khác nhau không?

Tuy nhiên, ngay cả khi một bộ tiêu chí mạch lạc đã được tạo ra và
phân loại, vẫn có những nhiệm vụ tổ chức khác. Sự cân bằng giữa câu hỏi
mở và câu hỏi đóng là gì? Các danh mục và câu hỏi trong các danh mục
đó nên được sắp xếp theo trình tự như thế nào? Điều thú vị là McGrath
(2013) cảnh báo chống lại 'tính đồng nhất sai', tức là ý tưởng rằng mọi
phần của công cụ đánh giá nên có cùng số lượng câu hỏi và cùng một 'giá
trị chấm điểm'. !is chỉ ra một câu hỏi quan trọng, nhưng o*en bỏ qua: các
tiêu chí nên được 'trọng số' như thế nào, tức là nên gán bao nhiêu điểm
cho mỗi tiêu chí? Ví dụ, sẽ là vô lý khi gắn trọng lượng bằng nhau vào hai
câu hỏi dưới đây:

• Cuốn sách có bìa hấp dẫn không?

• Cuốn sách có đề cập đến mục tiêu của giáo trình không?

Do đó, chúng ta đã thấy rằng bằng cách tham khảo lý thuyết, bằng cách
làm cho các nguyên tắc và giá trị của chúng ta trở nên rõ ràng, và bằng
cách khai thác một cách khôn ngoan các công trình trước đây trong "eld",
có thể tạo ra các khung đánh giá chi tiết, toàn diện và có nguyên tắc có thể
được vận hành với ít nhất một mức độ khách quan bởi một hoặc nhiều nhà
đánh giá. Tuy nhiên, chúng ta cần ghi nhớ, như Riazi (2003) lưu ý, rằng
các tiêu chí đánh giá thay đổi theo thời gian khi quan điểm về giảng dạy
ngôn ngữ thay đổi.
AI THỰC HIỆN ĐÁNH GIÁ?
Một vấn đề tiềm ẩn với các đánh giá có nguyên tắc dựa trên các tiêu chí rõ
ràng là chúng có thể tạo ấn tượng rằng đánh giá là, hoặc nên là, lĩnh vực
độc quyền của chuyên gia. Ví dụ, các đánh giá được công bố trên Tạp chí
ELT của Tomlinson et al. (2001), chứa hơn một trăm tiêu chí. Tuy nhiên,
điều quan trọng là phải nhận ra rằng một phương pháp đánh giá phải phù
hợp với người đánh giá, mục đích của đánh giá và đối tượng. Đánh giá
của Tomlinson et al. (2001) phù hợp với mục đích: nó được viết bởi các
học giả và các học viên có kinh nghiệm cho các học giả và các học viên có
kinh nghiệm để nhận xét về sự tương đồng giữa một loạt các giáo
trình. Một bản tóm tắt các phát hiện có thể được viết dưới dạng có thể truy
cập được cho giáo viên, nhưng có lẽ một nhóm giáo viên bận rộn sẽ không
thể áp dụng một khuôn khổ như vậy. Chúng ta cần xem xét vai trò trong
việc đánh giá các bên liên quan không phải là chuyên gia trong lĩnh vực cụ
thể này: giáo viên, người học và nhà xuất bản.
Giáo viên với tư cách là người đánh giá
Masuhara (2011) có những đề xuất thú vị về cách giáo viên có thể tham
gia vào việc đánh giá trước khi sử dụng. Ví dụ, cô gợi ý rằng các cuộc họp
có thể được tổ chức nơi các tài liệu mới được trình bày và trình diễn cho
giáo viên, dẫn đến các cuộc thảo luận về những hoạt động mà giáo viên
thích và quan trọng là tại sao họ thích các hoạt động này hơn các hoạt
động khác. Masuhara cũng gợi ý rằng giáo viên có thể được trình bày với
các tài liệu minh họa các cách tiếp cận khác nhau, ví dụ, để sử dụng cùng
một văn bản. Những hoạt động này có điểm chung, chúng tôi sẽ tranh
luận, là thảo luận có cấu trúc và tập trung để gợi ra những gì giáo viên
đang thực sự tìm kiếm trong tài liệu. Chúng tôi đã lưu ý rằng McGrath
(2002: 120) đề xuất một số câu hỏi mà giáo viên có thể tự hỏi mình để hệ
thống hóa đánh giá sử dụng whilst. Giáo viên, McGrath (2013) gợi ý, có thể
lưu giữ hồ sơ sử dụng, lưu ý các phần của tài liệu họ đã sử dụng hoặc bỏ
qua, phần nào diễn ra tốt đẹp, v.v. Sau đó, hồ sơ có thể thông báo cho việc
điều chỉnh và bổ sung các tài liệu. Re0ection có cấu trúc dọc theo các dòng
này cũng được đề xuất bởi Masuhara (2011), và có thể áp dụng cho đánh
giá sau sử dụng cũng như đánh giá sử dụng whilst. Điều cần thiết để củng
cố tất cả các hoạt động tiềm năng này, Masuhara (2011) nhấn mạnh, là sự
công nhận của tổ chức rằng đánh giá tài liệu là quan trọng và vai trò của
giáo viên trong quá trình này là rất quan trọng.
Người học với tư cách là người đánh giá
Người học, như McGrath (2013: 151) lập luận, cũng có một vai trò quan
trọng trong việc đánh giá: 'người học có khả năng đánh giá. Họ không phải
lúc nào cũng chọn cùng một điểm trên thang điểm. Họ phân biệt đối
xử. Nếu có cơ hội, họ có thể đưa ra những phán đoán mà đôi khi có thể
gây ngạc nhiên cho giáo viên của họ. Trong số các phương pháp mà ông
đề nghị người học có thể sử dụng là nhật ký người học, đánh giá các
nhiệm vụ và thảo luận kim tự tháp. Một loại đánh giá thú vị, mặc dù có lẽ
gián tiếp có thể đạt được thông qua nghiên cứu ẩn dụ. Như chúng tôi đã
lưu ý trong phần giới thiệu, McGrath (2006) đã thực hiện một nghiên cứu
như vậy, đòi hỏi người học phải tạo ra một phép ẩn dụ cho sách giáo khoa
và quan sát thấy rằng các phản ứng thường đầy màu sắc và chủ yếu là
tích cực.
Nhà xuất bản với tư cách là người đánh giá
Một cái nhìn sâu sắc thú vị về quan điểm của các nhà xuất bản về đánh giá
được cung cấp bởi Amrani (2011), người lưu ý rằng các nhà xuất bản có
thể sử dụng thí điểm hoặc xem xét các tài liệu để xác định sự phù hợp của
chúng. Tuy nhiên, bà chỉ ra rằng việc xem xét (nhận xét về tài liệu của các
bên liên quan) hiện nay phổ biến hơn so với thí điểm như một thực tiễn
đánh giá của các nhà xuất bản, vì họ phải đáp ứng thời hạn sản xuất chặt
chẽ. Điều đặc biệt thú vị là Amrani (ibid.: 273) thu hút sự chú ý đến sự khác
biệt đáng kể giữa đánh giá của nhà xuất bản và các quan điểm khác: "thay
vì đánh giá liệu tài liệu có lý tưởng cho một đối tượng rất cụ thể hay không,
nhà xuất bản thường đánh giá xem tài liệu có phù hợp với phạm vi người
dùng rộng nhất có thể hay ít nhất là đủ linh hoạt để được điều chỉnh dễ
dàng". Amrani (ibid.: 268) cũng nhấn mạnh rằng các nhà xuất bản có phạm
vi hạn chế để sửa đổi tài liệu, vì 'Nội dung khóa học, cách tiếp cận và thiết
kế nhiệm vụ thường được thiết lập bởi các giáo trình thi, hướng dẫn hoặc
tiêu chuẩn như Khung chung châu Âu.' !e CEFR có sẵn tại
http://www.coe.int/t/dg4/linguistic/Source/Framework_EN.pdf
Cho đến nay trong chương này, chúng tôi đã thiết lập rằng việc đánh giá
nên được thúc đẩy bởi một bộ nguyên tắc học tập / giảng dạy rõ ràng và, lý
tưởng nhất, liên quan đến bối cảnh cụ thể"c. Chúng tôi cũng đã lập luận
rằng, trong khi chức năng chính của đánh giá là đánh giá sự phù hợp của
tài liệu cho một bối cảnh dạy và học nhất định, quá trình đánh giá có thể là
một kinh nghiệm bổ ích cho các nhà đánh giá trong việc tiết lộ, ví dụ, sở
thích và niềm tin phương pháp luận của riêng họ. Trong số những người
hưởng lợi tiềm năng của quá trình đánh giá là chính giáo viên. Như
McGrath (2002: 4) nhận xét, "Nếu, như người ta thường nói, kiến thức là
sức mạnh, thì nhận thức rộng hơn về các thủ tục đánh giá vật liệu và hiểu
biết về các khái niệm thường làm nền tảng cho các tiêu chí đánh giá có thể
khuyến khích những người im lặng nói." Điều thú vị là McGrath đề cập đến
"sự hiểu biết về các khái niệm thường làm nền tảng cho các tiêu chí đánh
giá": nếu giáo viên được trao quyền thông qua việc tham gia đánh giá, điều
quan trọng, chúng tôi sẽ lập luận, rằng các thủ tục đánh giá được thực hiện
cho giáo viên. Tuy nhiên, McGrath (2013) đề cập đến một nghiên cứu
được thực hiện bởi Wang (2005), trong đó sáu giáo viên thực hiện đánh
giá dự đoán bằng cách sử dụng danh sách kiểm tra. Các giáo viên, cô báo
cáo, không cảm thấy được trang bị cho nhiệm vụ và thấy nó rất tốn thời
gian. Nếu đánh giá trở thành một hoạt động chính thống, chúng tôi sẽ lập
luận, có hai cách bổ sung cho nhau: (1) giáo viên cần được đào tạo về
đánh giá (McGrath 2013) và (2) chúng ta cần các công cụ đánh giá có thể
quản lý và dễ tiếp cận. Một bước thú vị theo hướng này đã được thực hiện
bởi Evans (2012), người đã tạo ra một bộ công cụ đánh giá được thiết kế
để giúp các nhà quản lý ELT phát triển các công cụ đánh giá phù hợp với
bối cảnh của họ. Nó gợi ý, trong số những thứ khác, thiết lập một hội đồng
giáo viên và tiến trình từ các phương pháp ấn tượng sang các phương
pháp tham chiếu tiêu chí. Khung của Evans (2012), như chúng ta thấy
trong Hình 4.1, tuân theo các giai đoạn chính được đề xuất trong tài liệu,
nhưng điều phân biệt nó là các mẹo 'làm thế nào để' đi kèm với từng giai
đoạn.