Dùng một mô hình ngôn ngữ làm giám khảo chấm câu trả lời của mô hình khác là cách đánh giá nhanh và rẻ cho khối lượng lớn câu trả lời tiếng Việt, nhưng chỉ đáng tin khi đã được hiệu chỉnh với người chấm trên một mẫu, có tiêu chí viết rõ, và đã xử lý các thiên lệch quen thuộc như ưa câu đứng trước, ưa câu dài, ưa văn phong giống mình. Dùng mô hình chấm không kiểm là thay một thước đo chưa biết độ chính xác vào chỗ cảm giác cá nhân.
Cách làm này thường được gọi bằng tiếng Anh là "LLM as a judge". Từ khoảng năm 2023 nó trở nên phổ biến, một phần nhờ các nghiên cứu cho thấy mô hình mạnh có thể khớp khá tốt với đánh giá của người trên nhiều loại câu hỏi mở bằng tiếng Anh. Với tiếng Việt, mức khớp đó không nên mặc định, vì khả năng tiếng Việt của chính mô hình chấm cũng có giới hạn. Bài này giải thích cách hoạt động, các kiểu lệch, và quy trình dùng có kiểm soát.
Mô hình giám khảo làm việc thế nào
Về cơ bản, bạn đưa cho một mô hình ngôn ngữ ba thứ: câu hỏi gốc, câu trả lời cần chấm, và một hướng dẫn chấm. Hướng dẫn có thể yêu cầu cho điểm theo thang, ví dụ từ 1 đến 5 cho mức đúng nội dung, kèm giải thích ngắn. Hoặc bạn đưa hai câu trả lời cho cùng câu hỏi và yêu cầu chọn câu tốt hơn. Có thể đưa thêm bản tham chiếu, tức một câu trả lời mẫu do người viết, để mô hình so.
Ưu điểm rõ nhất là quy mô. Một người chấm cẩn thận có thể chấm vài chục câu trả lời dài trong một giờ; mô hình chấm hàng nghìn câu trong thời gian đó. Điều này cho phép chạy đánh giá sau mỗi lần sửa câu lệnh hệ thống, mỗi lần đổi tài liệu cho trợ lý, thay vì đợi một đợt chấm thủ công vài tuần một lần.
Nhưng mô hình chấm không phải thước đo trung lập. Nó là một mô hình ngôn ngữ với đủ điểm mạnh và điểm yếu của loại công cụ này: có thể hiểu sai câu tiếng Việt mơ hồ, có thể không biết một thông tin thực tế về Việt Nam, có thể bị thuyết phục bởi một câu trả lời trôi chảy nhưng sai. Vì vậy câu hỏi đúng không phải "mô hình chấm có chính xác không", mà là "trên loại việc này, với tiếng Việt, mô hình chấm khớp với người chấm tới đâu".
Các kiểu thiên lệch đã được ghi nhận
Thiên lệch vị trí. Khi chấm theo cặp, mô hình có xu hướng ưu ái câu trả lời đứng ở một vị trí nhất định, thường là câu đứng trước, bất kể nội dung. Các nghiên cứu về mô hình giám khảo năm 2023 đã mô tả hiện tượng này khá rõ. Cách xử lý phổ biến là chấm mỗi cặp hai lần với thứ tự đảo ngược, chỉ tính kết quả khi hai lần nhất quán, còn lại coi là hoà.
Thiên lệch độ dài. Câu trả lời dài hơn, nhiều đề mục hơn thường được chấm cao hơn, kể cả khi phần thêm vào không có giá trị hoặc lạc đề. Với những việc cần ngắn gọn như tin nhắn trả lời khách hay tóm tắt một đoạn, đây là thiên lệch nguy hiểm vì nó kéo hệ thống về phía dài dòng.
Thiên lệch tự ưu ái. Mô hình có xu hướng chấm cao câu trả lời có văn phong giống câu nó tự viết, thường gặp nhất khi giám khảo và thí sinh cùng một họ mô hình. Nếu dùng mô hình chấm để chọn giữa nhiều công cụ, nên dùng giám khảo không thuộc họ nào trong số được chấm, hoặc dùng nhiều giám khảo.
Bị thuyết phục bởi giọng tự tin. Câu trả lời khẳng định chắc nịch, có vẻ dẫn số liệu, thường được chấm cao hơn câu trả lời thận trọng nói rõ chỗ không chắc, dù với người dùng thật thì câu thận trọng an toàn hơn. Kiểu lệch này đặc biệt đáng lo khi chấm câu trả lời về thông tin Việt Nam mà giám khảo không đủ kiến thức để kiểm.
Khoan dung với lỗi tiếng Việt. Một giám khảo có khả năng tiếng Việt hạn chế có thể không nhận ra lỗi xưng hô, lỗi dùng từ, văn dịch. Kết quả là điểm "tiếng Việt tự nhiên" bị thổi lên. Đây là tiêu chí nên để người chấm định kỳ thay vì giao hẳn cho mô hình.
Quy trình dùng mô hình giám khảo có kiểm soát
Một quy trình gọn cho nhóm muốn dùng mô hình chấm trong đánh giá thường xuyên:
- Viết hướng dẫn chấm như viết cho người: tiêu chí tách riêng, mô tả từng mức điểm bằng lời, có ví dụ. Hướng dẫn mơ hồ với người thì cũng mơ hồ với máy.
- Chọn một mẫu hiệu chỉnh khoảng 50 đến 100 câu trả lời, để người chấm theo đúng hướng dẫn đó. Đây là "đáp án" để đo mô hình chấm.
- Cho mô hình chấm cùng mẫu đó, rồi so với người: tỷ lệ trùng, các chỉ số đồng thuận như khi so hai người chấm với nhau, và đọc kỹ những câu lệch.
- Sửa hướng dẫn chấm dựa trên những câu lệch. Thường sẽ phải thêm ví dụ về câu ngắn mà đủ, câu dài mà lạc đề, câu từ chối hợp lý. Chạy lại tới khi mức khớp chấp nhận được.
- Khi chấm theo cặp, chấm hai lần với thứ tự đảo. Khi chấm theo thang, yêu cầu mô hình viết lý do trước rồi mới cho điểm, và đặt luật cụ thể về độ dài phù hợp.
- Đưa vào sử dụng, nhưng định kỳ lấy một mẫu nhỏ mới, chẳng hạn 30 câu mỗi tháng, cho người chấm lại để phát hiện trôi lệch.
- Khi đổi mô hình giám khảo, đổi hướng dẫn chấm, hoặc đổi loại việc được chấm, quay lại bước hai.
Quy trình này tốn công ở lần đầu, nhưng sau đó mỗi lần đánh giá chỉ tốn thời gian máy chạy. Quan trọng nhất là bước hai và ba: không có mẫu người chấm để so thì không ai biết mô hình chấm đang đo cái gì.
Những việc tiếng Việt nên và không nên giao cho giám khảo máy
Mô hình chấm làm khá tốt với những tiêu chí có căn cứ rõ trong văn bản đưa vào. Kiểm tra câu trả lời có trung thành với tài liệu gốc không, có bịa chi tiết không có trong tài liệu không, có trả lời đúng câu được hỏi không, có đủ các ý bắt buộc trong danh sách không. Với những tiêu chí này, giám khảo không cần kiến thức riêng, chỉ cần đọc kỹ hai văn bản và so. Đưa kèm tài liệu gốc vào lời nhắc chấm là điều kiện bắt buộc.
Mô hình chấm làm kém hơn với tiêu chí đòi hỏi kiến thức bên ngoài mà nó có thể không có, ví dụ thông tin hành chính Việt Nam sau năm 2025, quy định mới, tên địa danh mới. Nếu giám khảo có dữ liệu cũ, nó sẽ chấm sai câu trả lời đúng và chấm đúng câu trả lời sai. Với loại tiêu chí này, hoặc đưa tài liệu chuẩn vào lời nhắc chấm, hoặc giao cho người.
Tiêu chí cảm nhận về tiếng Việt, như tự nhiên, đúng giọng vùng miền, xưng hô hợp với một khách hàng lớn tuổi ở miền Tây, là vùng xám. Một số mô hình mạnh bắt được lỗi rõ ràng, nhưng sắc thái tinh tế thì người bản ngữ vẫn đáng tin hơn. Cách làm thực dụng: để máy gắn cờ những câu có khả năng có vấn đề, còn người đọc những câu bị gắn cờ cộng một mẫu ngẫu nhiên.
Viết lời nhắc chấm cho tiếng Việt
Lời nhắc chấm tốt giảm được nhiều thiên lệch. Bảng dưới so sánh cách viết dễ gây lệch với cách viết chặt hơn, ví dụ minh hoạ cho việc chấm câu trả lời chăm sóc khách hàng.
| Thành phần | Cách viết dễ lệch | Cách viết chặt hơn |
|---|---|---|
| Tiêu chí | "Chấm chất lượng câu trả lời" | liệt kê riêng: đúng theo tài liệu, không bịa, xưng hô hợp ngữ cảnh, độ dài hợp lý |
| Độ dài | không nhắc | "câu trả lời quá 150 chữ mà không cần thiết thì trừ điểm độ dài" |
| Căn cứ | không đưa tài liệu | đưa nguyên văn tài liệu chính sách, yêu cầu chỉ dựa vào đó |
| Thứ tự | giữ nguyên A trước B | chấm hai lần, đảo thứ tự, chỉ nhận khi nhất quán |
| Lý do | cho điểm trước, lý do sau | yêu cầu trích đoạn làm căn cứ rồi mới cho điểm |
| Không chắc | buộc phải chọn | cho phép kết luận "không đủ căn cứ để chấm" |
Có thể viết lời nhắc chấm bằng tiếng Việt hoặc tiếng Anh. Một số nhóm thấy viết hướng dẫn bằng tiếng Anh cho kết quả ổn định hơn với vài mô hình, trong khi câu hỏi và câu trả lời vẫn giữ nguyên tiếng Việt. Không có quy tắc chung; cách duy nhất để biết là thử cả hai trên mẫu hiệu chỉnh.
Nếu tài liệu đưa vào lời nhắc chấm có thông tin khách hàng hay bí mật kinh doanh, nhớ xoá hoặc thay bằng dữ liệu giả định trước, giống như với mọi lần gửi dữ liệu cho công cụ AI bên ngoài.
Đọc kết quả của giám khảo máy cho đúng
Điểm của mô hình chấm nên được đọc như một chỉ báo có sai số, không phải như sự thật. Nếu sau khi sửa câu lệnh hệ thống, điểm trung bình tăng từ 3,6 lên 3,7 (ví dụ giả định), chênh lệch đó có thể nằm trong mức dao động của chính giám khảo. Chạy giám khảo hai lần trên cùng bộ câu trả lời để biết nó tự dao động bao nhiêu, rồi mới diễn giải thay đổi.
Xu hướng qua nhiều lần đo thường đáng tin hơn một con số đơn lẻ. Một hệ thống mà điểm giám khảo tụt đều qua ba bản cập nhật liên tiếp là tín hiệu cần người kiểm ngay. Một hệ thống mà điểm giám khảo tăng nhưng phản ánh của người dùng thật không đổi, hoặc tệ đi, là dấu hiệu giám khảo đang đo sai thứ, thường do thiên lệch độ dài hay giọng tự tin.
Cuối cùng, đừng tối ưu hệ thống chỉ để làm đẹp điểm giám khảo. Khi một thước đo trở thành mục tiêu, người ta dễ tìm cách làm đẹp thước đo thay vì cải thiện thứ nó đại diện. Một trợ lý được chỉnh để giám khảo máy thích có thể trở nên dài dòng và khoa trương hơn, trong khi người dùng Việt cần câu trả lời gọn, đúng, lễ phép. Giữ người chấm định kỳ và phản hồi người dùng thật là cách chống lại vòng lặp này.
Câu hỏi thường gặp
Có nên dùng chính chatbot đang được đánh giá để tự chấm mình không?
Không nên. Mô hình có xu hướng ưu ái văn phong giống câu nó tự viết, nên tự chấm dễ cho kết quả đẹp hơn thực tế. Nếu so nhiều công cụ, dùng một giám khảo không thuộc họ mô hình nào trong số được chấm, hoặc dùng vài giám khảo khác nhau rồi đối chiếu.
Mô hình giám khảo cần mạnh hơn mô hình được chấm không?
Thường nên dùng mô hình có năng lực tương đương hoặc mạnh hơn, nhất là với tiếng Việt. Một giám khảo yếu tiếng Việt sẽ bỏ sót lỗi xưng hô, văn dịch, thông tin sai về Việt Nam. Dù dùng mô hình nào, vẫn phải hiệu chỉnh với người chấm trên một mẫu trước khi tin kết quả.
Chấm theo thang điểm hay chấm theo cặp thì giám khảo máy ổn định hơn?
Chấm theo cặp thường ổn định hơn vì so sánh tương đối dễ hơn cho điểm tuyệt đối, nhưng dính thiên lệch vị trí nên phải chấm hai lần đảo thứ tự. Chấm theo thang tiện để theo dõi qua thời gian, nhưng điểm có thể trôi khi đổi phiên bản giám khảo. Chọn theo mục đích đánh giá.
Bao lâu cần cho người chấm kiểm lại giám khảo máy một lần?
Nên có một mẫu nhỏ người chấm định kỳ, chẳng hạn hằng tháng hoặc sau mỗi thay đổi lớn của hệ thống. Bắt buộc kiểm lại khi đổi mô hình giám khảo, đổi hướng dẫn chấm, hoặc bắt đầu chấm một loại việc mới mà mẫu hiệu chỉnh cũ chưa bao phủ.
Giám khảo máy có kiểm được thông tin thực tế về Việt Nam không?
Chỉ trong giới hạn kiến thức của nó, và kiến thức đó có thể cũ hoặc sai. Muốn giám khảo kiểm thông tin thực tế, hãy đưa tài liệu chuẩn vào lời nhắc chấm và yêu cầu chỉ dựa vào tài liệu đó. Với thông tin quan trọng như quy định, địa danh hành chính, vẫn cần người tra nguồn chính thức.
Có dùng giám khảo máy để chấm bài làm của học sinh được không?
Bài này nói về chấm câu trả lời của AI, không phải chấm học sinh. Với bài làm của học sinh, việc dùng AI chấm điểm đặt ra vấn đề công bằng, quyền riêng tư và trách nhiệm sư phạm, cần giáo viên quyết định và tuân theo quy định của nhà trường. AI có thể hỗ trợ góp ý, không nên thay giáo viên cho điểm.