Với những câu trả lời AI tiếng Việt không có một đáp án đúng duy nhất, như thư khách hàng, bản tóm tắt hay lời giải thích, cách đánh giá đáng tin nhất vẫn là để người hiểu việc chấm, với bốn điều kiện: hướng dẫn chấm viết rõ tiêu chí, thang điểm ngắn hoặc chấm theo cặp, buổi chấm thử để thống nhất cách hiểu, và đo độ đồng thuận giữa những người chấm. Thiếu một trong bốn, kết quả dễ trở thành ý kiến cá nhân khoác áo con số.
Chỉ số tự động như mức trùng từ với bản mẫu chấm nhanh nhưng bỏ sót nhiều thứ quan trọng với tiếng Việt: xưng hô có hợp không, giọng văn có tự nhiên không, có thêm thắt chi tiết không có trong tài liệu gốc không. Người chấm thấy được những thứ đó. Bài này hướng dẫn tổ chức một đợt chấm nhỏ, phù hợp với nhóm sản phẩm, phòng ban hay lớp học muốn so sánh công cụ hoặc theo dõi chất lượng một trợ lý AI nội bộ.
Khi nào cần người chấm, khi nào không
Không phải việc nào cũng cần người chấm. Nếu câu hỏi có đáp án đóng, như "tỉnh nào hợp nhất với Thành phố Hồ Chí Minh năm 2025" hay trích một con số từ hoá đơn, so khớp tự động là đủ và rẻ hơn nhiều. Người chấm đáng tiền ở những việc mở: viết, tóm tắt, giải thích, trả lời khách hàng, đóng vai, nơi có nhiều cách đúng và cái sai nằm ở sắc thái.
Với tiếng Việt, danh sách việc cần người chấm dài hơn tiếng Anh một chút, vì các chỉ số tự động phần lớn được phát triển và kiểm chứng trên tiếng Anh. Một câu trả lời xưng "bạn" với khách hàng lớn tuổi, hay dùng "được" sai chỗ thành văn dịch, có thể vẫn đạt điểm trùng từ cao. Ngược lại, một câu trả lời diễn đạt khác hẳn bản mẫu nhưng đúng và tự nhiên lại bị chấm thấp.
Người chấm cũng tốn kém: tốn thời gian, cần người hiểu việc, và kết quả phụ thuộc người chấm. Vì vậy cách làm phổ biến là phối hợp. Dùng chấm tự động hoặc mô hình chấm cho khối lượng lớn hằng ngày, dùng người chấm định kỳ trên một mẫu nhỏ hơn để hiệu chỉnh, và luôn dùng người chấm khi cần ra quyết định quan trọng như chọn công cụ hay thay mô hình.
Một lợi ích ít được nhắc của người chấm là họ để lại ghi chú. Điểm số cho biết câu trả lời kém, còn ghi chú cho biết kém vì sao: sai xưng hô ở câu thứ hai, bỏ sót điều kiện bảo hành, dùng từ "quý khách" ba lần trong một đoạn. Những ghi chú này là nguyên liệu trực tiếp để sửa câu lệnh hệ thống, bổ sung tài liệu cho trợ lý, hoặc viết thêm ví dụ mẫu. Vì vậy, nên yêu cầu người chấm ghi một dòng lý do cho mỗi câu bị chấm thấp, dù việc này làm đợt chấm chậm hơn một chút.
Viết hướng dẫn chấm: phần quan trọng nhất
Hướng dẫn chấm là tài liệu quyết định chất lượng cả đợt đánh giá. Hai người cùng đọc một câu trả lời sẽ chấm khác nhau nếu mỗi người tự hiểu "tốt" theo kiểu mình. Một hướng dẫn chấm tốt thường có:
- Mục đích của đợt chấm trong một hai câu: đang so cái gì với cái gì, kết quả dùng để làm gì. Người chấm hiểu mục đích sẽ tự xử lý ca khó hợp lý hơn.
- Danh sách tiêu chí tách riêng, mỗi tiêu chí một định nghĩa ngắn. Với câu trả lời tiếng Việt, bộ tiêu chí hay dùng gồm: đúng nội dung, đầy đủ ý cần thiết, trung thành với tài liệu gốc (không bịa), tiếng Việt tự nhiên và đúng chính tả, xưng hô và mức trang trọng hợp ngữ cảnh, an toàn.
- Mô tả từng mức điểm bằng lời, kèm ví dụ thật. Không viết "3 điểm: khá", mà viết "3 điểm: đúng nội dung, có một lỗi diễn đạt nhỏ không gây hiểu lầm", rồi dán một câu trả lời minh hoạ.
- Danh sách ca khó và cách xử lý: câu trả lời đúng nhưng quá dài, câu trả lời từ chối có lý do, câu trả lời đúng một nửa, câu trả lời viết bằng tiếng Anh xen tiếng Việt.
- Luật ưu tiên khi các tiêu chí xung đột, ví dụ "một chi tiết bịa có thể gây hại thì tiêu chí trung thành bằng 1, bất kể văn hay tới đâu".
- Hướng dẫn thao tác: chấm trong bảng nào, ghi chú ở đâu, gặp câu không chấm được thì đánh dấu thế nào.
Hướng dẫn chấm nên dài một hai trang, không hơn. Dài quá người chấm không đọc hết; ngắn quá thì không đủ để thống nhất. Sau mỗi đợt chấm, cập nhật thêm những ca khó mới gặp.
Chọn thang điểm hay chấm theo cặp
Có hai cách chấm phổ biến. Cách thứ nhất là chấm tuyệt đối theo thang, thường từ 1 đến 5 cho từng tiêu chí, gọi là thang Likert. Ưu điểm là mỗi câu trả lời có điểm riêng, theo dõi được qua thời gian. Nhược điểm là người chấm khác nhau dùng thang khác nhau: có người khó tính hiếm khi cho 5, có người dễ tính ít khi cho dưới 3. Thang càng nhiều mức càng khó thống nhất; nhiều nhóm chọn thang 3 mức (không đạt, tạm được, tốt) cho tiêu chí khó định nghĩa như độ tự nhiên.
Cách thứ hai là chấm theo cặp: đặt hai câu trả lời cho cùng một câu hỏi cạnh nhau, người chấm chọn câu tốt hơn hoặc chọn hoà. Con người so sánh tương đối dễ và ổn định hơn chấm tuyệt đối, nên cách này thường cho độ đồng thuận cao hơn. Nhược điểm là chỉ biết hơn kém, không biết tốt tới mức nào, và số cặp tăng nhanh khi so nhiều công cụ.
Một gợi ý thực dụng: khi chọn giữa hai ba công cụ, dùng chấm theo cặp. Khi theo dõi chất lượng một trợ lý nội bộ qua nhiều tháng, dùng thang điểm ngắn với tiêu chí tách riêng. Dù chọn cách nào, cũng nên chấm mù: người chấm không biết câu trả lời đến từ công cụ nào, và thứ tự hai câu trong cặp được xáo ngẫu nhiên. Biết nguồn là đủ để định kiến len vào, kể cả khi người chấm cố công bằng.
Tổ chức một đợt chấm nhỏ từng bước
Một đợt chấm cho nhóm nhỏ, khoảng 50 câu hỏi và ba người chấm, có thể làm xong trong vài ngày theo các bước sau:
- Chuẩn bị bộ câu hỏi và chạy các công cụ cần so, cùng điều kiện. Xoá mọi thông tin cá nhân và bí mật kinh doanh khỏi câu hỏi trước khi chạy.
- Xoá dấu vết nguồn khỏi câu trả lời: những câu kiểu "là một mô hình của hãng X" phải được che đi để chấm mù thật sự.
- Chọn người chấm hiểu việc. Với câu trả lời về chăm sóc khách hàng, người từng làm chăm sóc khách hàng chấm tốt hơn kỹ sư. Nếu đối tượng phục vụ là cả nước, nên có người chấm từ nhiều vùng để phát hiện lỗi phương ngữ.
- Tổ chức buổi chấm thử: cả nhóm cùng chấm 8 đến 10 câu, so kết quả, thảo luận những chỗ lệch, sửa hướng dẫn chấm cho rõ hơn.
- Chấm chính thức độc lập: mỗi người tự chấm, không bàn với nhau trong lúc chấm.
- Cho ít nhất một phần câu hỏi được hai hoặc ba người cùng chấm để đo độ đồng thuận. Nếu nguồn lực hạn chế, phần trùng này có thể chỉ chiếm 20 đến 30 phần trăm.
- Tổng hợp kết quả, đo đồng thuận, đọc lại những câu bị chấm lệch nhiều nhất, rồi mới kết luận.
Đừng bỏ bước chấm thử. Đây là lúc phát hiện ra mỗi người hiểu "tự nhiên" hay "đầy đủ" một kiểu, và sửa ở đây rẻ hơn rất nhiều so với phát hiện khi đã chấm xong hết.
Đo độ đồng thuận giữa người chấm
Độ đồng thuận cho biết kết quả có đáng tin hay không. Nếu ba người chấm cùng một câu trả lời mà mỗi người một ý, điểm trung bình của họ gần như vô nghĩa. Cách đo đơn giản nhất là tỷ lệ trùng: bao nhiêu phần trăm số câu mà hai người cho cùng điểm hoặc cùng chọn. Cách này dễ hiểu nhưng bị thổi phồng khi phần lớn câu trả lời rơi vào một mức, vì khi đó hai người đoán bừa cũng hay trùng.
Vì vậy người ta dùng các chỉ số có hiệu chỉnh cho khả năng trùng ngẫu nhiên. Với hai người chấm, chỉ số kappa của Cohen là lựa chọn quen thuộc; với nhiều người chấm hoặc có câu thiếu điểm, hệ số alpha của Krippendorff linh hoạt hơn. Không cần tính tay, các công cụ bảng tính và thư viện thống kê đều hỗ trợ. Điều cần nhớ là chỉ số thấp không có nghĩa người chấm kém, mà thường là tiêu chí chưa rõ hoặc câu hỏi quá mơ hồ.
Khi đồng thuận thấp, đọc lại những câu bị chấm lệch nhiều nhất. Thường sẽ thấy một trong ba nguyên nhân: tiêu chí định nghĩa chưa đủ cụ thể, câu hỏi có nhiều cách hiểu, hoặc người chấm có nền khác nhau, ví dụ người miền Nam thấy một cách nói là tự nhiên còn người miền Bắc thấy lạ. Nguyên nhân thứ ba không phải lỗi, mà là thông tin quý: nó cho biết câu trả lời có thể ổn với nhóm người dùng này nhưng chưa ổn với nhóm kia.
Những lỗi hay gặp khi chấm câu trả lời tiếng Việt
Lỗi thứ nhất là bị cuốn theo độ dài và độ trơn tru. Câu trả lời dài, nhiều đề mục, giọng tự tin thường được chấm cao hơn dù nội dung không hơn, thậm chí có chi tiết bịa. Cách chống là tách tiêu chí trung thành và đúng nội dung ra riêng, chấm trước, và có luật rõ ràng về độ dài phù hợp.
Lỗi thứ hai là bỏ qua lỗi xưng hô và giọng văn dịch vì "nội dung đúng là được". Với người dùng Việt, một thư trả lời khách hàng đúng nội dung nhưng xưng hô lệch hoặc câu cú kiểu dịch vẫn khiến khách khó chịu. Nếu tiêu chí tiếng Việt tự nhiên không được chấm riêng, các lỗi này biến mất khỏi kết quả.
Lỗi thứ ba là mệt mỏi. Sau vài chục câu, người chấm đọc lướt hơn, cho điểm dễ hơn hoặc khó hơn. Chia nhỏ phiên chấm, mỗi phiên không quá một giờ, và xáo thứ tự câu hỏi cho từng người chấm để mệt mỏi không dồn vào cùng một nhóm câu. Lỗi thứ tư là người chấm tự kiểm chứng không đủ: khi câu trả lời có thông tin thực tế, như tên văn bản, mốc thời gian, người chấm phải tra nguồn chứ không chấm theo cảm giác "nghe có vẻ đúng". Ghi rõ trong hướng dẫn nguồn nào được dùng để tra.
Câu hỏi thường gặp
Cần bao nhiêu người chấm cho một đợt đánh giá nhỏ?
Với nhóm nhỏ, hai đến ba người chấm là đủ để đo đồng thuận và giảm ảnh hưởng của một người khó tính hay dễ tính. Quan trọng hơn số lượng là người chấm hiểu việc và đã qua buổi chấm thử. Nếu sản phẩm phục vụ nhiều vùng, nên có người chấm đến từ các vùng khác nhau.
Có nên chấm bằng thang 10 điểm cho quen không?
Thang 10 điểm quen với người Việt nhưng khó thống nhất giữa người chấm, vì khó phân biệt 6 với 7 hay 7 với 8. Thang 3 đến 5 mức có mô tả bằng lời cho từng mức thường cho kết quả ổn định hơn. Nếu cần so sánh hai công cụ, chấm theo cặp lại càng dễ hơn.
Chấm mù có thật sự cần thiết không?
Cần. Khi biết câu trả lời đến từ công cụ nào, người chấm dễ bị ảnh hưởng bởi ấn tượng sẵn có về thương hiệu hay về công cụ mình đang dùng hằng ngày, kể cả khi cố gắng công bằng. Che nguồn và xáo thứ tự là cách rẻ nhất để loại bỏ định kiến này.
Độ đồng thuận bao nhiêu thì chấp nhận được?
Không có ngưỡng chung cho mọi việc. Tiêu chí khách quan như đúng sai nội dung nên đạt đồng thuận cao; tiêu chí cảm nhận như độ tự nhiên thường thấp hơn. Điều quan trọng là theo dõi xu hướng: sau buổi chấm thử và sửa hướng dẫn, đồng thuận phải tăng lên. Nếu không tăng, tiêu chí cần viết lại.
Có dùng sinh viên hay cộng tác viên chấm được không?
Được, với điều kiện có hướng dẫn chấm rõ, qua buổi chấm thử, và việc chấm không đòi hỏi chuyên môn sâu họ không có. Với câu trả lời chuyên ngành như pháp lý, y tế, kỹ thuật, cần người có chuyên môn chấm phần đúng nội dung. Luôn đảm bảo dữ liệu đưa cho người chấm đã được xoá thông tin cá nhân.
Người chấm có thể được thay hoàn toàn bằng AI chấm không?
Chưa nên thay hoàn toàn. Mô hình chấm có những thiên lệch riêng như ưa câu trả lời dài hay ưa câu trả lời giống văn phong của chính nó. Cách làm phổ biến là dùng mô hình chấm cho khối lượng lớn, còn người chấm định kỳ trên một mẫu nhỏ để kiểm và hiệu chỉnh.