Đánh giá AI tiếng Việt bằng người chấm: hướng dẫn chấm, thang điểm, đồng thuận
Người chấm vẫn là thước đo tốt nhất cho câu trả lời AI tiếng Việt, nếu có hướng dẫn chấm rõ, thang điểm hợp lý, buổi chấm thử và cách đo độ đồng thuận.
Người chấm vẫn là thước đo tốt nhất cho câu trả lời AI tiếng Việt, nếu có hướng dẫn chấm rõ, thang điểm hợp lý, buổi chấm thử và cách đo độ đồng thuận.
So sánh chatbot bằng vài câu hỏi rồi chọn theo cảm giác rất dễ sai. Cách giữ điều kiện giống nhau, chấm mù, đổi thứ tự và tính xem chênh lệch có thật không.
Mô hình ngôn ngữ chấm câu trả lời của mô hình khác giúp đánh giá nhanh và rẻ, nhưng có thiên lệch vị trí, độ dài, văn phong. Cách hiệu chỉnh với người chấm.
Câu đúng ngữ pháp mà đọc vẫn thấy lạ thường là văn dịch: bị động thừa, "một cách", danh từ hoá, thành ngữ dịch sát. Cách nhận ra, đo và giảm khi dùng AI.
Chatbot an toàn phải từ chối điều nguy hại nhưng không gạt câu vô hại kiểu "giết thời gian". Cách lập bộ thử tiếng Việt cho cả hai chiều và chấm lời từ chối.