Điểm chuẩn (benchmark) AI tiếng Việt là một bộ đề cố định, thường gồm hàng trăm đến hàng nghìn câu hỏi có đáp án, dùng để chấm và so sánh các mô hình ngôn ngữ trên cùng một thước đo; con số cho biết mô hình làm tốt loại đề đó tới đâu, nhưng không cho biết mô hình có hợp với việc cụ thể của bạn hay không. Muốn dùng điểm chuẩn cho đúng, cần biết bộ đề được làm thế nào, chấm thế nào, và có những bẫy nào khiến con số đẹp hơn thực tế.
Khi một mô hình mới ra mắt, thông cáo thường kèm bảng điểm trên nhiều bộ đề, đôi khi có cả bộ đề tiếng Việt. Người đọc dễ hiểu điểm cao hơn là "giỏi tiếng Việt hơn". Thực tế phức tạp hơn nhiều. Bài này giải thích các loại điểm chuẩn hay gặp, những điều chúng đo tốt, những điều chúng bỏ sót, và cách kết hợp với phép thử của riêng bạn. Bài cố ý không nêu điểm số của mô hình nào, vì con số thay đổi theo từng phiên bản và theo cách chạy.
Điểm chuẩn hoạt động thế nào
Một điểm chuẩn gồm ba phần: bộ đề, cách cho mô hình làm đề, và cách chấm. Bộ đề có thể là câu hỏi trắc nghiệm bốn lựa chọn, câu hỏi có đáp án ngắn, đoạn văn cần tóm tắt, câu cần dịch, hoặc tình huống hội thoại. Cách cho làm đề gồm câu lệnh mẫu, số ví dụ mẫu đưa kèm, giới hạn độ dài trả lời. Cách chấm có thể là so khớp đáp án, so với bản tham chiếu bằng một chỉ số tự động, hoặc nhờ người hay một mô hình khác chấm.
Ba phần này đều ảnh hưởng tới con số. Cùng một bộ đề trắc nghiệm, chỉ đổi cách viết câu lệnh hay số ví dụ mẫu đã có thể làm điểm một mô hình nhích lên hay tụt xuống vài điểm phần trăm. Vì vậy khi so hai con số, câu đầu tiên cần hỏi là chúng có được chạy cùng điều kiện không. Hai bảng điểm do hai nhóm khác nhau công bố, mỗi nhóm một cách chạy, thường không so trực tiếp được.
Trong cộng đồng tiếng Anh, có những bộ đề đã thành thước đo quen thuộc, ví dụ MMLU gồm câu trắc nghiệm thuộc hàng chục lĩnh vực từ toán đến luật. Với tiếng Việt, có các bộ đề do cộng đồng nghiên cứu trong nước và quốc tế xây dựng, một số làm mới từ đầu, một số dịch hoặc chuyển thể từ bộ đề tiếng Anh. Trước khi tin một con số, hãy tìm tài liệu mô tả bộ đề: ai làm, nguồn câu hỏi từ đâu, có công khai cách chạy không.
Các loại điểm chuẩn tiếng Việt hay gặp
Kiến thức và lập luận dạng trắc nghiệm. Câu hỏi nhiều lựa chọn về khoa học, xã hội, đề thi các cấp. Dễ chấm, dễ so, nên phổ biến nhất. Điểm yếu là nó đo khả năng chọn đúng đáp án chứ không đo khả năng viết, giải thích hay thừa nhận khi không biết.
Hiểu văn bản. Đọc một đoạn văn tiếng Việt rồi trả lời câu hỏi, xác định quan hệ suy luận giữa hai câu, phân loại cảm xúc bình luận. Gần với nhiều việc thật như đọc phản hồi khách hàng, nhưng đoạn văn trong đề thường sạch sẽ hơn văn bản đời thường.
Sinh văn bản. Tóm tắt, viết lại, trả lời mở. Khó chấm tự động nhất vì có nhiều cách viết đúng. Các chỉ số dựa trên mức trùng từ với bản tham chiếu thường không phản ánh tốt chất lượng thật với tiếng Việt, nên ngày càng nhiều bộ đề dùng người chấm hoặc mô hình chấm.
Dịch máy. Dịch Anh–Việt, Việt–Anh, chấm bằng các chỉ số như BLEU hay COMET. Mỗi chỉ số có giới hạn riêng, và điểm cao trên tin tức chưa chắc cao trên văn bản hội thoại hay chuyên ngành.
Kiến thức văn hoá, xã hội Việt Nam. Câu hỏi về lịch sử, địa lý, văn học, phong tục, quy định hành chính. Loại này quan trọng với người dùng Việt nhưng dễ lỗi thời, nhất là phần hành chính sau đợt sắp xếp đơn vị năm 2025.
An toàn và thiên lệch. Đo xem mô hình có từ chối yêu cầu nguy hại, có định kiến vùng miền hay giới không. Bộ đề loại này viết bằng tiếng Việt còn ít, nhiều nơi phải dịch từ bộ tiếng Anh, mất bớt sắc thái văn hoá.
Bẫy thứ nhất: đề dịch từ tiếng Anh
Dịch một bộ đề tiếng Anh sẵn có sang tiếng Việt là cách nhanh để có điểm chuẩn tiếng Việt, và cũng là nguồn sai lệch lớn. Câu hỏi được dịch mang nội dung của bối cảnh khác: luật Mỹ, lịch sử châu Âu, đơn vị đo inch và pound, tên người phương Tây. Một mô hình làm tốt đề này chứng tỏ nó hiểu tiếng Việt đủ để giải đề về nước Mỹ, nhưng chưa nói được nó hiểu xã hội Việt Nam tới đâu.
Chất lượng bản dịch cũng là vấn đề. Nếu đề được dịch bằng máy rồi chỉ rà sơ, câu hỏi có thể mang giọng văn dịch, lựa chọn trả lời bị lệch nghĩa, hoặc đáp án đúng trong bản gốc trở thành mơ hồ trong bản dịch. Khi đó điểm thấp có thể do đề hỏng chứ không phải do mô hình kém.
Còn một hiệu ứng tinh vi hơn: mô hình có thể đã gặp bản tiếng Anh của đề trong dữ liệu huấn luyện. Khi làm bản tiếng Việt, nó nhận ra câu hỏi qua nội dung và nhớ lại đáp án, điểm tăng mà năng lực tiếng Việt không tăng. Vì những lý do này, các bộ đề viết mới bằng tiếng Việt, do người Việt soạn từ tài liệu Việt Nam, thường đáng tin hơn để đo năng lực với bối cảnh trong nước. Khi đọc mô tả một bộ đề, hãy tìm xem nó thuộc loại nào.
Bẫy thứ hai: rò rỉ đề vào dữ liệu huấn luyện
Một bộ đề được công khai trên mạng càng lâu, khả năng nó lọt vào dữ liệu huấn luyện của các mô hình mới càng cao. Dữ liệu huấn luyện thường gồm phần lớn văn bản công khai trên web, và một kho đề trên một trang chia sẻ mã nguồn hay một bài báo khoa học đều có thể bị cào vào. Khi đó mô hình không giải đề mà nhớ đề, giống học sinh học thuộc đáp án. Hiện tượng này thường được gọi là nhiễm bẩn hay rò rỉ dữ liệu kiểm tra.
Người dùng bình thường không kiểm được rò rỉ, nhưng có thể nhận ra dấu hiệu. Một mô hình đạt điểm rất cao trên một bộ đề cũ nhưng làm kém rõ rệt trên câu hỏi mới cùng loại do bạn tự viết là dấu hiệu đáng ngờ. Một mô hình trả lời đúng cả những câu mà trong đề gốc có đáp án sai, tức là học theo lỗi của đề, cũng là dấu hiệu.
Các nhóm làm điểm chuẩn nghiêm túc đối phó bằng nhiều cách: giữ một phần đề kín không công bố, thay đề định kỳ, dùng câu hỏi sinh mới theo thời gian, hoặc chỉ chấm qua máy chủ của nhóm. Khi đọc bảng điểm, bộ đề có phần kín hoặc được làm mới gần đây đáng tin hơn bộ đề đã công khai nhiều năm.
Gần với rò rỉ là hiện tượng bộ đề bão hoà. Khi nhiều mô hình cùng đạt điểm sát mức tối đa, bộ đề không còn phân biệt được ai hơn ai, và những chênh lệch nhỏ ở đỉnh bảng phần lớn phản ánh lỗi trong chính bộ đề: câu có đáp án gốc sai, câu mơ hồ có hai đáp án hợp lý. Lúc đó cộng đồng thường chuyển sang bộ đề khó hơn hoặc mới hơn. Với người đọc, bài học là đừng chú ý quá vào chênh lệch ở đỉnh một bộ đề đã cũ, vì nó nói rất ít về khác biệt thật khi dùng.
Đọc một bảng điểm cho tỉnh táo
Khi gặp một bảng so sánh mô hình trên điểm chuẩn tiếng Việt, đi qua các câu hỏi sau trước khi rút ra kết luận:
- Bộ đề đo cái gì, câu hỏi lấy từ đâu, viết mới hay dịch? Đọc tài liệu mô tả, không chỉ đọc tên bộ đề.
- Các mô hình có được chạy cùng câu lệnh, cùng số ví dụ mẫu, cùng cách chấm không? Bảng tổng hợp từ nhiều nguồn khác nhau rất hay lệch điều kiện.
- Ai chạy? Nhà phát triển tự công bố điểm của mình khác với một bên độc lập chạy lại. Không có nghĩa nhà phát triển gian lận, nhưng họ có động cơ chọn cách chạy có lợi.
- Chênh lệch bao nhiêu thì đáng kể? Hai mô hình cách nhau một hai điểm phần trăm trên một bộ đề vài trăm câu thường nằm trong mức dao động, không nên coi là hơn kém.
- Phiên bản nào? Tên sản phẩm giữ nguyên nhưng mô hình bên dưới có thể đổi nhiều lần. Điểm của phiên bản tháng trước không nói về phiên bản hôm nay.
- Điểm trên bộ đề có liên quan tới việc bạn cần làm không? Mô hình giỏi trắc nghiệm khoa học chưa chắc viết thư khách hàng tự nhiên.
Nếu phần lớn câu trả lời là "không rõ", hãy coi bảng điểm như thông tin tham khảo sơ bộ, dùng để chọn ra vài ứng viên, rồi tự thử các ứng viên đó bằng bộ câu hỏi riêng của mình.
Điểm chuẩn và phép thử riêng bổ sung cho nhau
Điểm chuẩn công khai có giá trị thật: nó đo trên nhiều câu, có quy trình chấm thống nhất, và cho phép theo dõi tiến bộ chung của lĩnh vực qua thời gian. Nhờ các bộ đề tiếng Việt, cộng đồng thấy được mô hình đa ngôn ngữ còn kém tiếng Việt ở đâu, và các nhóm làm mô hình có mục tiêu để cải thiện. Không có điểm chuẩn chung thì mọi tuyên bố "mô hình này giỏi tiếng Việt" đều không kiểm được.
Nhưng với một tổ chức hay một cá nhân cần chọn công cụ, phép thử riêng mới là thứ quyết định. Một bộ 30 đến 50 câu lấy từ đúng công việc của bạn, chấm theo tiêu chí của bạn, chạy với cùng điều kiện, thường nói nhiều hơn bất kỳ bảng xếp hạng nào. Bộ câu riêng còn có lợi thế không bị rò rỉ, vì nó chưa từng xuất hiện trên mạng.
Cách làm hợp lý là đi hai bước. Bước một, dùng điểm chuẩn công khai để loại bớt những mô hình rõ ràng yếu tiếng Việt và chọn ra vài ứng viên. Bước hai, chạy bộ câu riêng trên các ứng viên đó, có người chấm, rồi quyết định. Khi công cụ cập nhật, lặp lại bước hai. Cách làm này tốn vài buổi nhưng tránh được việc chọn công cụ theo một con số không liên quan tới công việc thật.
Câu hỏi thường gặp
Benchmark và điểm chuẩn có phải là một không?
Trong ngữ cảnh đánh giá AI, hai từ dùng cùng nghĩa: một bộ đề cố định kèm cách chấm, dùng để so các mô hình trên cùng thước đo. Có người gọi là bộ đánh giá hay bộ kiểm thử chuẩn. Từ "điểm chuẩn" ở đây không liên quan tới điểm chuẩn tuyển sinh đại học.
Mô hình đứng đầu bảng xếp hạng tiếng Việt có phải là tốt nhất cho mọi việc?
Không. Bảng xếp hạng phản ánh kết quả trên những bộ đề cụ thể, với cách chạy cụ thể. Mô hình đứng đầu có thể kém hơn mô hình khác ở việc bạn cần như viết văn bản hành chính, hiểu bình luận phương ngữ hay tóm tắt hợp đồng. Hãy dùng bảng xếp hạng để chọn ứng viên, rồi tự thử.
Vì sao cùng một mô hình mà hai nơi công bố điểm khác nhau?
Thường do khác điều kiện chạy: câu lệnh mẫu, số ví dụ đưa kèm, cách trích đáp án từ câu trả lời, phiên bản mô hình, có dùng chế độ suy luận dài hay không. Những khác biệt nhỏ này đủ làm lệch vài điểm. Chỉ nên so con số trong cùng một bảng do cùng một bên chạy.
Có cách nào biết một mô hình đã học thuộc đề không?
Người ngoài khó chứng minh chắc chắn. Dấu hiệu đáng ngờ là điểm rất cao trên bộ đề cũ nhưng kém trên câu hỏi mới cùng loại, hoặc mô hình lặp lại cả lỗi có sẵn trong đáp án gốc. Các nhóm nghiên cứu dùng phần đề giữ kín, đề làm mới định kỳ để giảm rủi ro này.
Tự làm một bộ điểm chuẩn nhỏ cho công ty có khó không?
Không khó nếu giữ quy mô vừa phải. Gom 30 đến 100 câu từ việc thật, đã xoá thông tin cá nhân và bí mật kinh doanh, viết đáp án hoặc tiêu chí chấm trước, cố định câu lệnh và cách chạy. Không đăng bộ câu lên mạng để giữ nó sạch. Chạy lại mỗi khi đổi công cụ hay mô hình.
Điểm chuẩn tiếng Việt có đo được độ an toàn không?
Có một số bộ đề nhắm vào an toàn và thiên lệch, nhưng loại viết riêng bằng tiếng Việt còn ít, nhiều bộ dịch từ tiếng Anh nên thiếu sắc thái văn hoá. Với sản phẩm phục vụ người Việt, nên bổ sung phép thử riêng về từ chối đúng mực, nội dung nhạy cảm theo bối cảnh trong nước.