COMET là một chỉ số đánh giá dịch máy dùng mạng nơ-ron: nó đọc câu nguồn, bản dịch của máy và bản dịch tham chiếu, đổi cả ba thành biểu diễn số bằng một mô hình ngôn ngữ đa ngữ, rồi dự đoán điểm mà người chấm chuyên nghiệp có lẽ sẽ cho. Khác BLEU chỉ đếm cụm chữ trùng, COMET được huấn luyện trên hàng loạt điểm do người chấm, nên nhận ra hai câu khác chữ mà cùng nghĩa, và phạt được câu trùng nhiều chữ mà sai một chữ "không".
COMET do nhóm nghiên cứu của Unbabel giới thiệu năm 2020 (Rei và cộng sự, hội nghị EMNLP), và từ đó trở thành một trong các chỉ số được dùng nhiều nhất trong các đợt đánh giá dịch máy. Nó không phải chỉ số duy nhất: còn chrF, BLEURT, các biến thể không cần bản tham chiếu, và chuẩn chấm bằng người MQM. Bài này giải thích từng loại làm gì, vì sao điểm COMET không đọc như điểm thi, và những chỗ nó có thể đánh lừa người làm sản phẩm dịch cho tiếng Việt.
Vì sao cần chỉ số khác ngoài BLEU
BLEU được dùng hơn hai mươi năm vì rẻ và tái lập được, nhưng nó chỉ thấy bề mặt chữ. Ví dụ giả định: câu nguồn "The meeting was postponed", bản tham chiếu là "Cuộc họp đã bị hoãn". Bản dịch A viết "Buổi họp được dời lại", đúng hoàn toàn mà gần như không trùng cụm nào, BLEU chấm rất thấp. Bản dịch B viết "Cuộc họp đã không bị hoãn", trùng gần hết chữ, BLEU chấm cao, trong khi nghĩa ngược hẳn. Với người dùng, lỗi B nguy hiểm hơn A rất nhiều, nhưng BLEU xếp ngược lại.
Với tiếng Việt, độ lệch này còn rõ hơn vì một ý có nhiều cách nói gần nghĩa: "dời", "hoãn", "lùi"; "buổi họp", "cuộc họp", "phiên họp"; có hay không có "đã", "bị", "được". Mô hình ngôn ngữ lớn dịch linh hoạt, hay chọn cách nói khác bản tham chiếu, nên BLEU càng thiệt cho chúng. Các đợt đánh giá chung của hội nghị WMT trong nhiều năm liền so điểm tự động với điểm người chấm, và kết luận lặp lại là các chỉ số dựa trên mô hình nơ-ron khớp với người chấm tốt hơn các chỉ số đếm chữ, nhất là khi các hệ dịch được so đều đã khá tốt.
Điều đó không có nghĩa BLEU vô dụng. Khi theo dõi một hệ thống qua nhiều lần huấn luyện trên cùng tập kiểm tra, BLEU vẫn cho tín hiệu thô hợp lý. Vấn đề chỉ nảy sinh khi dùng nó để kết luận hệ nào "dịch hay hơn" giữa các hệ khác kiến trúc, hoặc khi chênh lệch điểm nhỏ. Lúc đó cần thêm chỉ số bắt được nghĩa.
COMET hoạt động thế nào
Bên trong COMET là một bộ mã hoá đa ngữ được huấn luyện trước trên văn bản của rất nhiều ngôn ngữ (các phiên bản phổ biến dựa trên họ mô hình XLM-RoBERTa), cộng thêm một phần nhỏ phía trên học cách cho điểm. Ba đầu vào là câu nguồn, bản dịch máy và bản tham chiếu được mã hoá riêng, rồi các vectơ được ghép lại theo nhiều cách: so bản dịch với tham chiếu, so bản dịch với nguồn. Phần cho điểm học từ dữ liệu trong đó mỗi cặp câu đã có điểm của người chấm, thường lấy từ các đợt đánh giá WMT các năm trước.
Vì có câu nguồn trong đầu vào, COMET có thể nhận ra bản dịch đúng ý dù khác chữ tham chiếu, miễn là nghĩa khớp với nguồn. Vì bộ mã hoá đã học quan hệ nghĩa giữa từ của nhiều ngôn ngữ, nó biết "dời" và "hoãn" gần nhau, biết "không" làm đổi nghĩa câu. Đây là điểm mạnh căn bản so với đếm chữ.
Nhưng COMET cũng thừa hưởng giới hạn của bộ mã hoá và của dữ liệu điểm người chấm. Nếu một ngôn ngữ chiếm phần nhỏ trong dữ liệu huấn luyện trước, biểu diễn của nó kém tinh hơn. Nếu điểm người chấm dùng để dạy COMET chủ yếu đến từ vài cặp ngôn ngữ lớn, cách nó cho điểm có thể không phản ánh đúng những lỗi đặc thù tiếng Việt, như chọn sai xưng hô hay thiếu loại từ. Người chấm tiếng Việt có thể coi việc gọi giám đốc là "bạn" và xưng "tôi" trong thư công việc là lỗi nặng, còn COMET có thể chỉ trừ nhẹ vì nghĩa thông tin vẫn đúng.
Các chỉ số thường gặp và mỗi loại nhìn thấy gì
Bảng dưới gom các chỉ số hay xuất hiện trong bài báo và báo cáo đánh giá dịch máy. Năm công bố ghi theo bài báo gốc; thang điểm và phiên bản thay đổi theo thời gian, cần đọc tài liệu của bản đang dùng.
| Chỉ số | Cần bản tham chiếu? | Cách chấm | Điểm mạnh | Điểm yếu với tiếng Việt |
|---|---|---|---|---|
| BLEU (2002) | Có | Đếm cụm chữ trùng | Rẻ, tái lập dễ | Phạt cách nói khác, không thấy sai phủ định |
| chrF (Popović, 2015) | Có | Đếm cụm ký tự trùng | Ít phụ thuộc cách tách từ | Vẫn chỉ nhìn bề mặt; dấu sai một ký tự bị trừ ít |
| BLEURT (Google, 2020) | Có | Mô hình học từ điểm người | Bắt nghĩa tốt hơn | Phiên bản đầu thiên tiếng Anh, cần kiểm bản đa ngữ |
| COMET (Unbabel, 2020) | Có, có biến thể không cần | Mô hình đọc nguồn, bản dịch, tham chiếu | Khớp người chấm tốt trong nhiều đợt WMT | Có thể bỏ qua lỗi xưng hô, giọng văn |
| Ước lượng chất lượng (CometKiwi và tương tự) | Không | Chỉ đọc nguồn và bản dịch | Dùng được khi chưa có bản dịch người | Khó bắt bản dịch trơn nhưng bịa |
| MQM | Không (do người làm) | Chuyên gia đánh dấu từng lỗi theo loại và mức nặng | Chi tiết, đáng tin | Tốn công, cần người chấm thạo tiếng Việt |
Nhìn bảng sẽ thấy không có chỉ số nào bao trọn. Cách làm phổ biến trong nghiên cứu hiện nay là báo cáo ít nhất một chỉ số đếm chữ (để so với công trình cũ) và một chỉ số học được, rồi xác nhận các kết luận quan trọng bằng người chấm.
Ước lượng chất lượng: chấm khi không có bản dịch người
Trong sản phẩm thật, phần lớn câu cần dịch chưa có bản tham chiếu nào: email khách vừa gửi, bình luận trên mạng, tài liệu mới. Lúc đó BLEU và COMET thường không dùng được. Hướng giải quyết là ước lượng chất lượng (quality estimation): mô hình chỉ đọc câu nguồn và bản dịch, đoán xem bản dịch tốt đến đâu, thậm chí đánh dấu từ nào nghi sai. CometKiwi là một ví dụ được công bố rộng rãi theo hướng này, và đề tài ước lượng chất lượng có hẳn một nhánh thi riêng ở WMT nhiều năm.
Ứng dụng thực tế dễ thấy nhất là phân luồng: câu nào điểm ước lượng cao thì cho đi thẳng, câu điểm thấp thì chuyển người đọc lại. Ví dụ giả định: một trang hỗ trợ khách hàng dịch hàng nghìn câu hỏi mỗi ngày từ tiếng Anh sang tiếng Việt; thay vì cho người kiểm toàn bộ, nhóm chỉ kiểm phần trăm nhỏ câu có điểm thấp nhất, cộng một mẫu ngẫu nhiên từ phần còn lại để biết bộ lọc có bỏ sót không.
Giới hạn cần nhớ: ước lượng chất lượng chấm theo mức "trông có hợp với câu nguồn không". Bản dịch trôi chảy nhưng sai con số, sai tên riêng, bỏ một vế phụ có thể vẫn được điểm khá, vì mô hình khó thấy thứ bị thiếu. Với tiếng Việt, câu dịch đúng nghĩa mà sai xưng hô gần như luôn lọt. Vì vậy đừng dùng một ngưỡng điểm ước lượng làm cổng duy nhất cho văn bản hợp đồng, y tế hay tài chính, những nơi một chữ sai cũng thành chuyện lớn.
MQM: khi người chấm đánh dấu từng lỗi
MQM (Multidimensional Quality Metrics, tạm dịch "đo chất lượng đa chiều") không phải mô hình máy mà là một khung để người chấm làm việc có hệ thống. Thay vì cho một điểm chung từ 1 đến 100, người chấm đọc từng câu, đánh dấu từng đoạn lỗi, gắn loại lỗi (sai nghĩa, bỏ sót, thêm thắt, thuật ngữ, ngữ pháp, chính tả, văn phong, quy ước địa phương) và mức nặng (nhẹ, nặng, nghiêm trọng). Điểm cuối cùng tính từ tổng lỗi có trọng số.
Từ khoảng năm 2021, các nghiên cứu của Google và các đợt WMT chuyển dần sang dùng MQM do chuyên gia dịch thực hiện làm "chuẩn vàng", sau khi thấy điểm chấm nhanh của người không chuyên đôi khi xếp hạng các hệ thống tốt sai lệch. Kết quả MQM cho biết không chỉ "hệ nào tốt hơn" mà "hệ nào hay mắc loại lỗi gì", thứ rất có ích khi sửa hệ thống.
Muốn áp dụng cho tiếng Việt, nhóm làm cần bổ sung hướng dẫn riêng. Ví dụ: chọn sai xưng hô trong thư trang trọng tính là lỗi văn phong mức nặng hay quy ước địa phương? Thiếu loại từ ("ba mèo") là ngữ pháp nhẹ? Viết địa danh theo đơn vị hành chính cũ, chẳng hạn ghi một huyện đã bỏ từ 7/2025, là lỗi gì? Thống nhất trước những câu này, và đo độ đồng thuận giữa hai người chấm trên một mẫu chung, thì điểm MQM mới so được giữa các đợt.
Tự đánh giá một hệ dịch Anh–Việt cho việc của bạn
Nếu cần chọn hay theo dõi một công cụ dịch cho đơn vị mình, có thể làm một quy trình gọn mà vẫn đáng tin hơn nhìn vài câu thử.
- Gom tập thử 200–500 câu từ đúng loại văn bản bạn sẽ dịch, che hết tên người, số điện thoại, số giấy tờ, thông tin khách hàng trước khi đưa vào bất kỳ công cụ nào.
- Nhờ người dịch giỏi làm bản tham chiếu cho tập đó; nếu được, làm hai bản tham chiếu của hai người để giảm thiên lệch cách nói.
- Cho các hệ dịch cùng tập, giữ nguyên cài đặt, ghi lại phiên bản và ngày chạy vì mô hình trên dịch vụ trực tuyến có thể đổi không báo.
- Tính một chỉ số đếm chữ (BLEU hoặc chrF) và một chỉ số học được (COMET), ghi rõ phiên bản mô hình chấm.
- Lấy một mẫu 50–100 câu, giấu tên hệ, cho người thạo cả hai thứ tiếng đánh dấu lỗi theo vài loại chính: sai nghĩa, bỏ sót, sai số và tên riêng, sai thuật ngữ, sai xưng hô.
- So kết luận của chỉ số và của người. Nếu lệch nhau, tin người và tìm hiểu vì sao chỉ số lệch.
- Lặp lại đợt nhỏ mỗi khi nhà cung cấp đổi mô hình hoặc khi loại văn bản thay đổi.
Con số trong quy trình trên là gợi ý để bắt đầu, không phải chuẩn bắt buộc; tập càng nhỏ thì chênh lệch điểm càng dễ là ngẫu nhiên. Phần quy trình biên tập bản dịch sau khi chọn công cụ thuộc nghề dịch, AI Dịch Thuật có hướng dẫn riêng.
Những cách đọc sai điểm COMET hay gặp
Coi điểm như phần trăm đúng. COMET không phải tỷ lệ câu đúng. Thang điểm phụ thuộc phiên bản mô hình chấm, có phiên bản cho cả điểm âm. Một con số đứng một mình gần như không mang thông tin; chỉ so được giữa các hệ chấm bằng cùng phiên bản trên cùng tập.
So điểm giữa hai bài báo khác tập kiểm tra. Tập tin tức, tập hội thoại, tập y khoa cho mặt bằng điểm khác nhau. Hai bài báo dùng hai tập khác nhau thì không so trực tiếp được, dù cùng là COMET.
Tin chênh lệch rất nhỏ. Chênh nhau vài phần nghìn điểm có thể chỉ là nhiễu. Nghiên cứu nghiêm túc thường kèm kiểm định thống kê, chẳng hạn lấy mẫu lại nhiều lần, để biết chênh lệch có đáng tin không.
Tối ưu hệ thống theo chính chỉ số dùng để chấm. Nếu huấn luyện hoặc chọn bản dịch bằng COMET rồi lại chấm bằng COMET, điểm tăng mà chất lượng thật có thể không tăng tương ứng, vì hệ học cách chiều mô hình chấm. Nên chấm thêm bằng chỉ số khác và bằng người.
Quên phần tiếng Việt riêng. Điểm cao trên tập chung không đảm bảo hệ xử lý tốt xưng hô, địa danh mới, thuật ngữ ngành của bạn. Luôn có một phần chấm thủ công nhắm vào các điểm này.
Câu hỏi thường gặp
COMET có chấm được bản dịch tiếng Việt không?
Có. Các bản COMET phổ biến dựa trên bộ mã hoá đa ngữ có tiếng Việt trong dữ liệu huấn luyện trước, nên dùng được cho cả Anh–Việt và Việt–Anh. Tuy vậy, dữ liệu điểm người chấm dùng để dạy nó chủ yếu từ các cặp ngôn ngữ khác, nên với lỗi đặc thù tiếng Việt như xưng hô, loại từ, độ nhạy có thể thấp hơn.
Điểm COMET bao nhiêu là tốt?
Không có ngưỡng chung. Điểm phụ thuộc phiên bản mô hình chấm, loại văn bản và độ khó tập kiểm tra. Cách dùng đúng là so nhiều hệ trên cùng tập, cùng phiên bản COMET, rồi kiểm lại các khác biệt đáng kể bằng người đọc thạo hai thứ tiếng.
chrF có hợp với tiếng Việt hơn BLEU không?
chrF đếm cụm ký tự nên ít phụ thuộc chuyện tách âm tiết hay tách từ, và thưởng một phần cho từ gần đúng. Nhiều nghiên cứu thấy nó khớp người chấm tốt hơn BLEU một chút. Nhưng nó vẫn nhìn bề mặt; một dấu thanh sai làm đổi nghĩa chỉ bị trừ rất ít.
Có thể dùng mô hình ngôn ngữ lớn để chấm bản dịch không?
Có, hướng này đang được nghiên cứu nhiều: đưa câu nguồn và bản dịch cho mô hình, yêu cầu liệt kê lỗi theo kiểu MQM. Kết quả hứa hẹn ở vài cặp ngôn ngữ, nhưng mô hình chấm có thể thiên vị bản dịch của chính nó hoặc cùng họ, và đôi khi bịa ra lỗi. Nên đối chiếu với người chấm trên một mẫu.
Ước lượng chất lượng có thay được người kiểm bản dịch không?
Không thay được, chỉ giúp phân luồng. Nó tốt ở việc tìm câu đáng ngờ để người xem trước, nhưng bỏ sót những bản dịch trơn tru mà sai số, sai tên, bỏ ý. Văn bản quan trọng vẫn cần người thạo chuyên môn đọc.
Đánh giá MQM cần bao nhiêu người chấm?
Không có con số bắt buộc. Thông thường mỗi câu do ít nhất một chuyên gia chấm, và một phần mẫu được hai người chấm độc lập để đo độ đồng thuận. Nếu độ đồng thuận thấp, cần sửa hướng dẫn chấm trước khi tin kết quả.