Dịch máy giữa tiếng Việt và tiếng các dân tộc thiểu số như Tày, Thái, Mường, Khmer, Chăm, Ê Đê, Mông hiện còn kém xa dịch Anh–Việt, vì các ngôn ngữ này có rất ít văn bản số hoá, gần như không có kho song ngữ lớn, nhiều biến thể địa phương và nhiều hệ chữ viết khác nhau. Mô hình học từ dữ liệu; nơi nào dữ liệu mỏng, máy dịch sai nhiều, và tệ hơn, có khi sai một cách trơn tru khiến người không biết tiếng tưởng là đúng.
Bài này giải thích bài toán "ngôn ngữ ít dữ liệu" (low-resource) ở góc kỹ thuật, những đặc điểm riêng của các ngôn ngữ dân tộc ở Việt Nam khiến máy vấp, các kỹ thuật đang được dùng để bù dữ liệu, và nguyên tắc làm dữ liệu cùng cộng đồng sao cho tôn trọng người nói. Phần giao tiếp với người bệnh hay phụ huynh dân tộc thiểu số trong công việc hằng ngày đã có ở các trang chuyên về y tế, trường học của hệ; ở đây là phía công nghệ.
"Ít dữ liệu" nghĩa là gì với máy dịch
Với tiếng Anh, tiếng Trung, tiếng Pháp, mô hình được học từ hàng trăm tỷ chữ văn bản và hàng trăm triệu cặp câu song ngữ. Tiếng Việt đứng ở mức trung bình khá: văn bản đơn ngữ nhiều, văn bản song ngữ với tiếng Anh ở mức vài triệu cặp câu công khai. Còn phần lớn ngôn ngữ dân tộc thiểu số ở Việt Nam chỉ có vài cuốn sách giáo khoa song ngữ, một số tài liệu tuyên truyền, chương trình phát thanh truyền hình bằng tiếng dân tộc, và văn bản rải rác trên mạng xã hội. Chênh lệch là hàng nghìn đến hàng triệu lần.
Khi dữ liệu mỏng, mô hình gặp ba vấn đề. Một là thiếu từ vựng: nhiều từ chưa từng xuất hiện trong dữ liệu huấn luyện, máy đoán bừa hoặc chép nguyên từ tiếng Việt. Hai là thiếu ngữ pháp: máy chưa thấy đủ câu để học trật tự từ, cách đánh dấu thời gian, phủ định của ngôn ngữ đó. Ba là trôi sang ngôn ngữ khác (off-target): được yêu cầu dịch sang tiếng Tày, mô hình lại sinh ra câu nửa Tày nửa Việt, hoặc một ngôn ngữ họ hàng có nhiều dữ liệu hơn, như tiếng Thái của Thái Lan.
Vấn đề thứ ba nguy hiểm nhất với người dùng không biết tiếng đích. Một câu trông như chữ dân tộc, có dấu, có cấu trúc, rất dễ được tin. Nếu dùng cho thông báo y tế, hướng dẫn phòng thiên tai hay giấy tờ, sai lệch có thể gây hại thật. Vì vậy câu hỏi đầu tiên với bất kỳ công cụ nào tuyên bố hỗ trợ một ngôn ngữ dân tộc là: đã có người bản ngữ kiểm tra đầu ra một cách có hệ thống chưa?
Đặc điểm riêng khiến máy vấp với ngôn ngữ dân tộc ở Việt Nam
Các ngôn ngữ dân tộc ở Việt Nam thuộc nhiều ngữ hệ khác nhau. Tiếng Mường gần tiếng Việt, cùng nhóm Việt–Mường; tiếng Khmer, Ba Na, Cơ Ho thuộc ngữ hệ Nam Á giống tiếng Việt nhưng khác nhánh; tiếng Tày, Nùng, Thái thuộc ngữ hệ Tai–Kadai; tiếng Chăm, Ê Đê, Gia Rai thuộc ngữ hệ Nam Đảo; tiếng Mông, Dao thuộc ngữ hệ Mông–Dao. Hệ quả là không có "một cách" dịch tiếng dân tộc: mỗi ngôn ngữ cần dữ liệu và đánh giá riêng, kinh nghiệm với ngôn ngữ này chỉ chuyển một phần sang ngôn ngữ khác.
Chữ viết là lớp khó thứ hai. Một số ngôn ngữ dùng chữ Latin xây dựng trong thế kỷ hai mươi, như chữ Tày–Nùng, chữ Mông, chữ Ê Đê, và có thể có nhiều phương án chính tả cùng tồn tại. Một số có chữ truyền thống riêng: chữ Khmer, chữ Chăm, chữ Thái cổ với nhiều biến thể theo vùng. Chữ Thái Việt Nam và chữ Chăm đã có khối mã riêng trong Unicode, nhưng phông chữ, bàn phím, công cụ tách câu và tách từ cho chúng còn ít, nhiều văn bản cũ vẫn ở dạng ảnh quét hoặc mã riêng. Máy không đọc được thì không học được.
Lớp thứ ba là biến thể. Cùng gọi là tiếng Thái nhưng Thái Đen, Thái Trắng khác nhau về từ vựng và chữ viết; tiếng Mông có nhiều nhánh; tiếng Tày ở các tỉnh khác nhau cũng khác nhau. Bộ dữ liệu gom từ một vùng sẽ cho hệ dịch nghe "lạ" với người ở vùng khác. Ghi rõ biến thể, vùng của người cung cấp dữ liệu là việc bắt buộc nếu muốn đánh giá đúng.
Các kỹ thuật đang dùng để bù thiếu dữ liệu
Nghiên cứu dịch máy cho ngôn ngữ ít dữ liệu trên thế giới đã thử nhiều hướng. Không hướng nào thay được dữ liệu thật, nhưng chúng giúp tận dụng tốt hơn chút dữ liệu có được.
- Mô hình đa ngữ và học chuyển giao: huấn luyện một mô hình trên rất nhiều cặp ngôn ngữ cùng lúc, để ngôn ngữ ít dữ liệu "mượn" kiến thức từ ngôn ngữ nhiều dữ liệu. Dự án NLLB-200 của Meta công bố năm 2022 là ví dụ quy mô lớn, nhắm khoảng 200 ngôn ngữ và kèm bộ thử FLORES-200; danh sách ngôn ngữ cụ thể cần tra tài liệu của dự án.
- Tận dụng ngôn ngữ họ hàng: dữ liệu của một ngôn ngữ cùng nhóm, nhiều tài nguyên hơn, có thể giúp khởi động. Nhưng cũng chính điều này gây trôi ngôn ngữ, nên phải đo riêng.
- Dịch ngược từ văn bản đơn ngữ: nếu có văn bản tiếng dân tộc chưa dịch (truyện, bản tin, lời kể), dùng hệ dịch sơ bộ dịch sang tiếng Việt rồi tạo cặp bổ sung. Hiệu quả phụ thuộc chất lượng hệ sơ bộ.
- Từ điển song ngữ và tri thức ngôn ngữ học: từ điển của các nhà ngôn ngữ học, sách ngữ pháp, có thể đưa vào câu lệnh của mô hình ngôn ngữ lớn hoặc dùng để tạo dữ liệu. Một số nghiên cứu cho thấy đưa sách ngữ pháp vào ngữ cảnh giúp mô hình dịch được ở mức sơ khởi với ngôn ngữ gần như không có dữ liệu.
- Dữ liệu tiếng nói: nhiều ngôn ngữ dân tộc được nói nhiều hơn viết. Ghi âm có đồng ý, chép lại và dịch là cách gom dữ liệu gần với đời sống hơn văn bản.
- Tập thử nhỏ mà sạch: vài trăm câu do người bản ngữ dịch và kiểm kỹ, chia theo biến thể, quan trọng hơn bất kỳ kỹ thuật nào, vì không có nó thì không biết hệ có tiến bộ hay không.
Điểm chung: mọi kỹ thuật đều cần người nói ngôn ngữ đó tham gia, ít nhất ở khâu kiểm tra. Hệ thống do người ngoài làm và chỉ đánh giá bằng chỉ số tự động có nguy cơ cao cho ra bản dịch sai mà không ai phát hiện.
Làm dữ liệu cùng cộng đồng: đồng ý, quyền lợi, chủ quyền dữ liệu
Ngôn ngữ là tài sản của cộng đồng người nói. Thu lời kể của người già, truyện cổ, bài hát dân gian để làm dữ liệu cho máy học chạm đến văn hoá, tri thức truyền thống và thông tin cá nhân. Nguyên tắc tối thiểu là người được ghi âm hoặc người viết hiểu dữ liệu sẽ dùng vào việc gì, đồng ý rõ ràng, có thể rút lại; với trẻ em cần đồng ý của cha mẹ, người giám hộ. Những nội dung cộng đồng coi là thiêng, riêng tư hoặc chỉ truyền trong nội bộ không nên đưa vào kho dữ liệu mở.
Trên thế giới, nhiều nhóm theo hướng nghiên cứu có sự tham gia, nơi người nói ngôn ngữ là đồng tác giả chứ không chỉ là "nguồn dữ liệu". Cộng đồng Masakhane với các ngôn ngữ châu Phi là ví dụ hay được nhắc: người bản ngữ tự xây dữ liệu, tự đánh giá, cùng đứng tên công bố. Cách làm này chậm hơn nhưng cho dữ liệu đúng hơn và giúp cộng đồng hưởng lợi từ công cụ làm ra.
Ở Việt Nam, người làm dự án nên làm việc qua giáo viên dạy tiếng dân tộc, cán bộ văn hoá, nhà ngôn ngữ học và người có uy tín trong cộng đồng; trả công xứng đáng cho người dịch, người kiểm; ghi rõ biến thể, vùng; che tên người, địa chỉ trong lời kể; và trả lại kết quả cho cộng đồng dưới dạng dùng được, như từ điển, tài liệu học, công cụ gõ chữ. Quy định về bảo vệ dữ liệu cá nhân và về di sản văn hoá thay đổi theo thời gian, cần tra văn bản hiện hành trước khi thu thập.
Dùng máy dịch tiếng dân tộc ở đâu thì tạm được, ở đâu không
Ngay cả khi có công cụ, mức tin cậy nên đi theo mức hậu quả của sai sót. Bảng dưới là gợi ý phân loại, không phải quy định.
| Tình huống | Có thể dùng máy? | Điều kiện |
|---|---|---|
| Hiểu đại ý một bài đăng, tin nhắn | Có, để tham khảo | Biết rằng có thể sai, hỏi lại người gửi khi quan trọng |
| Soạn nháp tài liệu học tập song ngữ | Có, làm bản nháp | Người bản ngữ biên tập toàn bộ trước khi dùng |
| Thông báo cộng đồng (lịch họp, tiêm chủng) | Hạn chế | Người bản ngữ kiểm từng câu, thử đọc cho vài người nghe |
| Cảnh báo thiên tai, hướng dẫn khẩn cấp | Không nên tự dùng | Dùng bản dịch đã được cơ quan chức năng, người bản ngữ duyệt sẵn |
| Khám chữa bệnh, giấy tờ pháp lý | Không | Cần phiên dịch viên người hoặc người thân đáng tin, máy chỉ hỗ trợ tra từ |
| Bảo tồn, xuất bản văn bản truyền thống | Không thay người | Máy hỗ trợ số hoá, tra cứu; bản chính do chuyên gia và cộng đồng làm |
Nguyên tắc chung: càng gần sức khoẻ, an toàn, quyền lợi của người nghe, càng cần người. Máy dịch ít dữ liệu có thể tự tin sai, và người nghe thường không có cách nào biết câu mình nhận là bản dịch máy.
Đánh giá một hệ dịch tiếng dân tộc: đừng tin điểm số một mình
Các chỉ số tự động như BLEU, chrF, COMET đều cần bản tham chiếu hoặc mô hình chấm hiểu ngôn ngữ đích. Với ngôn ngữ ít dữ liệu, bản tham chiếu hiếm, và mô hình chấm thường chưa học đủ ngôn ngữ đó để chấm tin cậy. chrF hay được dùng hơn vì chỉ đếm ký tự, nhưng điểm cao vẫn có thể đến từ việc chép tên riêng, số, từ mượn tiếng Việt. Một hệ "trôi" sang tiếng Việt cũng có thể được điểm khá nếu bản tham chiếu nhiều từ mượn.
Cách làm đáng tin hơn là đánh giá bằng người bản ngữ theo vài câu hỏi đơn giản: câu này có đúng là ngôn ngữ của bạn không, thuộc biến thể nào; người trong làng có hiểu không; nghĩa có giữ đúng câu tiếng Việt không; có từ nào gây hiểu lầm hay xúc phạm không. Ghi lại các lỗi theo loại, như sai ngôn ngữ, sai biến thể, sai nghĩa, sai chữ viết, để biết hệ yếu chỗ nào.
Khi đọc bài báo hoặc thông báo về một mô hình "hỗ trợ hàng trăm ngôn ngữ", hãy xem ngôn ngữ bạn quan tâm có trong danh sách đánh giá không, được đánh giá trên tập thử nào, do ai dịch, biến thể nào. "Có trong danh sách hỗ trợ" và "dịch dùng được cho người bản ngữ" là hai chuyện khác nhau.
Câu hỏi thường gặp
Có công cụ nào dịch tốt tiếng Việt sang tiếng Tày, Thái, Mông không?
Một số mô hình đa ngữ và dịch vụ dịch trực tuyến có liệt kê vài ngôn ngữ dân tộc của Việt Nam, danh sách thay đổi theo thời gian. Chất lượng với các ngôn ngữ này thường thấp hơn nhiều so với tiếng Anh, và khác nhau theo biến thể. Trước khi dùng cho việc quan trọng, nên nhờ người bản ngữ thử một loạt câu thật.
Vì sao máy dịch ra tiếng Thái của Thái Lan khi yêu cầu tiếng Thái ở Việt Nam?
Vì tiếng Thái Lan có nhiều dữ liệu hơn hẳn, và hai ngôn ngữ cùng ngữ hệ Tai–Kadai, có từ vựng gần nhau. Mô hình thiếu dữ liệu tiếng Thái ở Việt Nam sẽ trôi về ngôn ngữ họ hàng quen hơn. Đây là lỗi trôi ngôn ngữ, cần người bản ngữ phát hiện.
Người bình thường có thể góp dữ liệu cho tiếng dân tộc không?
Có thể, nếu bạn là người nói ngôn ngữ đó và tham gia dự án minh bạch về mục đích, giấy phép, quyền lợi. Các dự án ghi âm giọng nói mở hoặc dịch câu tình nguyện là ví dụ. Trước khi góp, đọc kỹ dữ liệu sẽ được chia sẻ công khai hay giữ kín, và ai được dùng vào việc gì.
Chữ viết dân tộc chưa có trong máy tính thì làm dữ liệu thế nào?
Bước đầu là đưa chữ về chuẩn Unicode nếu đã có khối mã, kèm phông chữ và bàn phím phù hợp. Với văn bản cũ dạng ảnh, cần nhận dạng chữ được huấn luyện riêng hoặc gõ lại bằng tay. Nếu chữ chưa có trong Unicode, việc số hoá phải dùng giải pháp tạm và nên làm cùng chuyên gia chữ viết.
Dịch máy có giúp bảo tồn ngôn ngữ dân tộc không?
Có thể hỗ trợ: tạo tài liệu học song ngữ, giúp người trẻ tra từ, số hoá văn bản cũ. Nhưng bảo tồn ngôn ngữ chủ yếu dựa vào việc cộng đồng tiếp tục nói, dạy và dùng nó trong đời sống. Một công cụ dịch kém, đưa ra câu sai, còn có thể làm méo ngôn ngữ nếu người dùng tin theo.
Làm dữ liệu tiếng dân tộc có cần xin phép không?
Cần đồng ý của người cung cấp lời nói, văn bản, và nên có sự đồng thuận của cộng đồng khi chạm đến tri thức truyền thống. Ngoài ra cần tuân thủ quy định về dữ liệu cá nhân và về di sản văn hoá. Văn bản pháp luật có thể thay đổi, nên tra bản hiện hành hoặc hỏi người có chuyên môn trước khi bắt đầu.