Có ba con đường để có một mô hình ngôn ngữ lớn nói tiếng Việt tốt: huấn luyện từ đầu bằng khối văn bản khổng lồ có nhiều tiếng Việt; lấy một mô hình mở sẵn có rồi huấn luyện tiếp bằng văn bản tiếng Việt, có thể kèm mở rộng bộ từ vựng; hoặc chỉ tinh chỉnh hướng dẫn một mô hình mở bằng các cặp hỏi–đáp tiếng Việt. Đi từ đường thứ nhất đến thứ ba, chi phí giảm từ mức chỉ vài tổ chức gánh nổi xuống mức một nhóm nhỏ làm được, nhưng mức độ "tiếng Việt từ gốc" cũng giảm theo.
Phần lớn các mô hình được giới thiệu là mô hình tiếng Việt trong vài năm gần đây đi đường thứ hai hoặc thứ ba; một số ít đi đường thứ nhất ở cỡ vừa phải. Bài này mô tả từng con đường ở mức nguyên lý: cần những gì, được gì, mất gì, rủi ro nằm ở đâu, và những câu hỏi nên trả lời trước khi chọn. Không có con số chi phí cụ thể, vì giá phần cứng và thuê máy thay đổi liên tục; chỉ có các yếu tố cấu thành để bạn tự tính.
Ba con đường nhìn từ trên xuống
Hãy hình dung việc làm mô hình ngôn ngữ lớn như đào tạo một người. Huấn luyện từ đầu giống như nuôi một đứa trẻ lớn lên trong môi trường nói tiếng Việt từ nhỏ: tốn nhiều năm, nhiều công, nhưng tiếng mẹ đẻ là tiếng Việt thật. Huấn luyện tiếp giống như đưa một người đã học xong đại học ở nước ngoài về sống tại Việt Nam vài năm: kiến thức nền giữ nguyên, tiếng Việt khá dần lên, đôi khi vẫn lộ giọng. Tinh chỉnh hướng dẫn giống như một khoá huấn luyện nghiệp vụ ngắn: dạy cách trả lời, cách cư xử, nhưng không dạy thêm được nhiều tiếng.
Hình ảnh này có chỗ khập khiễng, nhưng giúp nhớ một điều quan trọng: tinh chỉnh hướng dẫn gần như không thêm được kiến thức hay vốn từ mà mô hình gốc chưa có. Nếu mô hình gốc đọc ít tiếng Việt, khoá huấn luyện ngắn chỉ giúp nó trả lời đúng định dạng, đúng giọng, còn câu chữ vẫn vụng và kiến thức về Việt Nam vẫn mỏng.
Vì vậy câu hỏi đầu tiên luôn là: mô hình gốc bạn định dùng đã biết tiếng Việt tới mức nào? Nếu đã khá, đường thứ ba có thể đủ. Nếu tạm được nhưng câu chữ còn gượng, đường thứ hai đáng cân nhắc. Đường thứ nhất chỉ hợp lý khi bạn có lý do chiến lược để sở hữu toàn bộ mô hình và có nguồn lực tương xứng.
Huấn luyện từ đầu: kiểm soát trọn vẹn, giá rất cao
Huấn luyện từ đầu nghĩa là bắt đầu từ các trọng số ngẫu nhiên và cho mô hình đọc một khối văn bản cực lớn với mục tiêu đoán mảnh tiếp theo. Lợi thế lớn nhất là bạn quyết định mọi thứ: bộ từ vựng được thiết kế quanh tiếng Việt nên câu cắt gọn, tỷ lệ tiếng Việt trong dữ liệu do bạn chọn, nguồn dữ liệu do bạn kiểm soát và ghi chép, giấy phép thuộc về bạn.
Cái giá có ba phần. Phần thứ nhất là dữ liệu: muốn mô hình đủ lớn và đủ thông minh cần lượng văn bản vượt xa những gì tiếng Việt có sẵn ở dạng sạch, nên gần như chắc chắn phải trộn tiếng Anh và các thứ tiếng khác, tức là bạn vẫn làm một mô hình đa ngôn ngữ, chỉ là nghiêng về tiếng Việt. Phần thứ hai là tính toán: hàng nghìn giờ GPU trở lên cho cỡ vừa, cao hơn nhiều bậc cho cỡ lớn, kèm hạ tầng lưu trữ và mạng. Phần thứ ba là con người: đội ngũ hiểu cách ổn định quá trình huấn luyện, xử lý sự cố giữa chừng, đánh giá từng mốc.
Một rủi ro ít được nhắc là khoảng cách với mô hình mở. Trong lúc bạn mất nhiều tháng huấn luyện, các mô hình mở mới liên tục ra đời và có khi đã nói tiếng Việt khá hơn bản bạn đang làm. Những tổ chức chọn đường này thường có lý do vượt ra ngoài chất lượng thuần tuý: chủ quyền dữ liệu, yêu cầu không phụ thuộc giấy phép bên ngoài, hoặc mục tiêu xây năng lực nghiên cứu dài hạn.
Huấn luyện tiếp và mở rộng bộ từ vựng
Đây là con đường phổ biến nhất cho các mô hình tiếng Việt cỡ lớn gần đây. Lấy một mô hình mở có giấy phép cho phép, cho nó đọc tiếp một khối văn bản tiếng Việt lớn với cùng mục tiêu đoán mảnh tiếp theo. Mô hình giữ được kiến thức chung và khả năng lập luận đã học, đồng thời quen dần với cách viết, từ vựng, kiến thức Việt Nam.
Bước tuỳ chọn nhưng hay đi kèm là mở rộng bộ từ vựng. Nếu bộ từ vựng gốc cắt tiếng Việt quá vụn, người làm thêm vài nghìn đến vài chục nghìn mảnh tiếng Việt mới. Các mảnh mới cần được khởi tạo vectơ, thường bằng trung bình vectơ của các mảnh cũ ghép thành nó, rồi được học tiếp trong quá trình huấn luyện. Làm tốt thì câu tiếng Việt ngắn đi đáng kể tính theo mảnh, nghĩa là rẻ hơn và nhét được nhiều ngữ cảnh hơn; làm vội thì mô hình mất ổn định một thời gian dài.
Rủi ro chính là hiện tượng quên thảm hoạ: đọc toàn tiếng Việt, mô hình có thể kém đi ở tiếng Anh, ở toán, ở viết mã. Cách giảm thường dùng là trộn lại một phần dữ liệu gốc vào khối huấn luyện tiếp, chỉnh tốc độ học thấp, và đo năng lực chung ở từng mốc chứ không chỉ đo tiếng Việt. Một rủi ro nữa là giấy phép: mô hình gốc có thể ràng buộc cách đặt tên, phạm vi sử dụng thương mại, nghĩa vụ ghi nguồn; sản phẩm huấn luyện tiếp thường phải tuân theo các ràng buộc ấy.
Tinh chỉnh hướng dẫn và căn chỉnh
Mô hình sau khi đọc văn bản chỉ biết viết tiếp, chưa biết trò chuyện. Tinh chỉnh hướng dẫn cho nó học từ hàng nghìn đến hàng trăm nghìn cặp câu hỏi và câu trả lời mẫu để biết cách làm theo yêu cầu. Sau đó thường có thêm bước căn chỉnh theo sở thích con người: người chấm so hai câu trả lời, mô hình học theo hướng câu được ưa hơn, đồng thời học từ chối yêu cầu nguy hại.
Với tiếng Việt, cái bẫy lớn nhất của bước này là dữ liệu dịch. Cách rẻ nhất để có dữ liệu hướng dẫn tiếng Việt là dịch máy các bộ dữ liệu tiếng Anh có sẵn. Kết quả là mô hình học luôn giọng văn dịch: câu bị động thừa, "được" và "bởi" khắp nơi, ví dụ toàn tên người và địa danh nước ngoài, xưng hô cứng nhắc kiểu "bạn" với mọi đối tượng, đơn vị đo và thói quen văn hoá không phải của người Việt. Người dùng đọc vài câu là nhận ra.
Dữ liệu hướng dẫn tốt cho tiếng Việt thường là hỗn hợp: một phần do người viết từ đầu theo tình huống Việt Nam, một phần dịch rồi biên tập kỹ, một phần do mô hình mạnh sinh ra rồi người kiểm lại. Cần có những mẫu dạy xưng hô theo vai, dạy trả lời "không biết" khi câu hỏi vượt ngoài hiểu biết, dạy cẩn trọng với thông tin pháp luật, y tế, và dạy viết đúng tên đơn vị hành chính hiện hành. Bước này rẻ hơn hai bước trước nhiều, nhưng là bước quyết định cảm nhận của người dùng.
So ba con đường theo cùng một bộ tiêu chí
Bảng so ở mức định tính. Mọi con số cụ thể về giờ máy hay số người đều phụ thuộc cỡ mô hình và mục tiêu, nên được thay bằng mức tương đối.
| Tiêu chí | Huấn luyện từ đầu | Huấn luyện tiếp | Tinh chỉnh hướng dẫn |
|---|---|---|---|
| Chi phí tính toán | Rất cao | Trung bình đến cao | Thấp |
| Lượng dữ liệu tiếng Việt cần | Rất lớn, phải trộn thứ tiếng khác | Lớn | Vài nghìn đến vài trăm nghìn mẫu |
| Kiểm soát bộ từ vựng | Toàn quyền | Có, nếu mở rộng | Không |
| Thêm kiến thức Việt Nam | Có, từ gốc | Có, đáng kể | Rất ít |
| Rủi ro chính | Tốn kém, chậm hơn mô hình mở | Quên năng lực cũ, ràng buộc giấy phép gốc | Giọng dịch, chỉ đổi bề mặt |
| Đội ngũ cần có | Lớn, kinh nghiệm huấn luyện quy mô | Vừa, hiểu huấn luyện phân tán | Nhỏ, mạnh về dữ liệu và đánh giá |
| Thời gian thường thấy | Nhiều tháng | Vài tuần đến vài tháng | Vài ngày đến vài tuần |
Đáng chú ý là cột cuối không cần ít chuyên môn hơn, chỉ cần chuyên môn khác: người hiểu tiếng Việt, hiểu người dùng, biết viết và kiểm dữ liệu. Nhiều nhóm thất bại ở đường thứ ba vì coi đó là việc kỹ thuật đơn thuần.
Câu hỏi nên trả lời trước khi chọn đường
Trước khi đặt thuê máy hay thu thập dữ liệu, nhóm nên viết ra câu trả lời cho các câu hỏi dưới đây. Câu nào chưa trả lời được thì đó là việc cần làm trước.
- Mô hình sẽ làm việc gì cụ thể, cho ai, bằng chứng nào cho thấy các mô hình hiện có chưa đáp ứng được việc đó bằng câu lệnh tốt và tìm kiếm tài liệu?
- Mô hình gốc định dùng đã biết tiếng Việt tới đâu? Đã thử trên bộ câu hỏi của chính mình chưa, có ghi lại kết quả để so sau này không?
- Dữ liệu tiếng Việt lấy từ đâu, giấy phép từng nguồn là gì, có văn bản thuộc bản quyền của báo chí hay sách không, có chứa dữ liệu cá nhân không và đã có quy trình che chưa? Quy định về bảo vệ dữ liệu cá nhân của Việt Nam đã thay đổi trong mấy năm gần đây, cần tra bản hiện hành.
- Giấy phép mô hình gốc cho phép gì: dùng thương mại, phân phối lại, đặt tên, nghĩa vụ ghi nguồn?
- Đo thành công bằng gì? Bộ đánh giá có tách riêng năng lực tiếng Việt, kiến thức Việt Nam, năng lực chung để phát hiện quên không?
- Sau khi có mô hình, ai bảo trì, cập nhật kiến thức, xử lý báo lỗi, và kế hoạch khi một mô hình mở mới tốt hơn ra đời là gì?
Nhiều nhóm trả lời xong câu đầu tiên thì nhận ra mình không cần mô hình riêng mà cần một hệ thống tìm kiếm tài liệu tốt cộng câu lệnh tốt. Đó là kết quả đáng mừng, vì tiết kiệm được rất nhiều tiền.
Câu hỏi thường gặp
Một công ty nhỏ có nên tự làm mô hình ngôn ngữ lớn tiếng Việt không?
Hầu như không nên huấn luyện từ đầu. Hướng thực tế là chọn một mô hình mở đã nói tiếng Việt khá, kết hợp tìm kiếm tài liệu và câu lệnh tốt; chỉ tinh chỉnh khi có nhu cầu cụ thể như định dạng đầu ra cố định hay giọng văn riêng. Huấn luyện tiếp chỉ đáng cân nhắc khi có dữ liệu lớn và đội ngũ đủ kinh nghiệm.
Mở rộng bộ từ vựng có làm mô hình giỏi tiếng Việt hơn không?
Mở rộng bộ từ vựng chủ yếu làm câu tiếng Việt ngắn hơn tính theo mảnh, giúp rẻ và nhanh hơn, nhét được nhiều ngữ cảnh hơn. Chất lượng có tăng hay không phụ thuộc vào việc huấn luyện tiếp đủ lâu để mô hình học dùng các mảnh mới. Mở rộng mà huấn luyện ít có thể làm chất lượng tệ đi.
Dịch dữ liệu hướng dẫn tiếng Anh sang tiếng Việt có dùng được không?
Dùng được làm nguyên liệu, nhưng không nên dùng thô. Văn bản dịch máy kéo theo giọng dịch, ví dụ và bối cảnh nước ngoài, xưng hô cứng. Nên lọc, biên tập, thay ví dụ bằng tình huống Việt Nam và trộn với dữ liệu viết mới từ đầu.
Quên thảm hoạ là gì và có tránh hoàn toàn được không?
Đó là hiện tượng mô hình kém đi ở những việc đã giỏi trước đây sau khi học nhiều dữ liệu mới. Không tránh hoàn toàn được, chỉ giảm được bằng cách trộn lại dữ liệu cũ, dùng tốc độ học thấp, và đo năng lực chung ở từng mốc để dừng hoặc điều chỉnh kịp thời.
Làm sao biết một mô hình được giới thiệu là tiếng Việt đi con đường nào?
Đọc báo cáo kỹ thuật hoặc thẻ mô hình: nó thường nói rõ học từ gốc nào, bao nhiêu dữ liệu tiếng Việt, có mở rộng bộ từ vựng không, dữ liệu hướng dẫn lấy từ đâu. Nếu những thông tin này không có, hãy dè dặt với các tuyên bố về chất lượng.
Dữ liệu báo chí tiếng Việt có được dùng để huấn luyện mô hình không?
Đây là vấn đề bản quyền đang được tranh luận ở nhiều nước, kể cả Việt Nam. Cách an toàn là ưu tiên nguồn có giấy phép rõ, xin phép khi dùng kho của một cơ quan báo chí, ghi chép nguồn gốc dữ liệu, và tham khảo ý kiến pháp lý theo quy định hiện hành trước khi phát hành sản phẩm.