Tài nguyên xử lý tiếng Việt nằm rải rác ở bốn loại kho: kho bài báo của ngành ngôn ngữ học máy tính (như ACL Anthology) và kho tiền ấn phẩm (như arXiv) cho nghiên cứu; kho mô hình và dữ liệu (như Hugging Face Hub) cho mô hình, bộ dữ liệu; kho mã nguồn (như GitHub) cho công cụ; và trang của các hội thảo, trường, nhóm nghiên cứu cho dữ liệu cấp theo đăng ký. Tìm được thì dễ; lọc ra thứ đáng tin, còn được duy trì, có giấy phép phù hợp mới là phần tốn công.
Bài này cho bạn cách tìm có hệ thống và một bộ tiêu chí lọc nhanh. Không có danh sách "mười bộ dữ liệu tốt nhất", vì một danh sách như vậy lỗi thời sau vài tháng và dễ khuyến khích dùng thứ không hợp với việc của bạn. Thay vào đó là cách để chính bạn đánh giá một tài nguyên trong khoảng mười lăm phút.
Bốn loại kho và mỗi loại cho bạn cái gì
Kho bài báo của ngành. ACL Anthology lưu bài của các hội nghị, hội thảo lớn trong ngành ngôn ngữ học máy tính, truy cập mở. Tìm theo từ khoá như "Vietnamese" kèm tên bài toán sẽ ra phần lớn nghiên cứu quốc tế về tiếng Việt đã qua bình duyệt. Mảng tiếng nói thì bài thường nằm ở các hội nghị chuyên về tiếng nói và xử lý tín hiệu.
Kho tiền ấn phẩm. arXiv, nhất là mục tính toán và ngôn ngữ, chứa bài mới nhất, thường đăng trước hoặc song song khi gửi hội nghị. Ưu điểm là nhanh; nhược điểm là chưa chắc đã qua bình duyệt, và có bài chỉ là bản nháp sẽ đổi nhiều.
Kho mô hình và dữ liệu. Hugging Face Hub là nơi phổ biến để đăng mô hình đã huấn luyện và bộ dữ liệu, kèm thẻ mô tả. Lọc theo ngôn ngữ tiếng Việt sẽ ra rất nhiều kết quả, nhưng chất lượng chênh lệch lớn: có mô hình từ nhóm nghiên cứu với tài liệu đầy đủ, có bản tinh chỉnh thử nghiệm của cá nhân không mô tả gì.
Kho mã nguồn. GitHub và các nền tảng tương tự chứa thư viện, công cụ, mã đi kèm bài báo. Nhiều bài báo về tiếng Việt có đường dẫn đến kho mã ngay trong phần tóm tắt hoặc chú thích. Kho mã cho biết công cụ có còn sống không qua lịch sử cập nhật và cách tác giả trả lời báo lỗi.
Trang hội thảo và nhóm nghiên cứu. Một số dữ liệu quan trọng không nằm trên kho công khai mà cấp qua đăng ký, như dữ liệu của các nhiệm vụ VLSP. Thông tin nằm trên trang của hội thảo hoặc nhóm phụ trách, kèm điều khoản sử dụng.
Một quy trình tìm kiếm có hệ thống
Thay vì gõ ngẫu nhiên vào công cụ tìm kiếm, làm theo trình tự sau sẽ nhanh hơn và ít bỏ sót.
- Viết ra bài toán bằng tiếng Anh theo thuật ngữ chuẩn của ngành, ví dụ "Vietnamese named entity recognition", "Vietnamese speech recognition", "Vietnamese text summarization". Tìm bằng tiếng Việt thường ra bài phổ biến kiến thức, không ra nghiên cứu.
- Tìm một bài tổng quan hoặc một bài gần đây được trích nhiều về bài toán đó. Phần công trình liên quan của nó là danh sách đọc có sẵn.
- Đi ngược theo tài liệu tham khảo để tìm bài gốc, và đi xuôi bằng chức năng "được trích bởi" của các công cụ tra cứu học thuật để tìm bài mới hơn.
- Với mỗi bài quan trọng, tìm kho mã và trang dữ liệu đi kèm. Ghi lại giấy phép.
- Tìm trên kho mô hình theo tên bộ dữ liệu hoặc tên mô hình trong bài để xem có bản đã huấn luyện sẵn không.
- Ghi tất cả vào một bảng: tên, loại, nguồn, năm, giấy phép, tình trạng duy trì, ghi chú chất lượng.
Trợ lý AI có thể giúp gợi ý từ khoá và giải thích thuật ngữ, nhưng đừng nhờ nó liệt kê bộ dữ liệu hay bài báo rồi dùng luôn. Chatbot hay bịa tên bộ dữ liệu tiếng Việt nghe rất hợp lý, kèm năm và tác giả không có thật. Mọi tên phải kiểm trên kho gốc.
Mười lăm phút đánh giá một tài nguyên
Khi gặp một mô hình hay bộ dữ liệu tiếng Việt trên kho công khai, các câu hỏi sau giúp quyết định có nên dành thêm thời gian hay không.
| Câu hỏi | Dấu hiệu tốt | Dấu hiệu đáng ngại |
|---|---|---|
| Ai làm, có bài báo hay báo cáo kèm không? | Có bài mô tả, tác giả rõ ràng | Không có thông tin người làm, không mô tả |
| Giấy phép là gì? | Ghi rõ giấy phép chuẩn, có điều kiện dùng | Không ghi, hoặc ghi mâu thuẫn với nguồn dữ liệu |
| Dữ liệu lấy từ đâu? | Nêu nguồn, cách thu thập, cách lọc | Chỉ ghi "dữ liệu từ internet" |
| Đánh giá thế nào? | Có kết quả trên tập kiểm tra chuẩn, nêu điều kiện | Chỉ có câu khen chung, không số liệu |
| Còn được duy trì không? | Cập nhật gần đây, có trả lời báo lỗi | Nhiều báo lỗi không ai trả lời, phụ thuộc thư viện quá cũ |
| Có ví dụ, có hướng dẫn chạy không? | Chạy được theo hướng dẫn trong vài phút | Thiếu tệp, thiếu bước, phải đoán |
Không tài nguyên nào đạt hết các cột tốt; nhiều dữ liệu học thuật giá trị lại có tài liệu sơ sài. Mục đích của bảng là giúp bạn biết mình đang chấp nhận rủi ro gì, chứ không phải loại bỏ mọi thứ chưa hoàn hảo.
Giấy phép: đọc trước khi tải, không phải sau khi dùng
Giấy phép là chỗ người mới hay bỏ qua và về sau phải trả giá. Một mô hình đăng công khai không có nghĩa là được dùng cho mọi mục đích. Có mô hình dùng giấy phép cho phép thương mại, có mô hình chỉ cho nghiên cứu, có mô hình có điều khoản riêng của nhà phát hành về cách sử dụng. Bộ dữ liệu cũng vậy: các giấy phép Creative Commons có điều kiện ghi công, chia sẻ tương tự hay cấm thương mại khác nhau.
Với tiếng Việt có thêm một tầng: nhiều bộ dữ liệu được gom từ báo điện tử, diễn đàn, mạng xã hội. Người đăng bộ dữ liệu có thể gắn một giấy phép mở, nhưng điều đó không tự động xoá quyền của tác giả văn bản gốc. Nếu bạn định dùng cho sản phẩm thương mại, cần cân nhắc kỹ hơn và hỏi người am hiểu pháp lý; trang này không tư vấn pháp lý cho từng trường hợp.
Một thói quen tốt là lưu lại bản sao giấy phép và thẻ mô tả ở thời điểm bạn tải, vì trang trên kho có thể được sửa sau này. Danh mục "Dữ liệu tiếng Việt cho AI" của trang có bài riêng giải thích các loại giấy phép mở thường gặp.
Theo dõi cái mới mà không bị ngợp
Lượng bài báo và mô hình mới mỗi tuần nhiều đến mức không ai đọc hết. Cách thực tế là chọn vài kênh và đọc đều. Có thể đặt cảnh báo tìm kiếm trên công cụ tra cứu học thuật với từ khoá "Vietnamese" kèm bài toán bạn quan tâm, theo dõi danh sách bài mới của mục tính toán và ngôn ngữ trên kho tiền ấn phẩm, và theo dõi kỷ yếu các hội nghị lớn khi ra mắt.
Các nhóm thảo luận của cộng đồng AI Việt trên mạng xã hội và diễn đàn cũng là kênh nhanh để biết có gì mới, nhưng chất lượng thông tin không đồng đều. Bài giới thiệu một mô hình "vượt mọi mô hình khác với tiếng Việt" nên được kiểm như bất kỳ tuyên bố nào: điều kiện thử, bộ đánh giá, có công bố chi tiết không.
Cuối cùng, chấp nhận rằng không cần biết mọi thứ. Với phần lớn công việc thực tế, nắm vững vài tài nguyên ổn định, hiểu rõ giới hạn của chúng, có giá trị hơn chạy theo mô hình mới mỗi tuần. Khi có nhu cầu cụ thể, quy trình tìm kiếm có hệ thống ở trên sẽ giúp bạn cập nhật trong một buổi.
Tài nguyên ngoài kho kỹ thuật: luận án, thư viện và giới ngôn ngữ học
Không phải tài nguyên tiếng Việt nào cũng nằm trên các kho mà giới kỹ thuật quen dùng. Luận văn thạc sĩ, luận án tiến sĩ về xử lý tiếng Việt ở các trường đại học trong nước thường có phần tổng quan dài, mô tả dữ liệu tự thu thập, và đôi khi kèm phụ lục chi tiết hơn bài báo rút gọn. Nhiều trường có thư viện số cho phép tra cứu tóm tắt hoặc toàn văn theo quy định riêng.
Giới ngôn ngữ học cũng có những tài nguyên mà người làm AI ít để ý: từ điển, kho ngữ liệu phục vụ nghiên cứu ngôn ngữ, công trình về phương ngữ, ngữ âm, ngữ pháp tiếng Việt. Chúng không có sẵn dưới dạng tệp cho máy đọc, nhưng là nền tri thức để viết hướng dẫn gán nhãn đúng, chọn ca kiểm thử có ý nghĩa, hay hiểu vì sao máy nghe nhầm một vùng giọng.
Các dự án cộng đồng như Wikipedia tiếng Việt cung cấp bản xuất dữ liệu định kỳ theo giấy phép mở có điều kiện ghi công và chia sẻ tương tự, được dùng rộng rãi để huấn luyện và làm kho tri thức. Khi dùng, nhớ rằng văn phong Wikipedia khác văn nói, khác văn bản hành chính, và chất lượng từng bài không đều. Kết hợp nhiều loại nguồn, mỗi loại hiểu rõ giới hạn của nó, thường tốt hơn dựa vào một kho duy nhất.
Khi không tìm thấy gì: dấu hiệu của một khoảng trống
Đôi khi tìm kỹ vẫn không ra dữ liệu hay nghiên cứu cho bài toán bạn cần với tiếng Việt, ví dụ nhận dạng giọng nói trong môi trường nhà xưởng, hay trích xuất thông tin từ một loại văn bản chuyên ngành. Trước khi kết luận, kiểm lại bằng vài cách gọi khác của bài toán, tìm cả trong các bộ dữ liệu đa ngôn ngữ có phần tiếng Việt, và hỏi trong nhóm cộng đồng.
Nếu vẫn không có, đó có thể là một khoảng trống thật, và là cơ hội đóng góp. Một bộ dữ liệu nhỏ nhưng làm cẩn thận, có hướng dẫn gán nhãn, có giấy phép rõ, có tập kiểm tra sạch, cho một bài toán chưa ai làm với tiếng Việt, thường có giá trị cộng đồng lớn hơn một mô hình tinh chỉnh thêm trên dữ liệu đã có. Trước khi bắt đầu, xem lại phần đạo đức khi chia sẻ dữ liệu để chắc rằng bạn có quyền thu thập và công bố.
Khi đã quyết định tự làm, hãy ghi lại cả quá trình tìm kiếm không ra kết quả: đã tìm ở đâu, bằng từ khoá nào. Phần này đưa vào thẻ dữ liệu hay bài báo giúp người đọc tin rằng khoảng trống là thật.
Câu hỏi thường gặp
ACL Anthology có tài liệu tiếng Việt không?
Kho này chủ yếu chứa bài viết bằng tiếng Anh, nhưng có nhiều bài nghiên cứu về tiếng Việt, gồm cả bài của các nhóm trong nước và quốc tế. Tìm bằng từ khoá tiếng Anh "Vietnamese" kèm tên bài toán. Bài viết bằng tiếng Việt thì thường nằm ở tạp chí và hội thảo trong nước.
Mô hình tiếng Việt trên kho công khai có an toàn để tải về chạy không?
Phần lớn an toàn nếu dùng định dạng lưu trọng số không chứa mã thực thi. Một số định dạng cũ có thể chạy mã khi nạp, nên ưu tiên định dạng an toàn và mô hình từ nguồn rõ ràng. Chạy thử trong môi trường tách biệt nếu không chắc về nguồn.
Làm sao biết một bộ dữ liệu có chứa thông tin cá nhân không?
Đọc thẻ mô tả xem người làm có nêu bước che hay lọc thông tin cá nhân không, sau đó tự xem ngẫu nhiên vài trăm mẫu. Dữ liệu từ mạng xã hội, diễn đàn, tổng đài rất dễ chứa tên, số điện thoại, địa chỉ. Nếu phát hiện, báo cho người đăng và cân nhắc không dùng.
Có nên dùng mô hình không ghi giấy phép?
Không ghi giấy phép không có nghĩa là được dùng tự do; theo thông lệ bản quyền, mặc định là chưa được cấp quyền. Với nghiên cứu cá nhân, rủi ro thấp hơn, nhưng với sản phẩm hay công bố, nên liên hệ tác giả hỏi rõ hoặc chọn tài nguyên khác.
Thẻ mô hình và thẻ dữ liệu là gì?
Đó là trang mô tả đi kèm mô hình hay bộ dữ liệu trên kho, ghi mục đích, dữ liệu huấn luyện, cách đánh giá, hạn chế và giấy phép. Thẻ tốt giúp bạn quyết định nhanh có dùng được không. Thẻ trống hoặc chỉ có vài dòng quảng cáo là dấu hiệu cần thận trọng.
Tìm dữ liệu giọng nói tiếng Việt khó hơn văn bản vì sao?
Giọng nói là dữ liệu sinh trắc học gắn với người cụ thể, cần sự đồng ý rõ ràng khi thu và chia sẻ. Ghi âm và chép lời cũng tốn công hơn văn bản nhiều. Vì vậy kho giọng nói mở ít hơn, và nhiều bộ chỉ cấp qua đăng ký cho mục đích nghiên cứu.