VLSP là tên viết tắt của Vietnamese Language and Speech Processing, chỉ chuỗi hội thảo và các cuộc thi chung (nhiệm vụ chia sẻ) về xử lý văn bản và tiếng nói tiếng Việt, nơi ban tổ chức phát cùng một bộ dữ liệu cho các đội, chấm bằng cùng một thước đo và công bố kết quả, kèm báo cáo kỹ thuật của từng đội. Cái tên bắt nguồn từ một dự án khoa học cấp nhà nước cuối thập niên 2000, về sau được cộng đồng giữ lại.
Nếu bạn đọc bài báo về xử lý tiếng Việt, rất dễ gặp những câu kiểu "thử nghiệm trên dữ liệu VLSP" hay "hệ thống đạt kết quả cao trong nhiệm vụ của VLSP". Bài này giải thích một nhiệm vụ chia sẻ vận hành ra sao, các loại bài toán thường xuất hiện, vì sao cộng đồng cần những cuộc thi như vậy, và quan trọng hơn: kết quả cuộc thi nói lên gì và không nói lên gì, để bạn không đọc nhầm thành bảng xếp hạng sản phẩm.
Từ dự án nghiên cứu thành sân chơi của cộng đồng
Như đã nhắc trong bài về lịch sử xử lý tiếng Việt, VLSP ban đầu là tên một dự án nghiên cứu nhằm làm các tài nguyên nền: kho ngữ liệu có gán nhãn, từ điển, công cụ cơ bản cho văn bản và tiếng nói. Khi dự án kết thúc, những người tham gia và các nhóm nghiên cứu khác tiếp tục gặp nhau dưới tên đó, dần thành một chuỗi hội thảo, thường tổ chức hằng năm, có phần báo cáo khoa học và phần nhiệm vụ chia sẻ.
Điều đáng chú ý về mặt tổ chức là VLSP không thuộc riêng một trường hay một công ty. Mỗi năm, các nhiệm vụ thường do những nhóm khác nhau đề xuất và phụ trách: nhóm có dữ liệu phù hợp đứng ra chuẩn bị bộ dữ liệu, viết hướng dẫn, dựng hệ thống chấm. Nhờ vậy chủ đề thay đổi theo thời gian, đi theo những gì cộng đồng đang quan tâm. Cũng vì vậy mà chất lượng tài liệu, giấy phép dữ liệu và mức độ công khai mỗi nhiệm vụ một khác.
Thông tin chính thức về từng kỳ (chủ đề, lịch, điều khoản dữ liệu) nằm trên trang của hội thảo và trong kỷ yếu. Vì trang này không chèn liên kết, bạn có thể tìm bằng tên VLSP kèm năm. Khi đọc các trang tổng hợp không chính thức, nên đối chiếu lại với trang của ban tổ chức, vì điều khoản dữ liệu thường có chi tiết bị bỏ sót khi chép lại.
Nhiệm vụ chia sẻ vận hành như thế nào
Một nhiệm vụ chia sẻ (tiếng Anh là shared task) có khung khá giống nhau ở mọi cộng đồng ngôn ngữ. Ban tổ chức định nghĩa bài toán thật chặt: đầu vào là gì, đầu ra định dạng ra sao, chấm bằng chỉ số nào. Họ chia dữ liệu thành tập huấn luyện, tập phát triển (để các đội tự thử) và tập kiểm tra được giữ kín. Các đội đăng ký, thường phải ký cam kết sử dụng dữ liệu, rồi có vài tuần đến vài tháng để xây hệ thống.
Đến hạn, ban tổ chức phát tập kiểm tra không kèm đáp án, các đội chạy hệ thống và nộp kết quả trong một khung thời gian ngắn, thường chỉ được nộp một số lần giới hạn để tránh dò đáp án. Kết quả được chấm tự động, có khi kèm người chấm với những bài toán như tổng hợp giọng nói, nơi độ tự nhiên khó đo bằng máy. Cuối cùng, các đội viết báo cáo hệ thống mô tả cách làm, và hội thảo dành một phiên trình bày.
Có hai luật thường gây tranh luận. Một là được dùng dữ liệu ngoài hay không: nhiệm vụ "đóng" chỉ cho dùng dữ liệu ban tổ chức phát, nhiệm vụ "mở" cho dùng thêm nguồn khác miễn khai báo. Hai là được dùng mô hình tiền huấn luyện nào. Hai đội có điểm sát nhau nhưng một đội dùng mô hình lớn hơn nhiều, hoặc thêm dữ liệu ngoài, thì so sánh trực tiếp thiếu công bằng. Báo cáo hệ thống tốt luôn ghi rõ những điều này.
Các loại bài toán thường gặp
Chủ đề thay đổi theo năm, nhưng nhìn chung các nhiệm vụ xoay quanh mấy nhóm sau. Bảng chỉ mô tả loại bài toán và thước đo hay dùng, không liệt kê kỳ nào có nhiệm vụ nào, vì điều đó bạn nên tra trực tiếp trên kỷ yếu.
| Nhóm | Ví dụ bài toán | Thước đo hay dùng | Khó riêng với tiếng Việt |
|---|---|---|---|
| Trích xuất thông tin | Nhận dạng thực thể có tên, trích quan hệ | Độ chính xác, độ phủ, điểm F1 | Tên riêng nhiều âm tiết, viết hoa không nhất quán trên mạng |
| Phân loại, cảm xúc | Phân tích cảm xúc bình luận theo khía cạnh | F1 theo nhãn, F1 trung bình | Viết tắt, không dấu, mỉa mai |
| Cú pháp | Phân tích phụ thuộc, tách từ, gán nhãn từ loại | Điểm gắn nhãn, độ chính xác | Quy ước thế nào là một từ |
| Tiếng nói | Nhận dạng giọng nói, tổng hợp giọng nói | Tỷ lệ lỗi từ; điểm nghe của người chấm | Thanh điệu, giọng vùng miền, tiếng ồn |
| Dịch và sinh văn bản | Dịch máy, tóm tắt, hỏi đáp | Chỉ số tự động như BLEU, ROUGE; người chấm | Xưng hô, văn phong, độ trung thành với nguồn |
| Đánh giá mô hình lớn | Bộ câu hỏi kiến thức, suy luận bằng tiếng Việt | Tỷ lệ đúng, người chấm | Kiến thức địa phương, thông tin cập nhật |
Dòng cuối là hướng xuất hiện nhiều hơn trong những năm gần đây ở cộng đồng ngôn ngữ nói chung: thay vì thi xây hệ thống, người ta thi xây bộ đánh giá hoặc đánh giá mô hình có sẵn. Với tiếng Việt, đây là mảng mà người bản ngữ có lợi thế tự nhiên.
Vì sao cộng đồng cần những cuộc thi chung
Lý do đầu tiên là tạo ra mặt bằng so sánh. Không có tập kiểm tra chung, mỗi nhóm tự chọn dữ liệu, tự chia tập, tự tính điểm; con số trong bài báo này không đặt cạnh được con số trong bài báo kia. Một tập kiểm tra giữ kín, chấm cùng một cách, là cách rẻ nhất để biết kỹ thuật nào thật sự giúp được tiếng Việt.
Lý do thứ hai là sinh ra dữ liệu. Gán nhãn tốn công; một nhóm nhỏ khó tự làm được bộ dữ liệu đủ lớn. Khi một nhiệm vụ được tổ chức, dữ liệu được chuẩn bị bài bản, có hướng dẫn gán nhãn, có kiểm tra chéo, và sau cuộc thi thường vẫn được dùng làm chuẩn tham chiếu trong nhiều năm.
Lý do thứ ba là đào tạo người. Với nhiều sinh viên, tham gia một nhiệm vụ chia sẻ là lần đầu làm một bài toán thật từ đầu đến cuối, có hạn chót, có đối chứng, phải viết báo cáo cho người khác đọc. Kinh nghiệm đó khác hẳn bài tập trên lớp. Lý do cuối là kết nối: người làm cùng bài toán biết nhau, sau đó cộng tác, chia sẻ mã, góp ý bài báo cho nhau.
Đọc kết quả cuộc thi sao cho đúng
Đứng đầu một nhiệm vụ không có nghĩa là sản phẩm tốt nhất. Cuộc thi đo trên một tập kiểm tra cụ thể, thường vài nghìn câu hay vài giờ ghi âm, thuộc một miền dữ liệu nhất định. Một hệ thống thắng trên bình luận mua sắm có thể kém trên văn bản pháp lý. Dùng kết quả cuộc thi để quảng cáo "AI tiếng Việt số một" là đọc sai.
Chênh lệch nhỏ thường không có ý nghĩa. Khoảng cách vài phần mười điểm giữa hai đội có thể nằm trong sai số do tập kiểm tra nhỏ. Báo cáo cẩn thận sẽ kiểm định ý nghĩa thống kê hoặc ít nhất chạy nhiều lần với hạt giống ngẫu nhiên khác nhau.
Đọc điều kiện trước khi đọc điểm. Đội dùng dữ liệu ngoài, dùng mô hình lớn hơn, hay kết hợp nhiều mô hình thì có lợi thế tài nguyên. Khi bạn chọn cách làm cho dự án của mình, hệ thống xếp thứ ba nhưng nhẹ và chạy được trên máy của bạn có khi hữu ích hơn hệ thống đứng đầu.
Dữ liệu cuộc thi có điều khoản riêng. Nhiều bộ dữ liệu VLSP chỉ cấp cho mục đích nghiên cứu, phải đăng ký và cam kết. Không mặc nhiên đem dữ liệu đó vào sản phẩm thương mại hay chia lại cho người khác; đọc điều khoản của đúng kỳ, đúng nhiệm vụ.
Giới hạn và những điều cộng đồng còn bàn
Cũng như các chuỗi cuộc thi ở cộng đồng ngôn ngữ khác, VLSP có những giới hạn cố hữu. Tập kiểm tra cố định dễ bị "học thuộc" theo thời gian: các nhóm liên tục thử trên cùng một tập phát triển, chọn cấu hình tốt nhất, và điểm số tăng nhưng khả năng khái quát không tăng tương ứng. Đó là lý do một số nhiệm vụ thay tập kiểm tra mới mỗi kỳ.
Một vấn đề khác là khả năng tiếp cận. Dữ liệu phát qua đăng ký có lợi cho việc kiểm soát quyền riêng tư và bản quyền, nhưng làm người ngoài khó kiểm lại kết quả sau này, nhất là khi trang của một kỳ cũ không còn duy trì. Việc lưu trữ dài hạn dữ liệu, mã chấm điểm, báo cáo là bài toán chung của nhiều cộng đồng nhỏ, không riêng tiếng Việt.
Cuối cùng, khi mô hình ngôn ngữ lớn có thể làm tạm được nhiều bài toán mà không cần huấn luyện, giá trị của một số nhiệm vụ cũ thay đổi. Hướng đi hợp lý mà nhiều cộng đồng chọn là chuyển trọng tâm sang đánh giá: làm bộ dữ liệu kiểm tra khó, sát thực tế, có kiến thức địa phương. Với người mới, điều này có nghĩa là đóng góp một bộ đánh giá tốt cũng được ghi nhận như xây một hệ thống tốt.
Dùng VLSP để tự học xử lý tiếng Việt
Không tham gia thi vẫn có thể học được rất nhiều từ các kỳ VLSP đã qua. Một lộ trình tự học gọn, dựa trên tài liệu công khai, có thể như sau.
- Chọn một nhóm bài toán gần với việc bạn đang làm, chẳng hạn phân tích cảm xúc nếu bạn làm sản phẩm thương mại điện tử, nhận dạng giọng nói nếu bạn làm tổng đài.
- Đọc phần mô tả nhiệm vụ và báo cáo tổng quan của ban tổ chức kỳ đó: họ định nghĩa bài toán thế nào, dữ liệu lấy từ đâu, gán nhãn ra sao, những ca khó nào được nêu.
- Đọc ba đến năm báo cáo hệ thống của các đội, gồm cả đội đứng đầu lẫn đội ở giữa bảng. Ghi lại những kỹ thuật lặp lại ở nhiều đội và những lỗi mà nhiều đội cùng gặp.
- Nếu dữ liệu còn cấp cho nghiên cứu và bạn đủ điều kiện, đăng ký đúng thủ tục rồi tái tạo lại một hệ thống cơ sở. Tái tạo được một con số trong báo cáo là bài tập rất tốt.
- Viết lại những gì học được thành ghi chú cho chính mình hoặc cho nhóm, ghi rõ nguồn từng ý.
Cách học này chậm hơn xem một video tổng hợp, nhưng cho bạn hiểu bài toán từ phía người làm dữ liệu, điều mà phần lớn hướng dẫn trên mạng bỏ qua.
Câu hỏi thường gặp
Sinh viên năm hai có tham gia nhiệm vụ VLSP được không?
Thường là được, điều kiện cụ thể do ban tổ chức từng nhiệm vụ quy định. Nhiều đội có thành viên là sinh viên, có giảng viên hướng dẫn hoặc tự lập nhóm. Điều quan trọng hơn trình độ là có thời gian đều đặn trong vài tuần và đọc kỹ luật dữ liệu ngay từ đầu.
Dữ liệu VLSP có tải tự do được không?
Tuỳ nhiệm vụ và tuỳ kỳ. Nhiều bộ dữ liệu chỉ cấp cho người đăng ký với cam kết dùng cho nghiên cứu, không chia lại. Một số bộ về sau được công bố rộng hơn. Muốn dùng, bạn cần đọc điều khoản của đúng bộ đó trên trang chính thức hoặc liên hệ nhóm phụ trách.
Một bài báo ghi kết quả trên dữ liệu VLSP có so được với bài khác không?
Chỉ so được khi hai bài dùng đúng cùng phiên bản dữ liệu, cùng cách chia tập, cùng cách tính điểm và cùng tiền xử lý, chẳng hạn cùng có hay không tách từ. Nhiều bài khác nhau ở một trong các điểm đó, nên đọc phần thực nghiệm trước khi tin con số.
Có cuộc thi nào tương tự cho tiếng Việt ngoài VLSP?
Có các cuộc thi do trường đại học, doanh nghiệp hoặc nền tảng thi khoa học dữ liệu tổ chức, chủ đề rải rác từ phân loại văn bản đến nhận dạng giọng nói. Ở quy mô quốc tế, một số nhiệm vụ đa ngôn ngữ cũng có phần tiếng Việt. Chất lượng dữ liệu và tài liệu của các cuộc thi này không đồng đều.
Kết quả cuộc thi có giúp chọn công cụ cho doanh nghiệp không?
Giúp được ở mức gợi ý hướng kỹ thuật, không thay được thử nghiệm trên dữ liệu của chính doanh nghiệp. Dữ liệu thật thường khác miền, khác văn phong so với tập kiểm tra cuộc thi. Cách đúng là lấy vài trăm mẫu thật, gán nhãn, rồi tự đo các lựa chọn.
Muốn đề xuất một nhiệm vụ mới thì cần chuẩn bị gì?
Thường cần một bộ dữ liệu có quyền chia sẻ rõ ràng, hướng dẫn gán nhãn, số đo đồng thuận giữa người gán, cách chấm tự động, một hệ thống cơ sở để các đội so sánh và người chịu trách nhiệm trả lời câu hỏi suốt mùa thi. Liên hệ ban tổ chức từ sớm để biết lịch nhận đề xuất.