Thẻ dữ liệu là tài liệu đi kèm bộ dữ liệu, trả lời theo một khung cố định các câu: tạo ra để làm gì, ai tạo và ai tài trợ, dữ liệu gồm những gì, thu từ đâu và có đồng ý không, gán nhãn thế nào, độ đồng thuận bao nhiêu, chia tập ra sao, giấy phép gì, giới hạn và rủi ro đã biết. Với dữ liệu tiếng Việt, thẻ dữ liệu cần thêm phần mô tả biến thể ngôn ngữ: vùng miền, có dấu hay không dấu, văn viết hay văn nói, tỷ lệ trộn tiếng Anh. Đi cùng thẻ dữ liệu là kỷ luật giữ tập kiểm tra sạch, vì điểm số trên một tập kiểm tra đã lọt vào dữ liệu huấn luyện không còn đo được gì.
Hai việc này thường bị coi là thủ tục làm cuối dự án. Thực ra chúng quyết định bộ dữ liệu có được dùng đúng không và kết quả đánh giá có đáng tin không. Bài này giới thiệu các khung tài liệu hoá đã được cộng đồng dùng rộng rãi, cách áp cho tiếng Việt, cách chia tập tránh điểm ảo, và các biện pháp chống rò rỉ tập kiểm tra trong thời mà mô hình lớn học gần như mọi thứ có trên web.
Các khung tài liệu hoá có sẵn
Khung được dẫn nhiều nhất là "Datasheets for Datasets" của Timnit Gebru và cộng sự, công bố bản đầu năm 2018 và đăng trên Communications of the ACM năm 2021. Ý tưởng lấy từ ngành điện tử, nơi mỗi linh kiện đi kèm bảng thông số: mỗi bộ dữ liệu nên đi kèm một bộ câu hỏi về động cơ tạo ra, thành phần, quy trình thu thập, tiền xử lý, mục đích sử dụng, phân phối và bảo trì.
Riêng cho dữ liệu ngôn ngữ, Emily Bender và Batya Friedman đề xuất "data statements" năm 2018, nhấn mạnh việc mô tả biến thể ngôn ngữ, đặc điểm người nói, người viết, người gán nhãn, bối cảnh tạo ra lời nói và văn bản. Khung này hợp với tiếng Việt vì buộc người làm dữ liệu khai rõ giọng vùng nào, nhóm người nào, tình huống giao tiếp nào được đại diện.
Các kho chia sẻ dữ liệu và mô hình phổ biến hiện nay cũng có mẫu "thẻ dữ liệu" riêng, thường là một tệp văn bản có các mục cố định đặt cạnh dữ liệu. Không cần chọn khung "đúng nhất"; chọn một khung, điền đủ, và cập nhật mỗi khi bộ dữ liệu đổi phiên bản.
Những mục thẻ dữ liệu tiếng Việt không nên thiếu
Ngoài các mục chung của mọi khung, bộ dữ liệu tiếng Việt nên khai rõ những điểm sau, vì chúng ảnh hưởng trực tiếp đến việc mô hình hoạt động tốt với ai:
- Biến thể ngôn ngữ: tỷ lệ văn bản có dấu, không dấu, viết tắt; văn viết hay lời nói chép lại; tỷ lệ câu trộn tiếng Anh; có văn bản dịch máy không.
- Vùng miền và người tạo dữ liệu: phân bố theo vùng phương ngữ, nhóm tuổi, giới của người nói hoặc người viết, ở dạng nhóm thô; nhóm nào thiếu.
- Chuẩn hoá đã áp: dạng Unicode, kiểu đặt dấu, có tách từ không và bằng công cụ nào, có giải viết tắt không.
- Thời điểm và địa giới: dữ liệu thu trong khoảng thời gian nào; địa danh theo đơn vị hành chính trước hay sau sắp xếp tháng 7/2025.
- Gán nhãn: tóm tắt hướng dẫn, số người gán, đặc điểm người gán, độ đồng thuận theo nhãn, cách xử lý mẫu bất đồng.
- Dữ liệu cá nhân: đã che những loại nào, bằng cách nào, tỷ lệ sót đo được, căn cứ thu thập và phạm vi đồng ý.
- Dữ liệu sinh: có phần nào do mô hình sinh không, tỷ lệ, cách lọc.
- Việc không nên dùng: ví dụ không dùng để đánh giá giọng Nam Bộ vì quá ít mẫu, không dùng cho quyết định về cá nhân.
Mục cuối cùng hay bị bỏ trống nhất nhưng lại hữu ích nhất cho người dùng sau. Người làm dữ liệu biết rõ giới hạn của nó hơn ai hết; viết ra vài dòng có thể tránh cho người khác cả tháng làm sai hướng.
Chia tập: điểm ảo đến từ đâu
Cách chia ngẫu nhiên từng câu vào tập huấn luyện và tập kiểm tra là mặc định của nhiều công cụ, và là nguồn điểm ảo phổ biến nhất. Văn bản tiếng Việt từ cùng một người viết, cùng một bài báo, cùng một cuộc gọi tổng đài có rất nhiều điểm chung: từ vựng, cách diễn đạt, chủ đề, thậm chí nguyên câu lặp lại. Nếu câu này ở tập huấn luyện mà câu kế bên ở tập kiểm tra, mô hình được chấm trên thứ nó gần như đã thấy.
Nguyên tắc là chia theo nhóm: theo người nói hoặc người viết với dữ liệu giọng nói và bình luận, theo tài liệu với dữ liệu văn bản dài, theo cuộc hội thoại với dữ liệu chat. Với bài toán mà dữ liệu thay đổi theo thời gian, như phân loại tin tức hay bình luận về sản phẩm mới, chia theo thời gian (huấn luyện trên dữ liệu cũ, kiểm tra trên dữ liệu mới hơn) phản ánh đúng hơn tình huống dùng thật.
Đồng thời giữ tỷ lệ các nhóm quan trọng trong từng tập: vùng miền, nhãn hiếm, loại văn bản. Tập kiểm tra cần đủ mẫu ở mỗi nhóm để tính chỉ số riêng, nên đôi khi phải lấy mẫu dư cho nhóm nhỏ và ghi rõ điều đó.
Rò rỉ tập kiểm tra trong thời mô hình lớn
Một vấn đề mới hơn: các mô hình ngôn ngữ lớn được huấn luyện trên lượng dữ liệu web khổng lồ, và các bộ dữ liệu đánh giá công khai, kể cả tiếng Việt, có thể đã nằm trong đó. Khi đánh giá một mô hình như vậy trên tập kiểm tra đã công khai nhiều năm, điểm cao có thể phản ánh việc mô hình đã gặp đề, không phải năng lực thật. Hiện tượng này thường được gọi là nhiễm dữ liệu đánh giá, và là chủ đề nghiên cứu đang sôi động với nhiều phương pháp phát hiện còn được bàn cãi.
Với người làm dữ liệu tiếng Việt, có vài biện pháp thực tế. Giữ một phần tập kiểm tra không công bố, chỉ dùng nội bộ hoặc qua một hệ thống chấm điểm nhận bài nộp. Đặt một chuỗi đánh dấu duy nhất trong tệp dữ liệu công bố, cách mà một số bộ đánh giá lớn đã làm, để người huấn luyện mô hình lọc ra và để có thể kiểm xem mô hình có thuộc chuỗi đó không. Định kỳ làm mới tập kiểm tra bằng dữ liệu tạo sau thời điểm huấn luyện của các mô hình cần đánh giá.
Khi đọc kết quả của người khác trên một bộ đánh giá tiếng Việt cũ, nên hỏi: bộ này công bố từ bao giờ, mô hình huấn luyện đến thời điểm nào, có kiểm nhiễm không. Đây không phải nghi ngờ thiện chí mà là cách đọc kết quả có hiểu biết.
Phiên bản và bảo trì: bộ dữ liệu cũng có vòng đời
Một bộ dữ liệu được dùng lâu sẽ phải sửa: phát hiện nhãn sai, có yêu cầu gỡ bỏ, thêm dữ liệu mới, sửa quy tắc chuẩn hoá. Không có phiên bản rõ ràng thì hai kết quả công bố trên "cùng một bộ dữ liệu" có thể đang dùng hai thứ khác nhau.
| Thay đổi | Cách đánh phiên bản gợi ý | Ghi vào nhật ký thay đổi |
|---|---|---|
| Sửa vài nhãn sai, không đổi tập kiểm tra | Tăng số nhỏ cuối | Số mẫu sửa, lý do |
| Sửa nhãn trong tập kiểm tra | Tăng số giữa, báo rõ điểm cũ không so được | Danh sách mẫu đổi, ảnh hưởng ước tính |
| Thêm dữ liệu mới, đổi hướng dẫn gán nhãn | Tăng số giữa | Nguồn mới, thay đổi hướng dẫn |
| Gỡ bỏ theo yêu cầu, che lại dữ liệu cá nhân | Tăng số nhỏ hoặc giữa tuỳ quy mô | Số mẫu gỡ, không nêu nội dung |
| Đổi cấu trúc, đổi chia tập, đổi định nghĩa nhãn | Tăng số đầu | Toàn bộ thay đổi, hướng dẫn chuyển đổi |
Giữ các phiên bản cũ có thể tải lại được, trừ khi phải gỡ vì lý do pháp lý hay dữ liệu cá nhân. Khi công bố kết quả, luôn ghi phiên bản dữ liệu đã dùng; thói quen nhỏ này giải quyết phần lớn các cuộc tranh cãi vì sao kết quả chạy lại khác kết quả đã công bố.
Bảo trì và kênh phản hồi
Bộ dữ liệu công bố nên có người hoặc nhóm chịu trách nhiệm bảo trì, ghi trong thẻ dữ liệu, cùng một kênh nhận báo lỗi và yêu cầu gỡ bỏ. Người dùng sau thường là người phát hiện nhãn sai nhiều nhất; nếu không có chỗ báo, họ sẽ tự sửa trong bản riêng và cộng đồng có hàng chục phiên bản "đã sửa" không ai biết khác nhau thế nào.
Khi nhóm làm dữ liệu không còn duy trì được, ghi rõ trạng thái "ngừng bảo trì" thay vì để im lặng. Người dùng có quyền biết rằng các lỗi phát hiện sau ngày đó sẽ không được sửa và địa danh, thuật ngữ trong dữ liệu có thể đã lỗi thời, ví dụ tên đơn vị hành chính trước tháng 7/2025.
Với cộng đồng xử lý tiếng Việt, nơi số bộ dữ liệu chất lượng còn ít so với các ngôn ngữ lớn, mỗi bộ dữ liệu được tài liệu hoá tốt và bảo trì nghiêm túc có giá trị lâu dài vượt xa dự án ban đầu tạo ra nó.
Ví dụ giả định: thẻ dữ liệu rút gọn cho một bộ bình luận
Để hình dung, dưới đây là phần đầu một thẻ dữ liệu rút gọn cho bộ bình luận khách hàng tiếng Việt (ví dụ giả định, không phải bộ dữ liệu có thật):
- Mục đích: huấn luyện và đánh giá mô hình phân loại bình luận cần xử lý của cửa hàng đồ gia dụng trực tuyến; không dùng để đánh giá cá nhân người viết.
- Nguồn: bình luận khách hàng gửi qua kênh của cửa hàng trong khoảng thời gian ghi rõ, có thông báo về việc dùng phản hồi để cải thiện dịch vụ.
- Biến thể ngôn ngữ: phần lớn có dấu, một phần đáng kể không dấu hoặc viết tắt; có trộn từ tiếng Anh; không có văn bản dịch máy đã biết.
- Vùng miền: ước đoán theo địa chỉ giao hàng ở cấp tỉnh; giọng viết Bắc Trung Bộ và Tây Nguyên ít mẫu, không nên dùng để kết luận về hai nhóm này.
- Gán nhãn: ba chiều nhãn, hai người gán độc lập trên một phần mười dữ liệu, độ đồng thuận báo cáo theo từng nhãn kèm cỡ mẫu.
- Dữ liệu cá nhân: che tên, số điện thoại, địa chỉ bằng nhãn loại; tỷ lệ sót đo trên mẫu rà tay được ghi kèm.
- Chia tập: theo khách hàng, tập kiểm tra là dữ liệu của tháng cuối cùng.
Một thẻ như vậy chỉ dài một hai trang nhưng trả lời được hầu hết câu hỏi người dùng sau sẽ đặt ra, và quan trọng hơn, buộc nhóm làm dữ liệu tự trả lời những câu đó trước khi phát hành.
Câu hỏi thường gặp
Thẻ dữ liệu có bắt buộc không?
Không có quy định chung bắt buộc cho mọi bộ dữ liệu, nhưng nhiều hội thảo, tạp chí và kho chia sẻ yêu cầu hoặc khuyến khích mạnh. Với dữ liệu dùng nội bộ, thẻ dữ liệu giúp người mới vào nhóm hiểu nhanh và giúp kiểm toán khi có sự cố.
Chia tập theo người nói có làm tập kiểm tra quá nhỏ không?
Có thể, nếu số người nói ít. Khi đó nên ưu tiên thu thêm người nói thay vì thêm giờ từ người cũ, hoặc dùng kiểm định chéo theo nhóm. Một tập kiểm tra nhỏ nhưng sạch vẫn đáng tin hơn tập lớn bị rò rỉ.
Làm sao biết một mô hình đã thấy tập kiểm tra của mình?
Không có cách chắc chắn tuyệt đối. Các dấu hiệu gồm mô hình hoàn thành nguyên văn câu trong tập khi được gợi phần đầu, điểm trên tập cũ cao bất thường so với tập mới cùng độ khó, hoặc mô hình nhắc lại chuỗi đánh dấu. Các phương pháp phát hiện vẫn đang được nghiên cứu.
Có nên công bố toàn bộ tập kiểm tra không?
Công bố giúp tái lập kết quả nhưng tăng nguy cơ rò rỉ vào dữ liệu huấn luyện. Cách cân bằng là công bố một phần, giữ kín một phần để chấm qua hệ thống nhận bài nộp, hoặc làm mới tập định kỳ.
Thẻ dữ liệu nên viết bằng tiếng Việt hay tiếng Anh?
Nếu muốn cộng đồng quốc tế dùng, nên có bản tiếng Anh; nếu người dùng chính là người Việt, bản tiếng Việt giúp dễ hiểu và chính xác hơn về các khái niệm như vùng phương ngữ hay đơn vị hành chính. Có cả hai là tốt nhất.
Khi gỡ dữ liệu theo yêu cầu, có phải huấn luyện lại mô hình không?
Gỡ khỏi bộ dữ liệu không tự động xoá khỏi mô hình đã huấn luyện. Có phải huấn luyện lại hay không tuỳ nghĩa vụ pháp lý và mức độ nhạy cảm; đây là câu hỏi đang được bàn nhiều, nên ghi rõ chính sách trong thẻ dữ liệu.