Viết hướng dẫn gán nhãn dữ liệu tiếng Việt: định nghĩa nhãn, ca khó, luật ưu tiên
Nhãn tốt đến từ bản hướng dẫn tốt. Cách viết hướng dẫn gán nhãn cho dữ liệu tiếng Việt, lấy ví dụ bình luận khách hàng: mỉa mai, "cũng được", câu khen chê lẫn l
Dữ liệu tiếng Việt cho AI
Làm bộ dữ liệu tiếng Việt: nguồn mở và giấy phép, thu thập có đồng ý, làm sạch (trùng lặp, mã hoá, rác quảng cáo), chuẩn hoá dấu, gán nhãn và hướng dẫn gán nhãn, đo độ đồng thuận người gán, dữ liệu phương ngữ và vùng miền, dữ liệu tổng hợp do AI sinh, che dữ liệu cá nhân theo quy định Việt Nam (nguyên lý, dặn tra bản hiện hành).
Độ đồng thuận giữa người gán nhãn: tính kappa của Cohen và đọc kết quả
Hai người gán cùng một bộ bình luận, giống nhau 80% nhưng kappa chỉ 0,6. Cách tính kappa từng bước, vì sao nó thấp, khi nào dùng Fleiss hay Krippendorff và nên
Thu thập dữ liệu tiếng Việt theo vùng miền: lấy mẫu, siêu dữ liệu, chép phương ngữ
Mô hình nghe giọng Hà Nội tốt mà vấp giọng Nghệ An, Cà Mau thường do dữ liệu, không do thuật toán. Cách lấy mẫu vùng miền, ghi siêu dữ liệu, chép phương ngữ.
Sinh dữ liệu tiếng Việt bằng mô hình ngôn ngữ: lúc nên dùng, cách lọc, bẫy văn dịch
Dữ liệu do mô hình sinh giúp khởi động nhanh, phủ ca hiếm, nhưng dễ đơn điệu và mang giọng văn dịch. Khi nào nên dùng, cách đa dạng hoá, lọc, giữ tập kiểm tra s
Che dữ liệu cá nhân trong bộ dữ liệu tiếng Việt: tên người, số giấy tờ, địa chỉ
Tên người Việt trùng từ thường, địa chỉ đổi theo đơn vị hành chính mới, thông tin gián tiếp đủ nhận ra người. Cách tìm và che dữ liệu cá nhân trước khi huấn luy
Thẻ dữ liệu và tập kiểm tra sạch cho dữ liệu tiếng Việt: chia tập, chống rò rỉ
Không có thẻ dữ liệu thì khó ai dùng đúng, tập kiểm tra bị rò rỉ thì điểm số vô nghĩa. Cách viết thẻ dữ liệu, chia tập, giữ tập kiểm tra tiếng Việt không bị lọt
Cách làm bộ dữ liệu tiếng Việt cho AI: tám bước từ mục đích đến bản phát hành
Một bộ dữ liệu tiếng Việt dùng được bắt đầu từ câu hỏi cần trả lời, không phải từ việc gom thật nhiều chữ. Tám bước, kèm chỗ hay hỏng ở từng bước.
Nguồn dữ liệu tiếng Việt mở và giấy phép: đọc CC BY, CC BY-SA, CC0 trước khi dùng
Wikipedia tiếng Việt, Common Voice, kho trích từ Common Crawl, dữ liệu từ các cuộc thi: mỗi nguồn kèm điều kiện riêng. Cách đọc giấy phép trước khi đưa vào huấn
Làm sạch văn bản tiếng Việt cào từ web: lọc trùng, bỏ rác, lọc chất lượng
Văn bản tiếng Việt từ web lẫn menu, quảng cáo, bài sao chép, văn máy sinh và chữ lỗi mã hoá. Thứ tự các bước lọc, quy tắc cụ thể và cách kiểm mình lọc có quá ta
Chuẩn hoá văn bản tiếng Việt trong bộ dữ liệu: Unicode, kiểu đặt dấu, mã cũ, viết tắt
Cùng một chữ "hoà" có thể là bốn chuỗi ký tự khác nhau. Thứ tự chuẩn hoá Unicode, kiểu đặt dấu, ký tự giống hệt, mã TCVN3, VNI và viết tắt mạng trước khi huấn l
Bạn cần hỗ trợ thêm?
Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.