Chuẩn hoá văn bản tiếng Việt trong bộ dữ liệu: Unicode, kiểu đặt dấu, mã cũ, viết tắt
Cùng một chữ "hoà" có thể là bốn chuỗi ký tự khác nhau. Thứ tự chuẩn hoá Unicode, kiểu đặt dấu, ký tự giống hệt, mã TCVN3, VNI và viết tắt mạng trước khi huấn l
#dữ liệu tiếng việt
Viết hướng dẫn gán nhãn dữ liệu tiếng Việt: định nghĩa nhãn, ca khó, luật ưu tiên
Nhãn tốt đến từ bản hướng dẫn tốt. Cách viết hướng dẫn gán nhãn cho dữ liệu tiếng Việt, lấy ví dụ bình luận khách hàng: mỉa mai, "cũng được", câu khen chê lẫn l
Độ đồng thuận giữa người gán nhãn: tính kappa của Cohen và đọc kết quả
Hai người gán cùng một bộ bình luận, giống nhau 80% nhưng kappa chỉ 0,6. Cách tính kappa từng bước, vì sao nó thấp, khi nào dùng Fleiss hay Krippendorff và nên
Thẻ dữ liệu và tập kiểm tra sạch cho dữ liệu tiếng Việt: chia tập, chống rò rỉ
Không có thẻ dữ liệu thì khó ai dùng đúng, tập kiểm tra bị rò rỉ thì điểm số vô nghĩa. Cách viết thẻ dữ liệu, chia tập, giữ tập kiểm tra tiếng Việt không bị lọt