Viết tắt và tiếng lóng mạng tiếng Việt: chuẩn hoá văn bản để AI đọc đúng bình luận
“ko”, “đc”, “ck”, “ny”, chữ kéo dài, emoji: văn bản mạng tiếng Việt làm khó AI. Chuẩn hoá văn bản là gì, viết tắt nhập nhằng ở đâu, quy trình xử lý bình luận.
#chuẩn hoá văn bản
Chuẩn hoá văn bản cho máy đọc tiếng Việt: số, ngày tháng, đơn vị và chữ viết tắt
Vì sao máy đọc "2/9" thành "hai phần chín", "1.500" thành "một chấm năm trăm": bước chuẩn hoá văn bản trong tổng hợp giọng nói tiếng Việt và cách tự kiểm.
Tỷ lệ lỗi từ (WER) là gì: cách tính và đọc đúng con số với tiếng Việt
WER bằng tổng số chữ bị thay, bị mất và bị chèn chia cho số chữ của bản đúng. Tính tay ví dụ tiếng Việt, vì sao phải chuẩn hoá trước khi so, khi nào dùng CER.