Tách từ tiếng Việt là gì: vì sao máy không biết “học sinh” là một từ hay hai
Tách từ tiếng Việt là bước chia câu thành từ chứ không phải âm tiết. Vì sao khó, máy tách sai ra sao, công cụ làm thế nào, khi nào mô hình mới còn cần.
Tiếng Việt khó với máy ở đâu
Đặc điểm tiếng Việt khiến AI vấp: dấu thanh và chữ không dấu, tách từ (từ ghép, từ láy), đại từ xưng hô theo quan hệ, loại từ, từ Hán Việt, viết tắt và tiếng lóng mạng, trộn Anh–Việt; bảng mã Unicode dựng sẵn và tổ hợp gây lỗi tìm kiếm; token tiếng Việt tốn hơn tiếng Anh (nguyên lý).
Unicode dựng sẵn và tổ hợp: vì sao cùng chữ “Việt” mà máy tìm không ra
Một chữ Việt có dấu có thể lưu bằng hai chuỗi mã khác nhau. Vì sao điều đó làm hỏng tìm kiếm, sắp xếp, dữ liệu AI, và cách nhận ra, chuẩn hoá cho đúng.
Phục hồi dấu tiếng Việt: vì sao “ban dang o dau” có hàng chục cách hiểu
Phục hồi dấu là cho máy thêm dấu vào văn bản gõ không dấu. Vì sao khó, các cách máy làm, chỗ hay sai như tên riêng, và quy trình dùng an toàn trong công việc.
Hoà hay hòa, kỹ hay kĩ: hai kiểu chính tả khiến máy coi một chữ thành hai
Đặt dấu “hoà” hay “hòa”, viết “kỹ” hay “kĩ” đều có người dùng. Với máy đó là hai chữ khác nhau: tìm kiếm, gộp dữ liệu, AI đều lệch. Cách chọn chuẩn và xử lý.
Xưng hô bằng từ thân tộc và câu vắng chủ ngữ: máy đoán ai nói với ai thế nào
Chữ “anh” có thể là người nói, người nghe hay người thứ ba; câu tiếng Việt lại hay bỏ chủ ngữ. Máy phải đoán ai làm gì với ai, và hay sai ở đâu khi tóm tắt, dịc
Loại từ tiếng Việt và AI: vì sao máy viết “một cái ý tưởng” hay quên chữ “con”
Con, cái, chiếc, quả, tờ, cuốn và sự, việc, cuộc, nỗi: những từ nhỏ mà máy hay dùng sai khi viết, dịch tiếng Việt. Cơ chế, lỗi thường gặp và cách soát bài do AI
Từ đồng âm tiếng Việt: vì sao AI hiểu nhầm “con ngựa đá con ngựa đá”
Tiếng Việt nhiều từ đồng âm, cả thuần Việt lẫn yếu tố Hán Việt. Máy phân biệt nghĩa thế nào, vì sao vẫn nhầm ở câu ngắn, chơi chữ, tên riêng, và cách viết rõ ng
Viết tắt và tiếng lóng mạng tiếng Việt: chuẩn hoá văn bản để AI đọc đúng bình luận
“ko”, “đc”, “ck”, “ny”, chữ kéo dài, emoji: văn bản mạng tiếng Việt làm khó AI. Chuẩn hoá văn bản là gì, viết tắt nhập nhằng ở đâu, quy trình xử lý bình luận.
Trộn tiếng Anh vào câu tiếng Việt: AI xử lý kiểu nói “check mail giùm” ra sao
“Deadline gấp, em check mail giùm anh” là câu trộn Anh–Việt rất thường gặp. Vì sao kiểu câu này làm khó tách từ, giọng nói, dịch máy và chatbot, cách xử lý cho
Tiếng Việt tốn token hơn tiếng Anh: nguyên nhân từ UTF-8, bộ từ vựng và cách tự đo
Cùng một ý, viết tiếng Việt thường tốn nhiều token hơn tiếng Anh. Nguyên nhân từ mã UTF-8 và bộ từ vựng, ảnh hưởng tới chi phí, độ dài ngữ cảnh, và cách tự đo.
Bạn cần hỗ trợ thêm?
Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.