#dữ liệu huấn luyện mô hình ngôn ngữ

Làm sạch văn bản tiếng Việt cào từ web: lọc trùng, bỏ rác, lọc chất lượng

Văn bản tiếng Việt từ web lẫn menu, quảng cáo, bài sao chép, văn máy sinh và chữ lỗi mã hoá. Thứ tự các bước lọc, quy tắc cụ thể và cách kiểm mình lọc có quá ta