Sách báo chữ quốc ngữ in từ cuối thế kỷ 19 đến giữa thế kỷ 20 là loại tài liệu khó với OCR vì ba lý do cộng dồn: chữ in typo bằng con chữ chì cho nét không đều, mực loang hoặc mất nét; giấy ố, giòn, thấm chữ mặt sau; và chính tả, cách đặt dấu, cách viết từ ghép khác với ngày nay. Công cụ nhận dạng được huấn luyện chủ yếu trên văn bản hiện đại thường đọc sai ở những chỗ này, hoặc tệ hơn, tự "hiện đại hoá" văn bản cũ mà không báo.
Nguyên tắc quan trọng nhất khi số hoá loại tài liệu này là tách hai lớp: bản nguyên văn, chép đúng như trên trang kể cả chính tả cũ, và bản chuẩn hoá phục vụ tìm kiếm, đọc phổ thông. Trộn hai lớp làm một là đánh mất giá trị tư liệu của văn bản gốc. Bài này đi qua đặc điểm của sách báo quốc ngữ cũ, những lỗi OCR điển hình, và quy trình giữ được cả hai lớp.
Vì sao sách báo quốc ngữ cũ là thể loại riêng
Báo chữ quốc ngữ xuất hiện khá sớm: Gia Định báo, ra đời ở Sài Gòn năm 1865, thường được coi là tờ báo quốc ngữ đầu tiên. Đến đầu thế kỷ 20, báo chí và sách quốc ngữ phát triển mạnh, với những tạp chí có ảnh hưởng lớn như Nam Phong (1917–1934). Lượng ấn phẩm của giai đoạn này rất lớn, nằm rải rác ở thư viện, kho lưu trữ trong và ngoài nước, và nhiều bản chỉ còn dưới dạng vi phim hoặc bản chụp chất lượng không đều.
Về kỹ thuật in, phần lớn ấn phẩm thời kỳ này in typo: thợ sắp từng con chữ chì thành dòng. Chữ có dấu tiếng Việt cần những con chữ riêng, và khi thiếu, nhà in có thể dùng chữ gần giống hoặc ghép dấu rời. Con chữ mòn cho nét mảnh mất, dấu thanh vỡ; mực nhiều thì chữ nhoè dính nhau, mực ít thì chữ nhạt đứt nét. Mỗi nhà in, mỗi đợt in lại có bộ chữ khác nhau.
Về chính tả, chữ quốc ngữ thời kỳ đầu chưa thống nhất như ngày nay. Nhiều văn bản viết từ ghép, từ Hán Việt có gạch nối giữa các âm tiết, như "Việt-Nam", "quốc-ngữ", "văn-học". Một số từ được viết theo dạng khác dạng phổ biến hiện nay, và vị trí dấu thanh trên các vần như "oa", "uy" cũng không đồng nhất. Đây không phải lỗi mà là dấu vết lịch sử của chữ viết, và chính những chi tiết này là thứ nhà nghiên cứu cần giữ.
Lỗi OCR điển hình với sách báo quốc ngữ cũ
Những nhóm lỗi dưới đây gặp nhiều khi chạy công cụ nhận dạng thông thường trên ấn phẩm cũ; ví dụ mang tính minh hoạ.
| Hiện tượng trên trang | Máy thường làm gì | Hệ quả | Cách giảm |
|---|---|---|---|
| Con chữ mòn, dấu vỡ | Bỏ dấu hoặc đoán sai dấu | Chữ hợp lệ nhưng sai nghĩa, khó phát hiện | Quét độ phân giải cao, soát tên riêng |
| Mực loang, chữ dính | Gộp hai chữ cái làm một | Âm tiết không hợp lệ | Bộ lọc âm tiết, xử lý ảnh nhẹ tay |
| Chữ mặt sau thấm qua | Đọc thêm ký tự rác | Chèn ký tự lạ | Khử hậu trang, chụp với tấm lót tối phía sau |
| Gạch nối từ ghép | Bỏ gạch hoặc ngắt dòng sai | Mất đặc điểm chính tả | Quy ước giữ gạch nối trong bản nguyên văn |
| Chính tả khác hiện nay | Tự sửa theo chính tả mới | Bản số không còn là nguyên văn | Tắt sửa tự động, tách bản chuẩn hoá |
| Trang báo nhiều cột, quảng cáo xen | Nối sai cột, trộn bài | Văn bản đọc không ra nghĩa | Phân vùng bài trước khi nhận dạng |
| Bản chụp từ vi phim | Mất tương phản, nhiễu hạt | Lỗi tăng vọt ở chữ nhỏ | Ưu tiên bản gốc nếu còn, xử lý nhiễu riêng |
Hai dòng gạch nối và chính tả là đặc thù tiếng Việt, và cũng là chỗ các công cụ có thành phần mô hình ngôn ngữ dễ gây hại nhất, vì chúng được huấn luyện để ra văn bản "đúng chuẩn hiện đại".
Một cách kiểm nhanh xem công cụ có đang "hiện đại hoá" hay không: chọn vài trang có nhiều gạch nối và dạng viết cũ, đếm số gạch nối trên ảnh rồi so với kết quả. Nếu kết quả gần như không còn gạch nối nào, hoặc các dạng viết cũ đều đã thành dạng mới, công cụ đang sửa chính tả ngầm. Khi đó cần tìm tuỳ chọn tắt bước sửa, đổi công cụ, hoặc chấp nhận dùng kết quả chỉ cho bản chuẩn hoá chứ không cho bản nguyên văn.
Bản nguyên văn và bản chuẩn hoá: hai sản phẩm, hai người dùng
Trong ngành biên tập văn bản cổ, người ta phân biệt bản chép nguyên văn, giữ đúng từng ký tự như trên trang kể cả lỗi in, với bản đã chuẩn hoá cho người đọc hiện đại. Số hoá sách báo cũ nên học theo cách đó. Bản nguyên văn phục vụ nhà nghiên cứu ngôn ngữ, lịch sử, những người cần trích dẫn chính xác. Bản chuẩn hoá phục vụ tìm kiếm và người đọc phổ thông, vì người tra "Việt Nam" sẽ không gõ "Việt-Nam".
Cách làm thực tế: OCR và hậu xử lý cho ra bản nguyên văn, chỉ sửa lỗi nhận dạng rõ ràng, không đụng chính tả cũ. Sau đó một bước riêng sinh bản chuẩn hoá theo bộ quy tắc ghi rõ: bỏ gạch nối giữa âm tiết, thống nhất vị trí dấu, đổi một số dạng viết cũ sang dạng phổ biến. Bộ quy tắc này nên được công khai kèm dữ liệu, để người dùng biết bản chuẩn hoá đã đổi gì.
Hệ thống tìm kiếm có thể lập chỉ mục cả hai bản: người dùng gõ chính tả hiện đại vẫn tìm ra trang, nhưng khi mở xem thì thấy nguyên văn bên cạnh ảnh gốc. Cách này tránh được tình huống đáng tiếc là một câu trích "nguyên văn" trên mạng thực ra đã bị máy sửa chính tả từ lúc số hoá.
Quy trình số hoá một bộ báo cũ
Ví dụ dưới đây giả định một thư viện số hoá một bộ báo quốc ngữ vài nghìn trang. Quy mô nhỏ hơn vẫn áp dụng được, chỉ bớt khâu tổ chức.
- Khảo sát tình trạng. Ghi lại số trang, trang rách, trang mất, bản nào là bản gốc giấy, bản nào chỉ còn vi phim. Ưu tiên bản gốc nếu còn đọc được.
- Chụp bảo tồn. Dùng giá chụp hoặc máy quét không tiếp xúc cho giấy giòn; không ép phẳng bằng lực, không tháo gáy nếu không có chuyên môn bảo quản.
- Phân vùng trang. Xác định từng bài, cột, tiêu đề, quảng cáo, chú thích ảnh. Với báo, đây là bước quyết định chất lượng văn bản đọc được.
- Nhận dạng có hiệu chỉnh. Chọn công cụ cho phép tắt sửa chính tả tự động; nếu có điều kiện, tinh chỉnh trên vài chục trang đã gõ chuẩn của chính bộ báo đó.
- Hậu xử lý ra bản nguyên văn. Chuẩn hoá Unicode, ghép dòng theo cột, giữ gạch nối theo quy ước, sửa lỗi nhận dạng có cơ sở.
- Sinh bản chuẩn hoá. Áp bộ quy tắc chính tả đã công bố, lưu riêng.
- Soát theo mẫu. Lấy ngẫu nhiên trang ở mỗi số báo để đo tỷ lệ lỗi, soát kỹ tên người, địa danh, ngày tháng.
- Gắn siêu dữ liệu. Tên báo, số, ngày phát hành, trang, bài, tác giả nếu có, tình trạng bản gốc, mức độ đã soát.
Nhiều thư viện trên thế giới cho phép người đọc góp sửa lỗi OCR trực tiếp trên trang báo số hoá; thư viện quốc gia Úc với kho báo cũ là ví dụ hay được nhắc. Mô hình đóng góp cộng đồng phù hợp với báo cũ tiếng Việt, miễn là mọi chỉnh sửa được lưu lịch sử và bản nguyên văn được bảo vệ khỏi việc "sửa cho đúng chính tả mới".
Bản quyền và quyền công bố: kiểm trước khi đưa lên mạng
Sách báo cũ không mặc nhiên hết bản quyền chỉ vì đã cũ. Theo pháp luật sở hữu trí tuệ Việt Nam, quyền tài sản với phần lớn tác phẩm được bảo hộ suốt cuộc đời tác giả và thêm 50 năm sau năm tác giả mất; với tác phẩm khuyết danh, tác phẩm nhiếp ảnh và một số loại hình khác có quy định riêng. Một bài báo năm 1940 của tác giả mất năm 1990 vẫn có thể còn trong thời hạn bảo hộ. Trước khi công bố rộng, nên tra văn bản hiện hành và hỏi ý kiến người có chuyên môn. Việc xác định năm mất của tác giả dùng bút danh cũng thường tốn công hơn dự tính, nên hãy bắt đầu sớm.
Ngoài bản quyền, còn quyền của cơ quan lưu giữ bản gốc: thư viện, bảo tàng hay kho lưu trữ có thể có quy định riêng về việc chụp và công bố hình ảnh tư liệu họ quản lý. Dự án hợp tác nên có thoả thuận bằng văn bản về quyền sử dụng ảnh, văn bản số và dữ liệu sinh ra.
Cuối cùng là thông tin cá nhân trong tư liệu cũ: rao vặt có tên và địa chỉ, danh sách người đóng góp, tin tức về vụ việc cụ thể. Phần lớn đã thuộc về lịch sử, nhưng với tư liệu tương đối gần, việc công khai toàn văn có thể chạm tới đời tư của người còn sống hoặc con cháu họ, nên cần cân nhắc.
Dùng văn bản số hoá cho AI: cơ hội và cái bẫy
Văn bản quốc ngữ cũ đã số hoá là nguồn dữ liệu quý cho nghiên cứu lịch sử tiếng Việt và cho các mô hình ngôn ngữ muốn hiểu văn phong xưa. Nhưng nếu đem bản chưa soát với tỷ lệ lỗi cao vào huấn luyện, mô hình sẽ học cả lỗi OCR, như âm tiết vỡ, dấu sai, và có thể tái tạo chúng. Nếu đem bản đã chuẩn hoá vào mà không ghi chú, mô hình lại học một thứ tiếng Việt "lai" chưa từng tồn tại.
Vì vậy, khi chia sẻ dữ liệu, nên ghi rõ: văn bản là nguyên văn hay đã chuẩn hoá, đã soát ở mức nào, tỷ lệ lỗi đo được trên mẫu là bao nhiêu, và bộ quy tắc chuẩn hoá ra sao. Ghi chép kiểu này giúp người dùng dữ liệu, kể cả những người huấn luyện mô hình, chọn đúng lớp cho mục đích của họ.
Ở chiều ngược lại, các mô hình ngôn ngữ cũng có thể giúp số hoá: gợi ý chỗ nghi sai, giải thích từ cổ cho người soát trẻ tuổi. Điều kiện là chúng được dùng như trợ lý gợi ý có người kiểm, chứ không phải bộ máy viết lại văn bản lịch sử.
Câu hỏi thường gặp
Có nên để phần mềm tự sửa chính tả cũ thành chính tả mới khi OCR?
Không nên với bản lưu trữ. Chính tả cũ là một phần giá trị tư liệu của văn bản. Hãy giữ bản nguyên văn đúng như trên trang, và nếu cần cho tìm kiếm hay đọc phổ thông thì tạo riêng một bản chuẩn hoá theo quy tắc ghi rõ, để người dùng biết đã đổi những gì.
Chụp từ vi phim có OCR được không?
Được, nhưng chất lượng thường kém hơn bản giấy vì vi phim đã mất một phần chi tiết và có nhiễu hạt. Nếu bản giấy gốc còn và đủ an toàn để chụp, nên ưu tiên bản gốc. Khi chỉ có vi phim, chụp hoặc quét ở độ phân giải cao và chấp nhận phải soát nhiều hơn.
Vì sao trang báo cũ OCR ra văn bản lộn xộn dù từng chữ khá đúng?
Thường do phân vùng sai: trang báo nhiều cột, bài nối trang, quảng cáo xen giữa, nên máy đọc ngang qua các cột. Cần phân vùng từng bài và cột trước khi nhận dạng, hoặc sửa thứ tự vùng trong phần mềm. Sửa trên văn bản chữ sau khi đã trộn thì rất tốn công.
Gạch nối trong "Việt-Nam" có phải lỗi in không?
Không. Nhiều văn bản quốc ngữ đầu và giữa thế kỷ 20 viết từ ghép, từ Hán Việt có gạch nối giữa các âm tiết theo thói quen chính tả thời đó. Bản nguyên văn nên giữ gạch nối; bản chuẩn hoá phục vụ tìm kiếm có thể bỏ, miễn là ghi rõ trong quy tắc.
Báo cũ đã hết bản quyền chưa, có đưa toàn văn lên mạng được không?
Không thể kết luận chỉ dựa vào năm xuất bản. Thời hạn bảo hộ phụ thuộc năm mất của tác giả và loại tác phẩm, theo luật sở hữu trí tuệ hiện hành. Cần tra văn bản pháp luật mới nhất, xem quy định của nơi lưu giữ bản gốc, và hỏi người có chuyên môn trước khi công bố rộng.