Một dự án số hoá tài liệu tiếng Việt thành công bắt đầu bằng câu hỏi "số hoá để làm gì" chứ không phải "dùng máy gì": mục đích quyết định độ phân giải, mức chính xác chữ cần đạt, cách soát và cách lưu. Sau đó là bốn trụ cột: chọn và ưu tiên tài liệu, một dây chuyền làm việc lặp lại được, kiểm soát chất lượng bằng lấy mẫu có đo đếm, và siêu dữ liệu cùng sao lưu để thành quả còn dùng được sau nhiều năm.
Dù là một dòng họ muốn số hoá tủ giấy tờ, một trường học có kho sách báo cũ hay một cơ quan cần chuyển hồ sơ giấy sang số, những nguyên tắc này đều giống nhau, chỉ khác quy mô. Bài này đưa ra khung lập dự án, kèm những sai lầm hay khiến dự án làm xong rồi phải làm lại.
Mục đích quyết định mọi thứ phía sau
Cùng một chồng tài liệu, mục đích khác nhau dẫn tới quy trình khác nhau. Xác định rõ ngay từ đầu tránh được việc làm thừa hoặc làm thiếu.
| Mục đích chính | Chất lượng ảnh | Mức chính xác chữ cần đạt | Công soát |
|---|---|---|---|
| Bảo tồn hình ảnh bản gốc | Cao nhất, màu, có thước chuẩn | Không bắt buộc có chữ | Kiểm ảnh, không soát chữ |
| Tìm kiếm toàn văn | Đủ cho OCR | Vừa phải, chịu được lỗi rải rác | Soát theo mẫu, không soát hết |
| Trích dữ liệu (tên, số, ngày) | Đủ cho OCR, rõ vùng cần trích | Rất cao ở các trường cần trích | Soát toàn bộ trường quan trọng |
| Xuất bản lại, trích dẫn | Cao | Gần tuyệt đối | Soát toàn văn, hai lượt |
| Làm dữ liệu cho nghiên cứu, AI | Đủ cho OCR, ghi rõ nguồn | Biết rõ mức lỗi, có nhãn | Soát mẫu, công bố tỷ lệ lỗi |
Phần lớn dự án có nhiều mục đích cùng lúc. Khi đó, chụp theo yêu cầu cao nhất về ảnh, vì chụp lại là tốn kém nhất, còn phần soát chữ có thể làm dần theo mức ưu tiên. Ảnh tốt chụp hôm nay có thể được nhận dạng lại bằng công cụ tốt hơn trong tương lai; ảnh kém thì không cứu được.
Khảo sát kho và chọn thứ tự ưu tiên
Trước khi chụp trang đầu tiên, hãy lập danh mục sơ bộ: có những loại tài liệu gì, mỗi loại bao nhiêu trang ước tính, tình trạng vật lý ra sao, khổ giấy, có đóng gáy không, chữ in hay viết tay, quốc ngữ hay Hán Nôm. Danh mục này giúp ước lượng thời gian, chọn thiết bị và phát hiện sớm những loại cần xử lý riêng.
Thứ tự ưu tiên thường dựa trên ba yếu tố. Thứ nhất là nguy cơ mất: giấy đang giòn vụn, mực đang phai, tài liệu chỉ còn một bản. Thứ hai là giá trị sử dụng: tài liệu được tra cứu thường xuyên hoặc được nhiều người cần. Thứ ba là độ dễ: bắt đầu bằng một lô tương đối dễ giúp nhóm làm quen quy trình trước khi đụng tới tài liệu khó và quý.
Với tài liệu gia đình, khảo sát còn là dịp hỏi người lớn tuổi về bối cảnh: giấy này của ai, viết năm nào, vì sao giữ. Ghi âm hoặc ghi chép những câu chuyện đó, với sự đồng ý của người kể, nhiều khi quý không kém bản thân tờ giấy, vì đó là siêu dữ liệu không máy nào nhận dạng ra được.
Dây chuyền làm việc: tám khâu, mỗi khâu một người chịu trách nhiệm
Ở quy mô nhỏ, một người có thể làm nhiều khâu, nhưng nên tách rõ để biết lỗi phát sinh ở đâu. Mỗi lô tài liệu đi qua các khâu theo thứ tự và được ghi vào một sổ theo dõi.
- Nhận và đánh mã. Mỗi tài liệu có một mã duy nhất, ghi vào sổ theo dõi cùng tình trạng khi nhận.
- Chuẩn bị. Làm sạch bụi nhẹ nhàng, gỡ ghim kẹp gỉ nếu an toàn, sắp đúng thứ tự trang.
- Chụp hoặc quét. Theo thông số đã chốt cho loại tài liệu đó; chụp cả bìa, trang trắng có dấu vết.
- Kiểm ảnh. Đủ trang, đúng thứ tự, không mờ, không cắt mép chữ, không loá. Trang lỗi chụp lại ngay khi tài liệu còn trên bàn.
- Nhận dạng chữ. Chạy OCR với cài đặt đã thử nghiệm, lưu cả chữ thô và toạ độ.
- Hậu xử lý và soát. Theo mức soát đã định cho mục đích của lô.
- Gắn siêu dữ liệu và đóng gói. Ảnh gốc, ảnh xử lý, chữ, PDF có lớp chữ, tệp mô tả.
- Lưu trữ và trả bản gốc. Sao lưu theo quy tắc đã định, kiểm tệp mở được, rồi mới trả tài liệu giấy về chỗ cũ.
Điểm hay bị bỏ qua nhất là khâu bốn: kiểm ảnh ngay khi tài liệu còn trên bàn. Phát hiện thiếu trang sau khi tài liệu đã cất về kho, hay đã trả lại cho gia đình ở tỉnh khác, nghĩa là chi phí chụp bù tăng gấp nhiều lần.
Kiểm soát chất lượng bằng lấy mẫu, không bằng cảm giác
Không thể soát kỹ từng trang trong một kho hàng chục nghìn trang, nhưng cũng không thể chỉ tin rằng "chắc là ổn". Cách làm phổ biến là lấy mẫu ngẫu nhiên: với mỗi lô, chọn ngẫu nhiên một tỷ lệ nhỏ số trang để kiểm kỹ cả ảnh lẫn chữ, đo các chỉ số đã định như tỷ lệ trang ảnh lỗi, tỷ lệ lỗi ký tự, lỗi ở trường quan trọng.
Ví dụ giả định: dự án đặt ngưỡng chấp nhận là không quá 1 trang ảnh lỗi trên 50 trang mẫu và tỷ lệ lỗi ký tự trên mẫu dưới 2%. Lô nào vượt ngưỡng thì không được chuyển sang lưu trữ mà phải xem lại toàn lô, tìm nguyên nhân, như máy chụp lệch nét, đèn hỏng một bên, cài đặt OCR sai ngôn ngữ, rồi sửa và kiểm lại.
Kết quả kiểm mẫu nên được ghi vào sổ theo dõi theo ngày, người làm, thiết bị. Sau vài tuần, những con số này cho thấy xu hướng: một người chụp mới cần hướng dẫn thêm, một loại tài liệu cần thông số riêng, hay chất lượng giảm dần vào cuối ca làm việc. Kiểm soát chất lượng tốt không phải để bắt lỗi người làm mà để cải thiện quy trình.
Siêu dữ liệu, tên tệp và sao lưu: phần không ai thấy nhưng quyết định tuổi thọ
Siêu dữ liệu mô tả. Mỗi tài liệu cần những trường cơ bản: tiêu đề hoặc mô tả, tác giả hoặc người lập, thời gian, ngôn ngữ và loại chữ, số trang, tình trạng, nơi lưu bản gốc, quyền sử dụng. Bộ trường Dublin Core là chuẩn quốc tế đơn giản, phổ biến, có thể dùng làm khung khởi đầu.
Siêu dữ liệu kỹ thuật. Thiết bị chụp, độ phân giải, công cụ và phiên bản OCR, mức soát, tỷ lệ lỗi đo được. Những thông tin này cho người dùng sau biết nên tin văn bản tới đâu và có nên nhận dạng lại không.
Quy ước tên tệp. Chốt từ đầu và không đổi giữa chừng: mã tài liệu, số trang có đủ chữ số không ở đầu, không dấu, không khoảng trắng. Tên tệp tốt giúp sắp xếp đúng và không vỡ khi chuyển qua hệ điều hành khác.
Sao lưu theo quy tắc 3-2-1. Ít nhất ba bản, trên ít nhất hai loại phương tiện lưu trữ, trong đó một bản ở nơi khác về địa lý. Định kỳ mở thử vài tệp ngẫu nhiên từ mỗi bản sao lưu, vì bản sao lưu chưa từng được kiểm thì chưa chắc dùng được.
Định dạng mở, bền. Ưu tiên định dạng phổ biến, mô tả công khai: TIFF hoặc PNG cho ảnh gốc, PDF/A cho bản đọc, văn bản thuần UTF-8 cho chữ, cùng các định dạng có toạ độ như ALTO hoặc hOCR nếu cần. Tránh khoá dữ liệu trong định dạng riêng của một phần mềm.
Ước lượng công sức trước khi hứa hẹn
Dự án số hoá hay đổ vỡ ở chỗ hứa quá nhanh. Cách ước lượng thực tế là làm thử một lô nhỏ đại diện, chẳng hạn vài chục trang gồm đủ loại khó dễ, bấm giờ từng khâu từ nhận, chụp, kiểm ảnh, OCR, soát chữ đến gắn siêu dữ liệu, rồi nhân lên theo danh mục đã khảo sát. Con số đo được từ chính tài liệu của mình đáng tin hơn mọi con số nghe kể.
Ví dụ giả định để thấy chỗ tốn thời gian thật sự: một nhóm đo được chụp mất khoảng nửa phút mỗi trang, OCR gần như không tốn công người, nhưng soát chữ toàn văn mất tới mười phút mỗi trang với sách báo cũ. Khi đó, phần chụp cả kho có thể xong trong vài tuần, còn phần soát toàn văn kéo dài nhiều tháng. Nhìn bảng ước lượng này, nhóm sẽ quyết định hợp lý hơn: chụp hết trước, chỉ soát toàn văn những tài liệu cần trích dẫn, phần còn lại để tìm kiếm với mức lỗi đã biết.
Đừng quên những khâu ít ai tính: chuẩn bị tài liệu dễ rách tốn thời gian hơn chụp, họp thống nhất quy ước chính tả và cách ghi siêu dữ liệu mất vài buổi, người mới cần được hướng dẫn và kiểm kỹ trong tuần đầu. Cộng thêm một khoản dự phòng cho trang phải chụp lại và cho thiết bị hỏng giữa chừng là cách để dự án kết thúc đúng như đã nói.
Quyền, riêng tư và mở cho cộng đồng
Trước khi công bố bất cứ thứ gì, xác định rõ ai có quyền với tài liệu: quyền sở hữu bản gốc, quyền tác giả nếu còn thời hạn bảo hộ, và quyền riêng tư của những người có tên trong đó. Hồ sơ học sinh, hồ sơ nhân sự, bệnh án, sổ sách có địa chỉ và số giấy tờ cần được hạn chế truy cập hoặc che trước khi chia sẻ, theo quy định về bảo vệ dữ liệu cá nhân hiện hành. Với tài liệu gia đình, thống nhất trong gia đình trước khi đưa lên mạng.
Khi tài liệu có thể công khai, mở cho cộng đồng cùng sửa lỗi OCR là cách nhân công soát lên nhiều lần. Một số thư viện lớn trên thế giới đã làm điều này với kho báo cũ và nhận được rất nhiều đóng góp tự nguyện. Điều kiện là có giao diện hiện ảnh cạnh chữ, lưu lịch sử mọi chỉnh sửa, có người điều phối, và có quy ước rõ, chẳng hạn giữ nguyên chính tả cũ.
Dữ liệu từ dự án số hoá, gồm ảnh, văn bản đã soát và các cặp lỗi và sửa, cũng là nguồn quý cho nghiên cứu nhận dạng chữ Việt. Nếu muốn chia sẻ cho mục đích này, hãy kèm giấy phép rõ ràng, mô tả mức soát và loại bỏ những phần có dữ liệu cá nhân.
Câu hỏi thường gặp
Dòng họ muốn số hoá gia phả và giấy tờ cũ thì bắt đầu từ đâu?
Bắt đầu bằng việc lập danh mục những gì đang có và ai đang giữ, rồi chụp ảnh chất lượng cao cho những tài liệu dễ hư hỏng nhất. Ghi lại câu chuyện đi kèm từng tài liệu từ người lớn tuổi. Phần nhận dạng chữ và dịch có thể làm sau; ảnh tốt và thông tin bối cảnh là thứ cần giữ trước.
Nên thuê dịch vụ số hoá hay tự làm?
Tự làm phù hợp với khối lượng nhỏ, tài liệu không quá quý và có người kiên nhẫn. Thuê dịch vụ phù hợp với khối lượng lớn, tài liệu cần thiết bị chuyên dụng hoặc cần bảo quản đặc biệt. Dù chọn cách nào, nên tự giữ quyền quyết định về thông số, kiểm mẫu kết quả và nhận đầy đủ ảnh gốc cùng siêu dữ liệu.
Lấy mẫu kiểm bao nhiêu phần trăm là đủ?
Không có tỷ lệ cố định. Lô đầu tiên và lô có tài liệu khó nên kiểm nhiều hơn; khi quy trình đã ổn định có thể giảm. Quan trọng hơn tỷ lệ là lấy mẫu thật sự ngẫu nhiên, có ngưỡng chấp nhận định trước và có hành động rõ ràng khi lô vượt ngưỡng.
Có cần lưu ảnh gốc khi đã có PDF tìm kiếm được?
Nên lưu. PDF dùng để đọc thường đã nén ảnh để nhẹ, không đủ chất lượng cho nhận dạng lại hay in lại. Ảnh gốc là thứ duy nhất cho phép làm lại khi công cụ tốt hơn ra đời hoặc khi phát hiện lỗi, và là bằng chứng trung thực nhất về bản gốc.
Sao lưu lên dịch vụ lưu trữ đám mây có đủ an toàn không?
Đám mây là một bản sao tốt, nhất là để có bản ở nơi khác về địa lý, nhưng không nên là bản duy nhất. Tài khoản có thể bị khoá, dịch vụ có thể đổi điều khoản. Kết hợp với ổ cứng ngoài cất ở hai nơi, và định kỳ kiểm tệp mở được, theo tinh thần quy tắc 3-2-1.
Làm sao để người khác tìm được tài liệu đã số hoá?
Gắn siêu dữ liệu đầy đủ theo chuẩn phổ biến, cung cấp văn bản có thể tìm kiếm, và nếu tài liệu được công khai thì đặt trong một kho có mục lục, có đường dẫn ổn định lâu dài. Liên hệ với thư viện hoặc kho lưu trữ chuyên ngành để họ liên kết hoặc lưu giữ thêm một bản cũng giúp tài liệu sống lâu hơn.