Giọng tổng hợp tiếng Việt thường được đánh giá bằng hai nhóm phương pháp: người nghe chấm điểm (phổ biến nhất là điểm MOS trên thang 1 đến 5, cùng các phép nghe so sánh như AB hay MUSHRA), và đo tự động (như cho máy nhận dạng giọng nói nghe lại rồi tính tỷ lệ lỗi so với văn bản gốc). Không phương pháp nào đủ một mình: điểm người chấm phụ thuộc mạnh vào cách tổ chức, còn đo tự động chỉ bắt được một phần lỗi.
Điều quan trọng nhất cần biết là một con số MOS không có nghĩa khi tách khỏi điều kiện đo: ai chấm, nghe câu gì, nghe cùng những giọng nào, trên thiết bị gì. Hai giọng được báo "MOS 4,3" và "MOS 4,1" ở hai bài khác nhau không so sánh được với nhau. Bài này giải thích từng phương pháp, cách tổ chức một buổi nghe đáng tin với người Việt, và cách đọc các con số người khác công bố.
MOS là gì và vì sao dễ hiểu nhầm
MOS (mean opinion score, điểm ý kiến trung bình) có gốc từ ngành viễn thông, được mô tả trong khuyến nghị ITU-T P.800 để đánh giá chất lượng thoại. Người nghe nghe từng mẫu và chấm trên thang năm mức, từ rất kém đến rất tốt; điểm MOS là trung bình các điểm đó. Ngành tổng hợp giọng nói mượn phương pháp này để chấm độ tự nhiên, nên khi đọc bài nghiên cứu, bạn sẽ thấy hầu hết hệ thống đều báo một con số MOS.
Vấn đề là MOS rất nhạy với bối cảnh. Cùng một giọng, nếu được nghe xen giữa những giọng kém, người chấm cho điểm cao hơn; nghe xen giữa giọng người thật, điểm thấp hơn. Người chấm là sinh viên công nghệ khắt khe khác người chấm phổ thông. Câu thử ngắn, dễ thì điểm cao; câu dài có số và tên riêng thì điểm thấp. Thang điểm năm mức cũng thô, nhiều hệ thống tốt dồn về vùng 4 đến 4,5, khó phân biệt.
Vì thế giới nghiên cứu ngày càng nhấn mạnh việc báo cáo đầy đủ điều kiện: số người chấm, cách tuyển, số câu, khoảng tin cậy, có giọng người thật làm mốc tham chiếu không. Một con số MOS đi kèm khoảng tin cậy rộng hay không có giọng người làm mốc nên được đọc với nhiều dè dặt. Trang này không nêu điểm của sản phẩm nào, vì lý do ấy.
Các phương pháp nghe chủ quan: chọn cái nào cho việc gì
Ngoài MOS còn có những phương pháp nghe khác, mỗi cái hợp với một câu hỏi. Bảng dưới tóm tắt các phương pháp hay dùng trong tổng hợp giọng nói.
| Phương pháp | Cách làm | Trả lời câu hỏi | Điểm yếu |
|---|---|---|---|
| MOS | nghe từng mẫu, chấm thang 1–5 | giọng này tự nhiên ở mức nào | nhạy bối cảnh; khó so giữa các buổi đo |
| So sánh cặp AB | nghe hai mẫu cùng câu, chọn mẫu tốt hơn hoặc ngang nhau | giọng A có hơn giọng B không | chỉ cho biết hơn kém, không cho biết mức |
| MUSHRA (ITU-R BS.1534) | nghe nhiều mẫu cùng câu, có mốc tham chiếu ẩn, chấm thang 0–100 | xếp nhiều hệ thống, phân biệt khác biệt nhỏ | tốn công, người chấm cần được hướng dẫn kỹ |
| Nghe chép (độ dễ hiểu) | nghe rồi viết lại câu nghe được | người nghe có hiểu đúng chữ không | không đo độ tự nhiên |
| Chấm theo tiêu chí riêng | chấm riêng thanh điệu, ngắt nghỉ, phát âm số, tên riêng | lỗi nằm ở khâu nào | cần thiết kế bộ tiêu chí và câu thử riêng |
Với người làm sản phẩm Việt, so sánh cặp AB với chính nhóm khách hàng thường là phép đo có ích nhất khi quyết định đổi giọng, vì câu hỏi thực tế là "giọng mới có tốt hơn giọng đang dùng không". Nghe chép là phép đo bị bỏ quên nhiều nhất, dù với tổng đài hay thông báo, người nghe hiểu đúng chữ quan trọng hơn giọng nghe êm.
Tổ chức một buổi nghe đáng tin với người chấm Việt
Một buổi nghe tốt không cần phòng thí nghiệm, nhưng cần thiết kế cẩn thận. Các bước dưới đây theo thực hành chung của nghiên cứu nghe chủ quan, điều chỉnh cho tiếng Việt.
- Chọn câu thử từ văn bản thật của lĩnh vực bạn dùng, cộng một nhóm câu khó: số, ngày, tên riêng, từ tiếng Anh, câu hỏi, câu dài. Không dùng câu đã có trong dữ liệu huấn luyện của giọng nếu biết.
- Tuyển người chấm bản ngữ, ghi lại vùng giọng của họ. Nếu sản phẩm phục vụ cả nước, cân bằng người chấm từ các vùng; người Bắc và người Nam có thể chấm cùng một giọng rất khác nhau.
- Đưa giọng người thật đọc cùng câu vào làm mốc, và nếu dùng MUSHRA thì thêm một mẫu chất lượng thấp cố ý làm mốc dưới. Mốc giúp người chấm hiệu chỉnh thang điểm.
- Xáo trộn thứ tự mẫu cho mỗi người chấm, không cho biết mẫu nào của hệ thống nào.
- Cho người chấm nghe bằng tai nghe trong môi trường yên, điều chỉnh âm lượng trước. Nếu đánh giá cho tổng đài, có thể thêm điều kiện nghe qua chất lượng điện thoại.
- Cài câu kiểm tra chú ý, như một mẫu lặp lại hoặc một mẫu rõ ràng kém, để loại người chấm bấm bừa.
- Tính trung bình kèm khoảng tin cậy, kiểm định khác biệt có ý nghĩa thống kê hay không trước khi kết luận giọng nào hơn.
Với buổi nghe nội bộ, hai mươi đến ba mươi người chấm và vài chục câu thường đủ để thấy khác biệt rõ; khác biệt nhỏ cần nhiều hơn. Đây là ước lượng chung, không phải quy chuẩn, và cỡ mẫu nên được tính theo mức khác biệt bạn muốn phát hiện.
Đo tự động: dùng máy nghe máy
Phép đo tự động phổ biến nhất cho độ chính xác đọc là cho một hệ nhận dạng giọng nói tốt nghe bản tổng hợp, chuyển thành chữ, rồi so với văn bản gốc để tính tỷ lệ lỗi từ (WER) hoặc tỷ lệ lỗi ký tự (CER). Với tiếng Việt, vì mỗi chữ là một âm tiết, tỷ lệ lỗi theo âm tiết là cách tính tự nhiên. Phép đo này bắt tốt những lỗi nghiêm trọng mà nghe chấm điểm dễ bỏ qua khi nghe lướt: đọc sót chữ, lặp chữ, đọc nhầm hẳn một từ.
Giới hạn của nó cũng rõ. Hệ nhận dạng có lỗi riêng, nhất là với tên riêng và từ nước ngoài, nên một phần lỗi đo được là lỗi của người nghe máy chứ không phải của người đọc máy. Hệ nhận dạng cũng có thể "đoán đúng" một chữ bị đọc sai thanh nhờ mô hình ngôn ngữ, khiến lỗi thanh điệu lọt qua. Vì vậy chỉ số này hợp để so sánh tương đối giữa các phiên bản của cùng một hệ thống, cùng một bộ câu, cùng một hệ nhận dạng, hơn là để công bố như một con số tuyệt đối.
Ngoài ra còn có các mô hình dự đoán MOS tự động, được huấn luyện để bắt chước điểm người chấm. Chúng tiện cho theo dõi hằng ngày, nhưng phần lớn được huấn luyện chủ yếu trên tiếng Anh và một số ngôn ngữ khác; độ tin cậy với tiếng Việt cần được kiểm bằng cách so với điểm người chấm Việt trước khi dựa vào.
Đọc các con số người khác công bố: năm câu hỏi
Ai chấm? Người chấm có phải người Việt bản ngữ không, bao nhiêu người, vùng nào? Kết quả do người không nói tiếng Việt chấm gần như không có giá trị cho độ tự nhiên tiếng Việt.
Chấm câu gì? Câu thử có giống văn bản bạn dùng không? Điểm cao trên câu tin tức ngắn không nói gì về câu có số, tên riêng, hay đoạn dài.
So với mốc nào? Có giọng người thật làm mốc không, có các hệ thống khác cùng buổi không? Không có mốc thì con số khó diễn giải.
Khoảng tin cậy bao nhiêu? Hai giọng chênh nhau 0,1 điểm với khoảng tin cậy cộng trừ 0,2 là chưa phân biệt được.
Ai công bố? Kết quả do chính nhà cung cấp tự đo cho sản phẩm của mình nên được đọc thận trọng hơn kết quả của bên độc lập, không phải vì gian dối mà vì cách chọn câu và điều kiện có thể vô tình có lợi cho họ.
Những sai lầm hay gặp khi tự tổ chức đánh giá
Để người làm ra giọng tự chấm. Người trong đội đã nghe giọng hàng trăm lần, quen với lỗi của nó và biết mẫu nào là của hệ thống nào. Điểm họ chấm gần như luôn cao hơn người nghe mới. Người chấm nên là người ngoài, không biết nguồn gốc mẫu.
Chỉ dùng câu mẫu đẹp. Câu do nhà cung cấp chọn hay câu ngắn tự viết thường tránh hết các bẫy. Đánh giá chỉ có ý nghĩa khi câu thử có số, ngày tháng, tên riêng, từ tiếng Anh, câu hỏi và đoạn dài như văn bản thật.
Trộn vùng giọng người chấm mà không ghi lại. Một giọng Bắc có thể bị người Nam chấm thấp vì lạ tai chứ không vì kém, và ngược lại. Không ghi vùng của người chấm thì không tách được hai nguyên nhân này khi đọc kết quả.
Kết luận từ chênh lệch nhỏ. Hai giọng chênh nhau vài phần mười điểm trong một buổi nghe ít người thường nằm trong sai số. Trước khi tuyên bố giọng mới tốt hơn, hãy kiểm khoảng tin cậy hoặc lặp lại với nhóm người chấm khác.
Quên điều kiện nghe thật. Giọng cho tổng đài sẽ được nghe qua đường điện thoại băng hẹp, giọng cho xe buýt được nghe giữa tiếng ồn đường phố. Chấm trong phòng yên bằng tai nghe tốt có thể cho kết luận ngược với thực tế sử dụng.
Thứ không con số nào đo được: phù hợp với người nghe của bạn
Cuối cùng, một giọng điểm cao vẫn có thể không hợp sản phẩm của bạn. Giọng trẻ trung, năng động có thể chấm cao về độ tự nhiên nhưng lạc lõng trong thông báo của bệnh viện; giọng trầm ấm có thể hợp sách nói nhưng quá chậm cho tổng đài. Giọng vùng hợp hay không phụ thuộc người nghe ở đâu. Những câu hỏi này chỉ trả lời được bằng cách thử với chính người nghe của bạn, trong bối cảnh thật.
Cách làm thực tế là kết hợp: dùng đo tự động để lọc lỗi đọc và theo dõi qua các phiên bản; dùng nghe chép và chấm theo tiêu chí cho thanh điệu, số, tên riêng; dùng so sánh cặp với khách hàng thật khi quyết định đổi giọng. Mọi bộ câu thử và kết quả nên được giữ lại để lần đánh giá sau có cơ sở so sánh. Khi người dùng báo lỗi, câu gây lỗi được thêm vào bộ thử, để bộ thử ngày càng phản ánh đúng văn bản bạn thật sự cần máy đọc.
Câu hỏi thường gặp
Điểm MOS bao nhiêu là tốt?
Không có ngưỡng chung, vì MOS phụ thuộc nhiều vào cách tổ chức buổi nghe. Cách diễn giải có ý nghĩa hơn là so với giọng người thật đọc cùng câu trong cùng buổi: khoảng cách giữa giọng tổng hợp và giọng người cho biết còn cách tự nhiên bao xa.
Vì sao không so được MOS giữa hai bài nghiên cứu?
Vì người chấm, câu thử, thiết bị nghe và các giọng nghe kèm khác nhau. Cùng một giọng có thể được chấm cao hơn khi nghe cạnh giọng kém. Muốn so hai hệ thống, phải đưa cả hai vào cùng một buổi nghe với cùng người chấm và cùng câu.
MUSHRA khác MOS ở điểm nào?
MUSHRA cho người chấm nghe nhiều mẫu của cùng một câu cùng lúc, có mốc tham chiếu ẩn, chấm trên thang 0 đến 100. Cách này phân biệt tốt khác biệt nhỏ giữa nhiều hệ thống, nhưng tốn công hơn và cần hướng dẫn người chấm kỹ hơn MOS.
Có thể dùng máy nhận dạng giọng nói để chấm giọng tổng hợp không?
Dùng được để đo độ chính xác đọc như đọc sót, lặp hay nhầm từ, bằng cách tính tỷ lệ lỗi so với văn bản gốc. Nhưng nó không đo được độ tự nhiên, và có thể bỏ sót lỗi thanh điệu hoặc tính nhầm lỗi của chính hệ nhận dạng.
Cần bao nhiêu người chấm cho một buổi nghe?
Tuỳ mức khác biệt muốn phát hiện. Khác biệt rõ có thể thấy với vài chục người chấm và vài chục câu; khác biệt nhỏ cần nhiều hơn. Quan trọng là người chấm bản ngữ, có cân bằng vùng giọng nếu cần, và có câu kiểm tra chú ý.
Nên tin vào bảng so sánh giọng đọc do các trang công nghệ đăng không?
Đọc với năm câu hỏi: ai chấm, chấm câu gì, có mốc nào, khoảng tin cậy ra sao, ai công bố. Phần lớn bảng so sánh phổ thông không có đủ thông tin này. Cách chắc nhất vẫn là tự thử với văn bản và người nghe của mình.