Dịch giọng nói trực tiếp thường chạy theo chuỗi ba khâu: nhận dạng giọng nói tiếng Việt thành chữ, dịch chữ sang tiếng Anh, rồi đọc bản dịch thành tiếng; một số hệ mới gộp các khâu vào một mô hình nghe tiếng này và nói hoặc viết ra tiếng kia. Dù kiểu nào, hệ thống luôn phải chọn giữa dịch sớm (ít trễ nhưng dễ sai vì chưa nghe hết câu) và chờ thêm (đúng hơn nhưng người nghe phải đợi).
Với tiếng Việt, lỗi hay bắt đầu từ khâu nghe: thanh điệu, giọng vùng miền, nói nhanh, chêm tiếng Anh, tiếng ồn quán xá. Một chữ nghe sai ở khâu đầu có thể thành một câu dịch sai nghĩa ở khâu sau. Bài này mở từng khâu ra xem, so sánh hai kiến trúc, giải thích bài toán độ trễ, và gợi ý cách thử một công cụ dịch nói trước khi đem ra dùng thật. Góc nhìn từ người phiên dịch chuyên nghiệp về các công cụ này có ở AI Dịch Thuật.
Kiến trúc chuỗi: nghe, dịch, đọc
Cách làm lâu đời và vẫn phổ biến là ghép ba hệ có sẵn. Khâu thứ nhất là nhận dạng giọng nói, biến âm thanh tiếng Việt thành chuỗi chữ. Khâu thứ hai là dịch máy văn bản, đưa chuỗi đó sang tiếng Anh. Khâu thứ ba là tổng hợp giọng nói, đọc câu tiếng Anh thành tiếng, hoặc chỉ hiện phụ đề. Ưu điểm lớn của cách này là mỗi khâu có thể dùng mô hình tốt nhất hiện có, được huấn luyện trên lượng dữ liệu riêng rất lớn, và thay được từng khâu khi có bản tốt hơn.
Nhược điểm là lỗi chồng lỗi. Khâu nhận dạng không biết khâu dịch cần gì; nó trả về chuỗi chữ thường không dấu câu, không viết hoa, có thể sai một chữ. Khâu dịch nhận chuỗi đó như văn bản chuẩn và dịch thật trơn tru, kể cả phần sai. Ví dụ giả định: người nói nhanh "chị gửi bản hợp đồng lúc mười hai giờ", chữ "hai" bị nuốt, khâu nghe chép thành "lúc mười giờ"; khâu dịch không hề biết, bản tiếng Anh ghi "at ten o'clock" một cách rất tự tin, và người nghe bên kia cũng không có lý do gì để nghi ngờ. Ngược lại, khâu dịch cũng không sửa được những gì khâu nghe đã bỏ, vì nó chỉ nhìn thấy chữ.
Một chỗ hỏng ít người để ý là ranh giới câu. Hệ dịch văn bản làm việc theo câu, nhưng lời nói không có dấu chấm. Hệ thống phải tự quyết định khi nào một câu kết thúc để gửi sang khâu dịch, thường dựa vào khoảng lặng hoặc một mô hình chấm câu. Cắt sai chỗ, như cắt giữa "nếu anh không đồng ý" và "thì mình hoãn", sẽ cho ra hai câu dịch rời rạc, nghĩa lệch.
Mô hình liền mạch: nghe thẳng, dịch thẳng
Hướng thứ hai là mô hình liền mạch (end-to-end): một mạng nơ-ron nhận âm thanh tiếng nguồn và sinh trực tiếp văn bản, hoặc thậm chí giọng nói, ở ngôn ngữ đích, không qua bước chép chữ trung gian. Whisper do OpenAI công bố năm 2022 có chế độ dịch thẳng lời nói nhiều ngôn ngữ sang văn bản tiếng Anh. Năm 2023, Meta công bố họ mô hình SeamlessM4T nhắm dịch lời nói và văn bản qua lại giữa khoảng một trăm ngôn ngữ, kèm biến thể cho dịch trực tiếp theo dòng. Khả năng cụ thể với tiếng Việt của từng mô hình cần kiểm tài liệu và tự thử.
Lợi thế về lý thuyết của mô hình liền mạch là không mất thông tin ở bước trung gian: ngữ điệu, nhấn giọng, chỗ ngập ngừng vẫn còn trong tín hiệu mà mô hình nhìn thấy, và lỗi không bị khuếch đại qua nhiều khâu. Nó cũng có thể nhanh hơn vì chỉ chạy một mô hình. Nhược điểm là cần dữ liệu dạng "âm thanh tiếng Việt kèm bản dịch tiếng Anh", hiếm hơn nhiều so với dữ liệu riêng cho từng khâu. Các hệ thực tế thường bù bằng cách huấn luyện nhiều nhiệm vụ cùng lúc hoặc tạo dữ liệu từ hệ chuỗi.
Trên thực tế, ranh giới giữa hai kiến trúc ngày càng mờ. Nhiều sản phẩm vẫn chạy chuỗi nhưng dùng mô hình ngôn ngữ lớn ở khâu giữa để sửa lỗi nhận dạng và chấm câu trước khi dịch; một số hệ liền mạch vẫn sinh ra bản chép chữ phụ để người dùng đối chiếu. Với người dùng cuối, điều quan trọng hơn kiến trúc là đo được hệ dịch đúng đến đâu với giọng nói thật của mình.
Bài toán độ trễ: dịch sớm hay chờ đủ câu
Phiên dịch viên song song nói sau người phát biểu vài giây, đủ để nắm ý nhưng không để khán giả đợi. Máy dịch trực tiếp cũng phải chọn như vậy. Tiếng Việt và tiếng Anh cùng trật tự chủ ngữ–động từ–tân ngữ nên nhiều câu có thể dịch dần theo cụm. Nhưng có những chỗ thông tin quan trọng đến cuối câu: "Cái máy anh gửi hôm qua... không chạy" hay câu hỏi kết thúc bằng "không?", "chưa?". Dịch sớm phần đầu có thể phải sửa lại, hoặc sai luôn kiểu câu khẳng định thành câu hỏi.
Trong nghiên cứu, một chiến lược đơn giản hay được nhắc là "chờ k chữ" (wait-k, Ma và cộng sự, 2019): hệ đợi k chữ nguồn rồi mới bắt đầu dịch, sau đó cứ nghe thêm một chữ thì dịch thêm một chữ. k nhỏ thì nhanh mà sai nhiều, k lớn thì đúng hơn mà chậm. Các hệ hiện đại dùng chiến lược thích ứng: tự đánh giá khi nào đã đủ thông tin để nói tiếp. Một số hệ hiện phụ đề tạm rồi sửa lại khi nghe thêm, tiện cho đọc nhưng gây rối nếu đã đọc thành tiếng.
Đo độ trễ có các chỉ số riêng trong nghiên cứu, ví dụ độ trễ trung bình tính theo số chữ hoặc theo giây mà bản dịch đi sau lời nói. Khi thử một công cụ, bạn có thể tự đo thô: bấm giờ từ lúc người nói dứt câu đến lúc bản dịch hiện đủ hoặc đọc xong. Với hội thoại hai người, độ trễ vài giây đã làm cuộc nói chuyện ngắc ngứ; với bài giảng một chiều, người nghe chịu được trễ hơn.
Độ trễ còn phụ thuộc đường truyền: hệ xử lý trên máy chủ ở nước ngoài cộng thêm thời gian gửi âm thanh đi và nhận kết quả về, nhất là khi mạng di động chập chờn. Chế độ chạy ngay trên điện thoại tránh được phần này, đổi lại mô hình thường nhỏ hơn và dịch kém hơn một chút. Không có cấu hình nào thắng ở mọi mặt; chọn theo việc bạn cần làm.
Những chỗ tiếng Việt làm hệ dịch nói vấp
Thanh điệu và từ ngắn. Âm tiết tiếng Việt ngắn, nhiều cặp chỉ khác thanh: "bán" và "bàn", "mua" và "múa". Ở khâu nghe, một thanh sai đổi hẳn nghĩa câu, và khâu dịch không có cách nào biết.
Giọng vùng miền. Mô hình nhận dạng học nhiều giọng chuẩn ở đô thị lớn có thể nghe kém hơn với giọng Nghệ Tĩnh, Quảng Nam, miền Tây. Lỗi chép chữ cao hơn kéo chất lượng dịch xuống theo.
Chêm tiếng Anh. Câu như "em check lại cái deadline của project rồi báo" trộn hai thứ tiếng. Khâu nghe có thể phiên âm thành chữ Việt vô nghĩa, khâu dịch thì dịch sai hoặc bỏ.
Tên riêng và số. Tên người, tên công ty, địa danh, số tiền, ngày tháng là phần dễ sai nhất và quan trọng nhất. Địa danh sau sắp xếp đơn vị hành chính 2025 còn mới, mô hình cũ có thể chưa biết tên xã, phường mới.
Xưng hô. Chiều Anh–Việt, khâu dịch phải chọn "anh, chị, em, bác" cho "you" mà không thấy người nghe là ai. Bản đọc ra có thể xưng hô lạc lõng giữa cuộc nói chuyện gia đình.
Tiếng ồn và nói chồng. Quán cà phê, công trường, cuộc họp nhiều người cùng nói làm khâu nghe sai, và chẳng khâu sau nào sửa được âm thanh đã mất.
Thử một công cụ dịch nói trước khi dùng thật
Dù là ứng dụng trên điện thoại, tai nghe dịch hay tính năng dịch trong phần mềm họp, nên thử theo một kịch bản ngắn trước khi mang vào việc quan trọng.
- Chuẩn bị 20–30 câu nói tiếng Việt đúng kiểu bạn sẽ dùng: câu có số tiền, giờ hẹn, tên riêng, câu hỏi, câu phủ định, câu chêm tiếng Anh. Thay tên thật bằng tên giả định.
- Nhờ hai, ba người khác giọng vùng miền đọc cùng bộ câu, ở cả chỗ yên tĩnh và chỗ ồn.
- Ghi lại bản chép chữ (nếu công cụ có hiện) và bản dịch; đánh dấu lỗi ở khâu nghe riêng, lỗi ở khâu dịch riêng.
- Đếm các lỗi nghiêm trọng: sai số, sai phủ định, sai tên, câu hỏi thành câu khẳng định. Một lỗi loại này trong cuộc đàm phán đáng lo hơn mười lỗi văn phong.
- Bấm giờ độ trễ ở vài câu dài và vài câu ngắn.
- Đọc điều khoản: âm thanh có được gửi lên máy chủ không, lưu bao lâu, có dùng để huấn luyện không. Nếu nói chuyện có thông tin cá nhân hoặc bí mật kinh doanh, ưu tiên chế độ xử lý trên máy hoặc không dùng.
- Báo cho người đối diện biết đang có máy dịch và xin phép nếu ghi âm.
Kết quả thử là của chính hoàn cảnh bạn, giá trị hơn bất kỳ quảng cáo nào. Với khám bệnh, pháp lý, đàm phán lớn, máy dịch nói chỉ nên là công cụ phụ cạnh phiên dịch viên người.
Giọng đọc bản dịch và chuyện giữ giọng người nói
Khâu cuối, đọc bản dịch thành tiếng, đang có một hướng mới: giữ âm sắc của chính người nói, để người nghe tiếng Anh nghe "giọng" người Việt đó nói tiếng Anh. Về kỹ thuật, đây là kết hợp tổng hợp giọng nói với nhân bản giọng từ vài giây mẫu. Nó làm cuộc trò chuyện tự nhiên hơn, nhưng cũng mở ra rủi ro: giọng một người có thể được dùng để nói những câu họ không hề nói, nếu bản dịch sai hoặc nếu bị lạm dụng.
Vì vậy các hệ có tính năng này thường cần người nói đồng ý, và nhiều nhà cung cấp gắn thêm dấu hiệu nhận biết vào âm thanh sinh ra. Người dùng nên biết khi nào mình đang nghe giọng tổng hợp. Trong môi trường làm việc, đừng bật chế độ giữ giọng cho người khác khi chưa hỏi ý họ. Phần lừa đảo bằng giọng giả và cách phòng có ở AI Bảo Mật; phần công nghệ tổng hợp và nhân bản giọng tiếng Việt có ở danh mục tổng hợp giọng nói của trang này.
Một lựa chọn đơn giản và ít rủi ro hơn là chỉ hiện phụ đề bản dịch, không đọc thành tiếng. Người nghe đọc được bản dịch, vẫn nghe giọng thật của người nói, và có thời gian nhận ra chỗ bản dịch nghe không ổn để hỏi lại.
Câu hỏi thường gặp
Dịch giọng nói trực tiếp có thay được phiên dịch viên không?
Ở hội thoại thông thường như hỏi đường, gọi món, trao đổi đơn giản, máy dịch nói đã khá hữu ích. Ở đàm phán, khám bệnh, xét xử, hội nghị chuyên ngành, phiên dịch viên vẫn cần thiết vì họ hiểu ngữ cảnh, xử lý tên riêng, số liệu, sắc thái, và chịu trách nhiệm về bản dịch.
Vì sao máy dịch nói đúng khi nói chậm mà sai khi nói nhanh?
Khi nói nhanh, âm tiết bị nuốt, thanh điệu kém rõ, ranh giới từ mờ đi, nên khâu nhận dạng chép sai nhiều hơn. Khâu dịch nhận chuỗi chữ sai và dịch trơn tru phần sai. Nói chậm, rõ, ngắt câu bằng khoảng lặng giúp cả việc nhận dạng lẫn việc cắt câu để dịch.
Whisper có dịch được từ tiếng Anh sang tiếng Việt không?
Chế độ dịch có sẵn của Whisper được thiết kế để dịch lời nói các ngôn ngữ sang văn bản tiếng Anh, không theo chiều ngược lại. Muốn dịch sang tiếng Việt, người ta thường dùng Whisper để chép chữ rồi đưa qua một hệ dịch văn bản. Tính năng có thể thay đổi theo phiên bản, nên kiểm tài liệu hiện hành.
Dịch giọng nói trên điện thoại có gửi âm thanh lên mạng không?
Tuỳ công cụ và chế độ. Nhiều ứng dụng gửi âm thanh lên máy chủ để xử lý, một số có chế độ ngoại tuyến tải gói ngôn ngữ về máy. Đọc chính sách quyền riêng tư để biết âm thanh có được lưu, lưu bao lâu, có dùng để cải thiện mô hình không, trước khi nói chuyện có thông tin nhạy cảm.
Tai nghe dịch có tốt hơn ứng dụng trên điện thoại không?
Tai nghe dịch thường dùng chính các mô hình nhận dạng và dịch qua ứng dụng đi kèm, khác biệt chủ yếu ở micro thu âm gần miệng, sự tiện lợi và độ trễ. Chất lượng dịch phụ thuộc mô hình phía sau nhiều hơn phần cứng. Tốt nhất là thử cùng bộ câu trên cả hai trong hoàn cảnh thật.
Làm sao giảm lỗi khi dùng máy dịch nói trong cuộc họp?
Dùng micro tốt đặt gần người nói, tránh nói chồng, nói từng ý rõ ràng, đọc chậm số và tên riêng, nhắc lại con số quan trọng bằng cách khác. Chia sẻ trước danh sách tên riêng, thuật ngữ nếu công cụ cho phép. Sau họp, đối chiếu biên bản bằng người với các con số và cam kết.