Cách nhanh và đáng tin nhất để biết một chatbot có dùng được với tiếng Việt cho việc của mình hay không là chuẩn bị sẵn một bộ khoảng 30 câu hỏi chia thành sáu nhóm: chính tả và từ ngữ, xưng hô, kiến thức Việt Nam có đáp án kiểm được, văn bản thực dụng, câu hỏi bẫy về thứ không có thật, và việc gần nhất với công việc thật của bạn; rồi chấm từng câu theo cùng một phiếu. Hỏi vu vơ vài câu rồi khen chê theo cảm giác gần như luôn dẫn tới kết luận sai.
Lý do đơn giản: một chatbot trả lời trôi chảy câu đầu tiên sẽ để lại ấn tượng tốt, và người thử vô thức bỏ qua lỗi ở các câu sau. Ngược lại, một lỗi buồn cười ngay câu đầu có thể khiến cả công cụ bị gạt đi dù nó làm tốt đúng việc bạn cần. Bộ câu hỏi cố định giúp bạn so sánh công bằng giữa các công cụ, giữa các phiên bản của cùng một công cụ, và giữa hôm nay với ba tháng sau. Các câu ví dụ dưới đây đều là ví dụ giả định, bạn nên sửa theo lĩnh vực của mình.
Vì sao cần bộ câu hỏi có chủ đích thay vì hỏi tuỳ hứng
Chatbot hiện nay là mô hình ngôn ngữ lớn được huấn luyện chủ yếu trên văn bản tiếng Anh, tiếng Việt chiếm một phần nhỏ hơn nhiều. Hệ quả là chất lượng tiếng Việt không đều: một mô hình có thể viết thư rất mượt nhưng lại nhầm tên đơn vị hành chính, hoặc tóm tắt tốt một bài báo nhưng xưng hô kỳ cục khi đóng vai nhân viên chăm sóc khách hàng. Hỏi tuỳ hứng thì bạn chỉ thấy được một hai mặt trong số đó.
Bộ câu hỏi có chủ đích giải quyết ba việc. Thứ nhất, phủ đủ các mặt khác nhau của năng lực tiếng Việt, mỗi nhóm câu nhắm vào một kiểu lỗi đã biết. Thứ hai, có đáp án hoặc tiêu chí chấm viết ra trước khi hỏi, nên bạn không bị cuốn theo giọng văn tự tin của máy. Thứ ba, lặp lại được: cùng bộ câu đó, chạy lại khi công cụ cập nhật, bạn thấy ngay nó tốt lên hay kém đi ở chỗ nào.
Không cần bộ câu lớn. Với một người dùng cá nhân hay một nhóm nhỏ đang chọn công cụ, khoảng 25 đến 40 câu là vừa: đủ để thấy xu hướng, đủ ít để chấm tay trong một buổi. Các bộ điểm chuẩn công khai có hàng nghìn câu, nhưng chúng đo năng lực chung, còn bộ của bạn đo đúng thứ bạn cần. Hai thứ bổ sung cho nhau, không thay nhau được.
Nhóm một: chính tả, dấu thanh và từ ngữ
Nhóm này kiểm xem máy có viết tiếng Việt sạch không. Lỗi ở đây ít khi làm sai nội dung nhưng làm văn bản mất uy tín ngay khi gửi cho khách hay cấp trên. Một số dạng câu thử nên có:
- Đưa một đoạn văn chừng 100 chữ có cài sẵn năm lỗi chính tả quen thuộc (lẫn "s" và "x", "ch" và "tr", dấu hỏi và dấu ngã, "d" và "gi") rồi yêu cầu sửa và liệt kê từng lỗi. Đếm xem máy bắt được mấy lỗi, có sửa nhầm chữ đúng thành sai không.
- Đưa một đoạn viết không dấu, kiểu tin nhắn, và yêu cầu khôi phục dấu. Câu không dấu như "con ga nay dep qua" có nhiều cách hiểu; máy tốt sẽ chọn theo ngữ cảnh và nói rõ chỗ còn mơ hồ thay vì đoán bừa.
- Hỏi nghĩa và cách dùng của một cặp từ dễ lẫn như "bàng quan" và "bàng quang", "yếu điểm" và "điểm yếu", "tham quan" và "thăm quan". Câu trả lời tốt giải thích được vì sao, không chỉ phán đúng sai.
- Yêu cầu viết một đoạn ngắn có từ láy và thành ngữ đúng chỗ, ví dụ tả một buổi chợ quê. Văn máy kém thường lạm dụng từ láy hoặc dùng thành ngữ lệch nghĩa.
- Yêu cầu viết hoa đúng tên riêng trong một đoạn có tên người, tên cơ quan, tên địa danh. Lỗi hay gặp là viết hoa mọi chữ trong tên cơ quan hoặc viết thường tên riêng nước ngoài phiên âm.
Khi chấm nhóm này, nên đếm lỗi cụ thể thay vì cho điểm cảm tính. Ghi lại cả lỗi "sửa quá tay": máy đổi một từ địa phương hay một cách nói đúng nhưng ít gặp thành từ phổ thông, làm mất ý người viết. Với văn bản có giọng vùng miền rõ, đó là lỗi nặng chứ không phải cải thiện.
Nhóm hai: xưng hô và ngữ cảnh giao tiếp
Tiếng Việt không có một đại từ trung tính như "you" trong tiếng Anh. Người nói chọn anh, chị, em, cô, chú, bác, ông, bà, bạn, quý khách tuỳ tuổi, quan hệ và hoàn cảnh, và phải giữ nhất quán suốt cuộc trò chuyện. Đây là chỗ chatbot học chủ yếu từ dữ liệu tiếng Anh dịch sang hay vấp nhất: đang xưng "em" gọi "anh" thì câu sau chuyển sang "bạn", hoặc dùng "quý vị" khi đang nhắn tin riêng với một người.
Câu thử cho nhóm này nên đặt bối cảnh rõ. Ví dụ giả định: "Bạn đóng vai nhân viên một tiệm sửa xe máy, khách là một bác lớn tuổi hỏi vì sao xe khó nổ buổi sáng. Hãy trả lời ba lượt hội thoại." Sau đó đọc xem máy có giữ cách xưng "cháu" hay "con" với "bác" không, có lễ phép mà không khúm núm, có dùng từ ngữ hợp với người lớn tuổi không. Làm thêm một biến thể với khách là sinh viên để xem máy có tự đổi cách xưng hô hợp lý không.
Một dạng thử khác là yêu cầu viết lại một tin nhắn cho ba người nhận khác nhau: sếp, đồng nghiệp ngang hàng, và phụ huynh học sinh. Máy tốt sẽ đổi không chỉ đại từ mà cả mức trang trọng, độ dài, cách mở và kết. Máy kém chỉ thay "anh" bằng "chị" và giữ nguyên phần còn lại.
Đây là nhóm khó chấm bằng đáp án đúng sai, nên hãy viết sẵn tiêu chí: nhất quán xưng hô qua các lượt, phù hợp tuổi và quan hệ, không lẫn giọng văn dịch. Mỗi tiêu chí chấm đạt hoặc không đạt là đủ.
Nhóm ba: kiến thức Việt Nam có đáp án kiểm được
Nhóm này đo xem máy biết gì về Việt Nam và, quan trọng hơn, có thừa nhận khi không biết hay không. Mọi câu phải có đáp án bạn tự tra được từ nguồn chính thức hoặc sách giáo khoa, nếu không thì chính bạn cũng không chấm được. Nên trộn ba loại: kiến thức ổn định lâu dài (sông dài nhất chảy qua lãnh thổ, tác giả một tác phẩm văn học trong chương trình phổ thông), kiến thức hành chính mới thay đổi (số tỉnh thành và tên tỉnh sau sắp xếp năm 2025), và kiến thức nghề của bạn (một quy trình, một khái niệm chuyên môn có định nghĩa chính thức).
Kiến thức hành chính mới là phép thử rất tốt vì nó lộ ra mốc dữ liệu của mô hình. Từ ngày 12 tháng 6 năm 2025 cả nước còn 34 đơn vị hành chính cấp tỉnh, và từ ngày 1 tháng 7 năm 2025 bỏ cấp huyện, chính quyền địa phương còn hai cấp. Một mô hình được huấn luyện trên dữ liệu cũ sẽ nói 63 tỉnh thành và nhắc tên huyện như bình thường. Đó không hẳn là lỗi của mô hình, nhưng nếu nó trả lời tự tin mà không cảnh báo thông tin có thể đã cũ thì đó là điểm trừ lớn với người dùng ở Việt Nam.
Với câu về văn học, lịch sử, nên hỏi chi tiết vừa phải: ai viết, xuất bản khoảng thời gian nào, nhân vật chính là ai. Câu quá phổ biến thì máy nào cũng đúng, câu quá hiếm thì bạn khó kiểm. Ghi lại riêng những câu máy bịa chi tiết nghe rất thật, ví dụ gán một câu thơ cho sai tác giả, vì đây là kiểu lỗi nguy hiểm nhất khi đưa nội dung ra ngoài.
Nhóm bốn và năm: văn bản thực dụng và câu hỏi bẫy
Nhóm bốn gồm những việc người Việt thật sự nhờ chatbot hằng ngày: viết đơn xin nghỉ phép, viết email nhắc thanh toán lịch sự, tóm tắt một văn bản dài một trang thành năm ý, chuyển một đoạn văn nói lộn xộn thành biên bản gọn. Hãy dùng tài liệu thật của bạn nhưng đã xoá tên người, số điện thoại, số tài khoản và mọi chi tiết nhận dạng trước khi dán vào bất kỳ công cụ nào. Chấm theo ba tiêu chí: đúng nội dung so với bản gốc, đúng thể thức người Việt quen dùng, không thêm thắt chi tiết không có trong bản gốc.
Nhóm năm là câu hỏi bẫy, nhằm đo độ trung thực. Bạn hỏi về một thứ không tồn tại nhưng nghe có vẻ hợp lý: một cuốn sách bịa tên của một nhà văn có thật, một điều luật số hiệu không có, một lễ hội ở một địa phương mà thực tế không tổ chức. Máy tốt sẽ nói không tìm thấy thông tin hoặc đề nghị bạn kiểm lại. Máy kém sẽ tóm tắt nội dung cuốn sách không có thật một cách trôi chảy. Chỉ cần ba đến năm câu bẫy là thấy rõ xu hướng.
Khi soạn câu bẫy, tránh dùng tên người thật ngoài đời theo cách có thể gây hiểu lầm nếu câu trả lời bịa bị lan ra. Gán sách bịa cho một tác giả đã mất từ lâu, hoặc dùng tên địa danh có thật với một sự kiện vô hại, là đủ để thử. Lưu lại toàn bộ câu trả lời, vì nó là tư liệu tốt để giải thích cho đồng nghiệp vì sao không được dán nguyên văn trả lời của AI vào văn bản chính thức.
Phiếu chấm gợi ý và cách ghi kết quả
Một phiếu chấm đơn giản giúp nhiều người cùng chấm mà kết quả vẫn so được. Bảng dưới là khung gợi ý, bạn đổi trọng số theo việc của mình.
| Nhóm | Số câu gợi ý | Cách chấm | Lỗi cần ghi riêng |
|---|---|---|---|
| Chính tả, dấu, từ ngữ | 5–6 | đếm lỗi bắt được, lỗi sửa nhầm | sửa quá tay làm mất giọng vùng miền |
| Xưng hô, ngữ cảnh | 4–5 | đạt / không đạt theo từng tiêu chí | đổi đại từ giữa chừng |
| Kiến thức Việt Nam | 6–8 | đúng / sai / từ chối có lý do | bịa chi tiết nghe thật, thông tin cũ không cảnh báo |
| Văn bản thực dụng | 5–6 | điểm 1–3 cho nội dung, thể thức, độ trung thành | thêm chi tiết không có trong bản gốc |
| Câu hỏi bẫy | 3–5 | thừa nhận không biết / bịa | mọi câu bịa đều ghi nguyên văn |
| Việc thật của bạn | 5–8 | theo tiêu chí nghề của bạn | lỗi gây hậu quả nếu dùng thật |
Ghi kết quả vào một bảng tính: mỗi hàng một câu hỏi, mỗi cột một công cụ hoặc một phiên bản, kèm ngày chạy. Nhớ ghi cả chế độ đã dùng (bản miễn phí hay trả phí, có bật tìm kiếm web không), vì cùng một tên sản phẩm nhưng khác chế độ có thể cho kết quả khác hẳn.
Chạy mỗi câu ít nhất hai lần. Chatbot có yếu tố ngẫu nhiên, cùng một câu hỏi có thể ra hai câu trả lời khác nhau; nếu hai lần cho kết quả trái ngược, đánh dấu câu đó là "không ổn định", bản thân điều này đã là thông tin quan trọng. Sau mỗi lần công cụ cập nhật lớn, chạy lại toàn bộ bộ câu và so với lần trước, đừng tin lời quảng cáo rằng bản mới tốt hơn ở mọi mặt.
Câu hỏi thường gặp
Bộ câu hỏi tự kiểm chatbot tiếng Việt nên có bao nhiêu câu?
Khoảng 25 đến 40 câu là vừa cho cá nhân hoặc nhóm nhỏ: đủ phủ sáu nhóm năng lực, mỗi nhóm vài câu, mà vẫn chấm tay được trong một buổi. Bộ quá ít câu dễ bị một câu may rủi làm lệch kết luận, bộ quá nhiều câu thì ngại chạy lại khi công cụ cập nhật.
Có nên dùng câu hỏi lấy từ mạng hay đề thi có sẵn không?
Dùng được để tham khảo cách đặt câu, nhưng câu hỏi đã nằm công khai trên mạng có thể đã lọt vào dữ liệu huấn luyện, máy trả lời đúng vì đã thấy đáp án chứ không phải vì hiểu. Nên tự viết lại câu hoặc đổi chi tiết, và luôn có một phần câu lấy từ việc thật của bạn.
Làm sao chấm nhóm xưng hô khi không có đáp án đúng sai?
Viết tiêu chí trước khi chấm: giữ nhất quán đại từ qua các lượt, hợp tuổi và quan hệ trong bối cảnh, mức trang trọng phù hợp, không có giọng văn dịch. Mỗi tiêu chí chấm đạt hoặc không đạt. Nếu có hai người cùng chấm và lệch nhau, thảo luận để làm rõ tiêu chí rồi chấm lại.
Câu hỏi bẫy có làm hỏng hay gây hại gì cho chatbot không?
Không. Bạn chỉ hỏi và đọc câu trả lời, mô hình không học từ một cuộc trò chuyện riêng lẻ theo cách làm hỏng nó. Điều cần cẩn trọng là không lan truyền câu trả lời bịa ra ngoài, và không dùng tên người thật đang sống theo cách khiến nội dung bịa có thể bị hiểu nhầm là sự thật.
Có được dán tài liệu công việc thật vào chatbot để thử không?
Chỉ nên dùng tài liệu đã xoá hết thông tin cá nhân và bí mật kinh doanh: tên khách hàng, số điện thoại, số tài khoản, giá trị hợp đồng, mã nội bộ. Đọc chính sách dữ liệu của công cụ, và nếu công ty có quy định về dùng AI thì làm theo quy định đó. Thay tên thật bằng tên giả vẫn giữ được độ khó của bài thử.
Bao lâu thì nên chạy lại bộ câu hỏi một lần?
Chạy lại mỗi khi công cụ ra phiên bản mới hoặc đổi mô hình bên dưới, và định kỳ vài tháng một lần nếu bạn dùng công cụ cho việc quan trọng. Nhà cung cấp có thể thay đổi mô hình mà không báo rõ, nên chạy lại định kỳ là cách duy nhất để biết chất lượng còn giữ được hay không.