Muốn so sánh hai chatbot với tiếng Việt cho công bằng, cần bốn điều: cho hai bên làm cùng một bộ câu hỏi trong cùng điều kiện, giấu tên công cụ khi chấm, đổi ngẫu nhiên thứ tự hai câu trả lời, và dùng đủ nhiều câu để chênh lệch không phải do may rủi. Với vài chục câu, một bên thắng 18 câu và bên kia thắng 12 câu vẫn chưa đủ để nói bên nào tốt hơn; cần nhiều câu hơn hoặc chênh lệch lớn hơn.
Phần lớn các so sánh chatbot lan truyền trên mạng xã hội là ba bốn ảnh chụp màn hình, mỗi bên một câu hỏi, người đăng đã biết mình thích bên nào. Cách so đó vui nhưng không giúp được ai chọn công cụ cho việc thật. Bài này mô tả một phép so có kiểm soát mà một nhóm nhỏ làm được trong vài ngày, dùng cho quyết định như chọn trợ lý cho bộ phận chăm sóc khách hàng, chọn công cụ hỗ trợ giáo viên soạn bài, hay quyết định có nên đổi sang phiên bản mới. Các con số trong bài là ví dụ giả định để minh hoạ cách tính.
Vì sao cảm giác "bên này hay hơn" thường sai
Có ít nhất ba lý do khiến ấn tượng ban đầu không đáng tin. Lý do đầu tiên là chọn mẫu: người thử thường hỏi những câu mình nghĩ ra lúc đó, vốn thiên về một vài kiểu việc, và bỏ qua phần lớn việc thật. Một chatbot làm thơ lục bát hay có thể kém khi tóm tắt biên bản họp, mà biên bản họp mới là việc hằng ngày của bạn.
Lý do thứ hai là định kiến xác nhận. Khi đã biết câu trả lời đến từ công cụ nào, người đọc vô thức tìm điểm tốt ở bên mình ưa và điểm xấu ở bên kia. Điều này xảy ra cả với người rất cẩn thận, vì nó nằm ở cách con người đọc chứ không phải ở ý định. Lý do thứ ba là ngẫu nhiên: chatbot không trả lời giống hệt nhau mỗi lần. Một câu trả lời xuất sắc có thể chỉ là lần may, chạy lại lần nữa đã khác.
Thêm vào đó, hai công cụ thường được thử trong điều kiện khác nhau mà người thử không để ý: một bên đang bật tìm kiếm web, một bên không; một bên là bản trả phí với mô hình mạnh hơn, một bên là bản miễn phí; một bên được hỏi trong cuộc trò chuyện đã có sẵn ngữ cảnh từ trước. Bất kỳ khác biệt nào trong số này cũng đủ lấn át khác biệt thật giữa hai mô hình.
Với tiếng Việt còn một nguồn nhiễu riêng: cách người thử gõ câu hỏi. Cùng một ý, gõ có dấu đầy đủ, gõ không dấu, hay gõ kiểu tin nhắn có viết tắt có thể cho kết quả khác nhau khá xa. Nếu với công cụ này bạn gõ cẩn thận còn với công cụ kia gõ vội, phép so đã lệch trước khi bắt đầu. Cách đơn giản là soạn sẵn toàn bộ câu hỏi trong một tệp rồi dán nguyên văn cho cả hai bên.
Giữ điều kiện giống nhau
Trước khi chạy câu hỏi nào, ghi ra và cố định các điều kiện dưới đây cho cả hai bên. Ghi lại vào một tệp mô tả để người khác làm lại được:
- Phiên bản và chế độ: tên mô hình cụ thể nếu công cụ cho chọn, bản miễn phí hay trả phí, có bật chế độ suy luận dài không.
- Công cụ phụ: tìm kiếm web, đọc tệp, chạy mã có bật hay không. Nếu một bên có tìm kiếm còn bên kia không, bạn đang so hai hệ thống khác nhau chứ không phải hai mô hình.
- Ngữ cảnh: mỗi câu hỏi chạy trong một cuộc trò chuyện mới, tắt các tính năng ghi nhớ tuỳ chỉnh hoặc hồ sơ cá nhân nếu có, để không bên nào được lợi từ những gì nó đã biết về bạn.
- Câu lệnh hệ thống hoặc chỉ dẫn chung: dùng cùng một đoạn chỉ dẫn cho cả hai, chẳng hạn "trả lời bằng tiếng Việt, xưng em, gọi khách là anh chị, không quá 200 chữ".
- Thời điểm: chạy hai bên trong cùng khoảng thời gian, vì nhà cung cấp có thể cập nhật mô hình bất cứ lúc nào.
- Tài liệu đính kèm: nếu câu hỏi cần tài liệu, cả hai bên nhận đúng một tệp, cùng định dạng, đã xoá thông tin cá nhân và bí mật kinh doanh.
Nếu so qua giao diện lập trình thay vì giao diện trò chuyện, thêm các tham số như nhiệt độ, độ dài tối đa của câu trả lời. Đặt giống nhau cho cả hai, hoặc để mặc định nếu đó là cách bạn sẽ dùng thật, miễn ghi rõ.
Chấm mù và đổi thứ tự
Sau khi có câu trả lời của cả hai bên, bước quan trọng nhất là xoá dấu vết nguồn. Chuyển câu trả lời sang một bảng tính, gán nhãn trung tính như "A" và "B", xoá những câu tự giới thiệu kiểu "là trợ lý do hãng X phát triển", đưa về cùng định dạng chữ. Một người giữ bảng khoá ghi A, B ứng với công cụ nào, và không tham gia chấm.
Tiếp theo, xáo thứ tự. Nếu câu trả lời của công cụ thứ nhất luôn đứng bên trái, người chấm có thể vô thức ưu ái bên trái hoặc bên phải. Hiện tượng này gọi là thiên lệch vị trí, xảy ra ở cả người chấm lẫn mô hình dùng làm giám khảo. Cách xử lý đơn giản là với mỗi câu hỏi, tung đồng xu để quyết định công cụ nào đứng trước; bảng tính có hàm số ngẫu nhiên làm việc này nhanh.
Người chấm chọn một trong ba: A tốt hơn, B tốt hơn, hoặc hai bên ngang nhau. Nên có tiêu chí viết sẵn, ví dụ ưu tiên đúng nội dung và không bịa, sau đó mới tới tiếng Việt tự nhiên, rồi mới tới trình bày. Cho phép chọn ngang nhau là cần thiết, vì ép chọn khi hai bên như nhau chỉ làm tăng nhiễu. Nếu có nhiều người chấm, mỗi người chấm độc lập rồi mới tổng hợp.
Bao nhiêu câu là đủ
Đây là chỗ hầu hết các so sánh không chuyên bỏ qua. Giả sử bạn có 30 câu hỏi, công cụ A thắng 18 câu, B thắng 12 câu, không có câu hoà. A thắng 60 phần trăm, nghe khá thuyết phục. Nhưng nếu hai công cụ thực ra ngang nhau, giống như tung đồng xu 30 lần, khả năng một bên được 18 lần ngửa trở lên vẫn khoảng 18 phần trăm, và khả năng có một bên nào đó lệch tới mức này là khoảng 36 phần trăm. Tức là kết quả 18 trên 12 hoàn toàn có thể xảy ra do may rủi.
Với 100 câu không hoà, A thắng 60 và B thắng 40, khả năng chênh lệch tới mức đó do may rủi giảm xuống còn khoảng 6 phần trăm. Với 200 câu và cùng tỷ lệ 60 trên 40, khả năng đó dưới 1 phần trăm. Cách tính này gọi là kiểm định dấu, một kiểm định thống kê đơn giản dựa trên phân phối nhị thức; bảng tính và nhiều công cụ trực tuyến tính được. Câu hoà thường bị loại ra khỏi phép tính này.
Hệ quả thực tế: nếu hai công cụ chênh nhau ít, bạn cần rất nhiều câu mới phân biệt được, và có lẽ chênh lệch nhỏ đó cũng không đáng để quan tâm. Nếu chênh nhau nhiều, vài chục câu đã thấy rõ. Một cách làm hợp lý cho nhóm nhỏ là bắt đầu với 50 đến 60 câu; nếu kết quả sát nút, coi như hai bên ngang nhau ở mức đo được và quyết định dựa trên yếu tố khác như chi phí, tính năng bảo mật, khả năng tích hợp. Đừng cố tìm người thắng khi dữ liệu nói là chưa có người thắng.
Bố trí bộ câu hỏi cho phép so
Bộ câu hỏi nên phản ánh đúng tỷ lệ việc bạn định giao cho chatbot, không chỉ những câu thú vị. Ví dụ giả định cho một bộ phận chăm sóc khách hàng bán đồ gia dụng:
| Nhóm việc | Tỷ lệ trong việc thật | Số câu trong bộ 60 câu | Tiêu chí chính |
|---|---|---|---|
| Trả lời câu hỏi về chính sách đổi trả, bảo hành | khoảng 40% | 24 | đúng theo tài liệu, không bịa điều khoản |
| Xử lý khiếu nại, khách bực bội | khoảng 20% | 12 | xưng hô, giọng điệu, không hứa quá quyền |
| Hướng dẫn sử dụng sản phẩm | khoảng 20% | 12 | đúng, đủ bước, dễ làm theo |
| Câu hỏi viết phương ngữ, không dấu, viết tắt | khoảng 10% | 6 | hiểu đúng ý khách |
| Câu ngoài phạm vi, câu bẫy | khoảng 10% | 6 | từ chối hoặc chuyển người thật đúng lúc |
Nhờ chia theo tỷ lệ, kết quả cuối cùng phản ánh trải nghiệm thật của khách hàng chứ không bị lệch theo những câu người thiết kế thấy hay. Ngoài tỷ lệ thắng tổng, xem thêm kết quả theo từng nhóm: có thể A thắng rõ ở chính sách nhưng thua ở khiếu nại, và quyết định đúng tuỳ vào nhóm nào quan trọng hơn với bạn.
Nhớ lấy câu hỏi từ nhật ký thật nhưng xoá sạch tên, số điện thoại, địa chỉ, mã đơn hàng trước khi đưa vào bất kỳ công cụ nào. Có thể thay bằng thông tin giả định cùng định dạng để giữ độ khó.
Ngoài chất lượng câu trả lời còn gì cần so
Một phép so công bằng không dừng ở việc câu trả lời nào hay hơn. Với việc thật, các yếu tố sau thường quyết định không kém: tốc độ trả lời trong giờ cao điểm, độ ổn định khi chạy lại cùng câu, giới hạn độ dài tài liệu đọc được, khả năng đọc tệp tiếng Việt có bảng biểu, chính sách lưu trữ và sử dụng dữ liệu người dùng, và nơi lưu dữ liệu nếu tổ chức của bạn có quy định về việc này.
Độ ổn định đáng được đo riêng. Chạy lại một phần câu hỏi, chẳng hạn 15 câu, mỗi câu ba lần, rồi xem câu trả lời có nhất quán không. Một công cụ trung bình hơi kém nhưng ổn định có thể đáng tin hơn một công cụ lúc rất hay lúc rất dở, nhất là trong việc phục vụ khách hàng, nơi một câu trả lời tệ có thể gây thiệt hại lớn hơn nhiều so với lợi ích của nhiều câu trả lời hay.
Cuối cùng, ghi lại mọi thứ: bộ câu hỏi, điều kiện, câu trả lời thô, bảng khoá, kết quả chấm. Ba tháng sau khi một trong hai công cụ ra phiên bản mới, bạn chạy lại đúng quy trình và có ngay câu trả lời bản mới tốt hơn hay kém đi, thay vì phải tin vào thông cáo báo chí. Bộ hồ sơ này cũng giúp giải thích quyết định với cấp trên hay đồng nghiệp một cách minh bạch.
Câu hỏi thường gặp
So sánh hai chatbot cần tối thiểu bao nhiêu câu hỏi?
Không có con số cố định, phụ thuộc vào mức chênh lệch giữa hai bên. Với nhóm nhỏ, 50 đến 60 câu là điểm khởi đầu hợp lý. Nếu một bên thắng áp đảo, như 45 trên 15, kết quả đã khá rõ; nếu sát nút, nên coi hai bên tương đương và quyết định dựa trên yếu tố khác.
Có cần chấm mù khi chỉ một người tự so cho mình dùng không?
Nên làm nếu được, dù chỉ ở mức đơn giản: nhờ người khác dán câu trả lời vào bảng với nhãn A, B ngẫu nhiên. Khi tự biết nguồn, rất khó tránh ưu ái công cụ mình quen. Nếu không có ai giúp, ít nhất hãy viết tiêu chí chấm trước khi đọc câu trả lời.
Câu hoà xử lý thế nào khi tính kết quả?
Trong kiểm định dấu, câu hoà thường bị loại ra, chỉ tính các câu có bên thắng. Nhưng tỷ lệ hoà vẫn là thông tin hữu ích: nếu phần lớn câu là hoà, hai công cụ thực tế không khác nhau nhiều với loại việc đó, và lựa chọn nên dựa trên chi phí, bảo mật hay tiện lợi.
So bản miễn phí của công cụ này với bản trả phí của công cụ kia có được không?
Được, nếu đó đúng là hai lựa chọn bạn đang cân nhắc, miễn ghi rõ điều kiện. Điều không nên là kết luận "mô hình A tốt hơn mô hình B" từ phép so đó, vì bạn đang so hai gói dịch vụ khác cấp. Kết luận đúng là "với điều kiện này, gói này phù hợp hơn với việc của mình".
Kết quả so sánh có dùng được lâu dài không?
Chỉ dùng được trong thời gian mô hình chưa đổi. Nhà cung cấp cập nhật thường xuyên, có khi không báo rõ. Lưu lại toàn bộ bộ câu và quy trình để chạy lại định kỳ, nhất là sau mỗi lần có thông báo phiên bản mới hoặc khi người dùng phản ánh chất lượng thay đổi.
Có thể nhờ một chatbot thứ ba chấm thay người không?
Có thể dùng để chấm sơ bộ khi số câu lớn, nhưng mô hình chấm cũng có thiên lệch riêng, như ưu ái câu dài hoặc câu đứng ở một vị trí nhất định. Nếu dùng, hãy đổi thứ tự A và B rồi chấm hai lần, và cho người kiểm một mẫu để xem mô hình chấm có khớp với người không.