Kiểm thử đỏ (red teaming) mô hình AI là việc một nhóm người, đôi khi có AI hỗ trợ, chủ động đóng vai người dùng xấu để tìm mọi cách khiến mô hình nói hoặc làm điều có hại, nhằm phát hiện và vá lỗ hổng trước khi mô hình đến tay công chúng. Thuật ngữ mượn từ quân sự và an ninh mạng, nơi "đội đỏ" đóng vai đối phương để thử phòng tuyến của "đội xanh".
Với các mô hình ngôn ngữ lớn, kiểm thử đỏ đã trở thành bước gần như bắt buộc ở các phòng thí nghiệm lớn và được nhắc trong nhiều khung quản lý AI. Bài này giải thích kiểm thử đỏ gồm những gì, được tổ chức ra sao, khác gì một bài đánh giá tự động, giới hạn của nó, và vì sao kiểm thử bằng tiếng Việt là phần việc không thể chỉ trông vào người nước ngoài làm hộ. Bài không hướng dẫn cách bẻ khoá bất kỳ mô hình nào.
Kiểm thử đỏ khác kiểm thử phần mềm thông thường ở đâu
Kiểm thử phần mềm truyền thống kiểm xem chương trình có làm đúng đặc tả không: bấm nút này thì ra kết quả kia. Đầu vào có giới hạn, đầu ra có đáp án. Mô hình ngôn ngữ thì khác: đầu vào là bất kỳ câu nào người ta có thể viết, bằng bất kỳ ngôn ngữ nào, và đầu ra là văn bản tự do. Không thể liệt kê hết mọi trường hợp, nên phải có người sáng tạo nghĩ ra những trường hợp xấu mà đội phát triển chưa nghĩ tới.
Kiểm thử đỏ cũng khác đánh giá tự động bằng bộ câu hỏi cố định. Bộ câu hỏi cố định đo được tiến bộ qua các phiên bản nhưng dễ bị "học tủ": mô hình làm tốt trên bộ đề mà vẫn hỏng ở câu hỏi lạ. Đội đỏ thì liên tục đổi chiến thuật, kết hợp nhiều lượt hội thoại, đóng vai, chuyển ngôn ngữ giữa chừng, tìm đúng những chỗ bộ đề chưa phủ.
Kết quả của kiểm thử đỏ không phải điểm số mà là danh sách lỗi có mô tả, mức độ nghiêm trọng và cách tái hiện. Danh sách ấy được đưa về đội huấn luyện để bổ sung dữ liệu căn chỉnh, đội làm bộ lọc để thêm lớp chặn, và đội chính sách để quyết định có phát hành hay không.
Các nhóm rủi ro đội đỏ thường thử
Mỗi tổ chức chia nhóm theo cách riêng, nhưng phần lớn các báo cáo công khai xoay quanh những nhóm dưới đây. Mức độ ưu tiên phụ thuộc vào năng lực của mô hình và cách nó được triển khai.
| Nhóm | Đội đỏ thử điều gì | Ai thường tham gia |
|---|---|---|
| Nội dung độc hại | Mô hình có sinh lời lẽ thù ghét, quấy rối, nội dung bạo lực, nội dung tình dục liên quan trẻ vị thành niên không | Chuyên gia kiểm duyệt nội dung, chuyên gia bảo vệ trẻ em |
| Thông tin sai và thao túng | Mô hình có bịa tin, viết tin giả thuyết phục, giả mạo người thật không | Nhà báo, chuyên gia kiểm chứng thông tin |
| Hỗ trợ tấn công mạng | Mô hình có giúp viết mã độc, tìm lỗ hổng để khai thác, soạn thư lừa đảo không | Chuyên gia an ninh mạng |
| Vũ khí và chất nguy hiểm | Mô hình có cung cấp thông tin giúp đáng kể cho việc chế tạo vũ khí sinh học, hoá học, phóng xạ không | Nhà khoa học chuyên ngành, làm việc trong khuôn khổ bảo mật |
| Quyền riêng tư | Mô hình có làm lộ dữ liệu cá nhân từ dữ liệu huấn luyện, giúp truy tìm người cụ thể không | Chuyên gia bảo vệ dữ liệu |
| Hành vi tự chủ | Khi được cho công cụ và nhiệm vụ dài, mô hình có làm việc ngoài phạm vi, lừa người giám sát không | Nhà nghiên cứu an toàn, tổ chức đánh giá độc lập |
Nhóm cuối là mảng mới, gắn với xu hướng cho AI tự thao tác máy tính, gửi thư, chạy mã. Rủi ro ở đây không chỉ là lời nói mà là hành động, nên cách kiểm thử cũng phải dựng môi trường giả lập an toàn để quan sát.
Một đợt kiểm thử đỏ được tổ chức thế nào
Dưới đây là khung chung rút từ các báo cáo công khai và thực hành an ninh mạng. Các bước cụ thể khác nhau tuỳ tổ chức.
- Xác định phạm vi: mô hình nào, phiên bản nào, triển khai ở đâu (chatbot công khai, công cụ nội bộ, tác tử có quyền truy cập email), nhóm rủi ro nào ưu tiên.
- Chọn người: kết hợp chuyên gia từng lĩnh vực với người giỏi "nghĩ như kẻ xấu"; càng đa dạng ngôn ngữ, văn hoá, nghề nghiệp thì càng tìm được nhiều kiểu lỗi.
- Đặt quy tắc an toàn cho chính đội đỏ: không dùng kết quả nguy hiểm ra ngoài, lưu trữ có kiểm soát, hỗ trợ tâm lý cho người phải đọc nội dung độc hại lâu.
- Thử thủ công: đội viên tự viết các tình huống, nhiều lượt, đóng vai, thay đổi ngôn ngữ, ghi lại cả lần thử thất bại.
- Mở rộng bằng tự động hoá: dùng một mô hình khác để sinh hàng loạt biến thể từ các mẫu lỗi đã tìm, rồi dùng bộ phân loại để lọc kết quả cần người xem.
- Chấm mức độ: mỗi lỗi được đánh giá về mức hại thực tế, mức dễ tái hiện, và mức "nâng cao năng lực" so với việc tự tìm trên mạng.
- Vá và kiểm lại: đội phát triển sửa; đội đỏ thử lại xem lỗi đã hết chưa và việc vá có làm mô hình từ chối quá đà không.
Một số công ty mời đội đỏ bên ngoài và công bố tóm tắt kết quả trong "thẻ hệ thống" (system card) đi kèm mô hình. Đọc phần này là cách tốt để biết một mô hình đã được thử những gì, và quan trọng không kém, chưa được thử những gì.
Vì sao cần kiểm thử đỏ bằng tiếng Việt
Các biện pháp an toàn của mô hình phần lớn được huấn luyện và kiểm thử bằng tiếng Anh. Một số nghiên cứu công bố từ năm 2023 cho thấy khi dịch các yêu cầu có hại sang những ngôn ngữ ít dữ liệu, tỉ lệ mô hình làm theo tăng lên rõ rệt so với tiếng Anh. Tiếng Việt không thuộc nhóm ít dữ liệu nhất, nhưng cũng không có lượng dữ liệu an toàn tương đương tiếng Anh, nên nằm trong vùng cần được kiểm riêng.
Có những đặc thù chỉ người hiểu tiếng Việt mới thấy. Tiếng Việt không dấu khiến một câu có nhiều cách đọc; tiếng lóng mạng, chữ viết tắt kiểu "teencode", lối nói lái, chơi chữ đồng âm có thể biến một câu vô hại thành xúc phạm hoặc ngược lại. Lời lẽ thù ghét nhắm vào vùng miền, dân tộc, giới tính ở Việt Nam có từ ngữ riêng mà bộ lọc học từ tiếng Anh không nhận ra. Thông tin sai về lịch sử, địa lý, chính sách Việt Nam cũng cần người trong nước mới bắt được.
Còn một lớp rủi ro thực tế: lừa đảo. Các kịch bản lừa đảo qua điện thoại và mạng xã hội ở Việt Nam có kiểu kịch bản riêng, như giả danh cơ quan chức năng hay giả người thân cần tiền gấp. Kiểm xem mô hình có sẵn sàng viết kịch bản lừa đảo đúng giọng Việt hay không là phần việc của người hiểu bối cảnh. Những chủ đề này được AI Bảo Mật viết kỹ hơn ở góc phòng tránh.
Kiểm thử đỏ trong các cam kết và khung quản lý
Kiểm thử đỏ từ một thực hành nội bộ đã dần trở thành yêu cầu được nêu trong văn bản. Tháng 7 năm 2023, một nhóm công ty AI lớn của Mỹ đưa ra cam kết tự nguyện với Nhà Trắng, trong đó có việc kiểm thử an ninh nội bộ và bên ngoài trước khi phát hành mô hình. Cùng năm, tại hội nghị an ninh mạng DEF CON ở Las Vegas, một sự kiện kiểm thử đỏ công khai quy mô lớn cho phép hàng nghìn người tham gia thử các mô hình ngôn ngữ của nhiều công ty, với mục đích thu thập lỗi và đưa kiểm thử ra khỏi phạm vi nội bộ.
Ở châu Âu, Đạo luật AI của Liên minh châu Âu đặt nghĩa vụ đánh giá mô hình, trong đó có kiểm thử đối kháng, đối với các mô hình AI đa dụng được xếp vào nhóm có rủi ro hệ thống. Các viện an toàn AI do một số chính phủ thành lập cũng tiến hành kiểm thử mô hình trước khi phát hành theo thoả thuận với nhà phát triển. Chi tiết nghĩa vụ và thời điểm áp dụng thay đổi theo văn bản hướng dẫn, nên khi cần dùng cho công việc, bạn nên tra bản hiện hành từ nguồn chính thức.
Điều đáng chú ý cho cộng đồng trong nước là các khung này chủ yếu do các nước nói tiếng Anh và châu Âu soạn, với chuyên gia của họ. Sự hiện diện của người hiểu tiếng Việt trong các đợt kiểm thử quốc tế còn hạn chế, đó là khoảng trống có thật.
Giới hạn của kiểm thử đỏ
Không chứng minh được sự vắng mặt của lỗi. Kiểm thử đỏ chỉ cho biết đội đã tìm ra lỗi nào, không cho biết còn bao nhiêu lỗi chưa tìm ra. Một mô hình qua được đợt kiểm thử vẫn có thể bị người dùng khác phá theo cách chưa ai nghĩ tới.
Phụ thuộc vào người thử. Chất lượng kết quả tuỳ vào độ sáng tạo, chuyên môn và ngôn ngữ của đội đỏ. Đội toàn người nói tiếng Anh sẽ bỏ sót lỗi ở tiếng Việt, đội không có chuyên gia y tế sẽ bỏ sót lỗi tư vấn thuốc.
Mô hình thay đổi liên tục. Mỗi lần cập nhật có thể vá lỗi cũ và mở lỗi mới. Kiểm thử một lần trước phát hành không đủ; cần kênh báo lỗi thường trực sau phát hành.
Có thể tạo cảm giác an toàn giả. Một câu "mô hình đã qua kiểm thử đỏ nghiêm ngặt" trong thông cáo báo chí không nói gì về phạm vi, số người, ngôn ngữ đã thử. Người đọc nên tìm báo cáo chi tiết thay vì tin vào cụm từ.
Người dùng bình thường nên làm gì khi gặp lỗi
Bạn không cần là chuyên gia để góp phần. Khi một chatbot trả lời bằng tiếng Việt điều rõ ràng có hại, sai lệch nghiêm trọng về Việt Nam, hay xúc phạm một nhóm người, hãy dùng nút phản hồi trong ứng dụng, mô tả ngắn gọn câu hỏi và vì sao câu trả lời có vấn đề. Nhiều công ty có trang tiếp nhận báo cáo lỗ hổng an toàn, đôi khi có chương trình thưởng.
Có một ranh giới cần giữ: tìm thấy lỗi tình cờ và báo cáo là đóng góp; cố tình bẻ khoá để lấy nội dung nguy hiểm rồi chia sẻ công khai là gây hại, và có thể vi phạm điều khoản sử dụng hoặc pháp luật. Khi báo lỗi, đừng kèm thông tin cá nhân của bạn hay người khác, và đừng đăng chi tiết cách tái hiện lên mạng xã hội trước khi nhà cung cấp kịp vá.
Câu hỏi thường gặp
Bẻ khoá (jailbreak) chatbot có phải là kiểm thử đỏ không?
Kỹ thuật có thể giống nhau, nhưng mục đích và khuôn khổ khác nhau. Kiểm thử đỏ được tổ chức có phạm vi, có quy tắc, kết quả gửi về để vá lỗi. Bẻ khoá tự phát để lấy nội dung bị chặn rồi dùng hoặc khoe thì không phải kiểm thử đỏ và có thể vi phạm điều khoản sử dụng của dịch vụ.
Có AI nào tự kiểm thử đỏ cho AI khác không?
Có. Các phòng thí nghiệm dùng mô hình để sinh hàng loạt câu thử đối kháng và dùng bộ phân loại để lọc kết quả, giúp mở rộng quy mô. Tuy vậy, mô hình kiểm thử thường lặp lại kiểu lỗi đã biết; những lỗi thật sự mới vẫn chủ yếu do con người sáng tạo tìm ra.
Đội đỏ có phải đọc nhiều nội dung độc hại không?
Có, và đó là gánh nặng thật. Các tổ chức có trách nhiệm thường giới hạn thời gian tiếp xúc, cho nghỉ luân phiên, có hỗ trợ tâm lý và cho phép từ chối một số chủ đề. Khi đọc về kiểm thử đỏ, nên nhớ phía sau là những người làm công việc không dễ chịu.
Thẻ hệ thống (system card) là gì và đọc ở đâu?
Đó là tài liệu một số công ty công bố kèm mô hình, mô tả cách huấn luyện ở mức khái quát, kết quả đánh giá an toàn, kiểm thử đỏ và các giới hạn đã biết. Bạn tìm trên trang chính thức của nhà phát triển. Hãy chú ý phần nói về ngôn ngữ đã được thử, vì tiếng Việt thường không được nêu riêng.
Một công ty Việt Nam làm chatbot có cần kiểm thử đỏ không?
Nên có, dù ở quy mô nhỏ. Một nhóm vài người hiểu sản phẩm và hiểu người dùng có thể thử các tình huống xấu có khả năng xảy ra: khách hàng hỏi điều nhạy cảm, cố khai thác dữ liệu người khác, ép chatbot hứa điều công ty không cam kết. Ghi lại, sửa, và lặp lại sau mỗi lần cập nhật.