Đánh giá năng lực nguy hiểm là việc đo xem một mô hình AI mới có đủ khả năng giúp gây hại nghiêm trọng hay không, ở các mảng như tấn công mạng, vũ khí sinh học và hoá học, tự hoạt động ngoài sự giám sát, hay thao túng con người, trước khi quyết định phát hành và phải kèm biện pháp bảo vệ nào. Khác với đánh giá chất lượng thông thường hỏi "mô hình giỏi tới đâu", đánh giá này hỏi "nếu rơi vào tay kẻ xấu hoặc tự vận hành sai, nó làm được gì".
Từ năm 2023, nhiều phòng thí nghiệm lớn công bố khung an toàn riêng, nối các kết quả đánh giá với những ngưỡng hành động cụ thể: vượt ngưỡng nào thì phải có biện pháp bảo vệ nào, không có biện pháp thì không phát hành. Bài này giải thích logic của các khung ấy, các mảng năng lực được đo, cách đo, và những giới hạn mà chính người làm đánh giá thừa nhận.
Vì sao phải đo năng lực trước khi phát hành
Năng lực của mô hình ngôn ngữ lớn không được lập trình trước mà xuất hiện qua huấn luyện. Đội phát triển nhiều khi không biết hết mô hình mới làm được gì cho tới khi thử. Có những năng lực xuất hiện tương đối đột ngột khi quy mô tăng, và có năng lực chỉ lộ ra khi mô hình được cho dùng công cụ như trình duyệt, môi trường chạy mã, hay được giao nhiệm vụ kéo dài nhiều bước.
Một khi mô hình đã phát hành rộng, nhất là khi trọng số được công bố cho ai cũng tải về, thì không thu hồi được. Vì vậy logic của đánh giá trước phát hành giống kiểm định thuốc hay kiểm định thiết bị điện: kiểm trước khi đưa ra thị trường, vì sửa sau tốn kém hơn nhiều và có thể không sửa được.
Câu hỏi then chốt trong các đánh giá này không phải "mô hình có biết thông tin nguy hiểm không" mà là "mô hình có nâng năng lực của người dùng lên đáng kể so với việc họ tự tìm trên mạng, trong sách, hay hỏi người khác không". Người làm đánh giá gọi đây là mức "nâng cao năng lực" (uplift). Một mô hình nhắc lại kiến thức có trong sách giáo khoa không đáng lo bằng một mô hình hướng dẫn được từng bước mà người không chuyên không thể tự làm.
Các mảng năng lực thường được đo
Các khung công bố công khai có cách đặt tên khác nhau, nhưng xoay quanh những mảng tương tự. Bảng dưới mô tả ở mức khái quát; chi tiết bài thử thường được giữ kín vì lý do an ninh.
| Mảng | Câu hỏi đánh giá | Cách đo điển hình |
|---|---|---|
| Vũ khí sinh học, hoá học, phóng xạ, hạt nhân | Mô hình có giúp người không chuyên vượt qua những bước khó nhất để tạo ra tác nhân nguy hiểm không | Câu hỏi chuyên môn do chuyên gia soạn; nghiên cứu so sánh nhóm có và không có mô hình hỗ trợ |
| An ninh mạng | Mô hình có tự tìm và khai thác lỗ hổng, viết mã tấn công hoạt động được không | Bài thử dạng cuộc thi an ninh mạng, môi trường giả lập có lỗ hổng |
| Tự chủ và tự nhân bản | Khi có công cụ, mô hình có tự hoàn thành nhiệm vụ dài, kiếm tài nguyên, sao chép chính nó không | Bộ nhiệm vụ nhiều bước trong môi trường cách ly, đo thời lượng nhiệm vụ mô hình làm được |
| Nghiên cứu AI tự động | Mô hình có tự làm được công việc của một kỹ sư nghiên cứu AI không | Nhiệm vụ lập trình, huấn luyện, tối ưu mô hình nhỏ có chấm điểm khách quan |
| Thuyết phục và thao túng | Mô hình có thay đổi quan điểm, hành vi con người hiệu quả bất thường không | Thí nghiệm có đồng ý của người tham gia, so với lập luận do người viết |
Mảng tự chủ là nơi ranh giới giữa rủi ro trước mắt và dài hạn mờ đi rõ nhất. Một mô hình làm được nhiệm vụ kéo dài vài giờ không cần người hỗ trợ vừa là công cụ năng suất hữu ích, vừa là bước tiến tới loại hệ thống mà các nhà nghiên cứu an toàn lo ngại nhất.
Khung an toàn và các ngưỡng hành động
Tháng 9 năm 2023, Anthropic công bố Chính sách mở rộng có trách nhiệm (Responsible Scaling Policy), lấy cảm hứng từ hệ thống cấp độ an toàn sinh học trong phòng thí nghiệm: mô hình càng có năng lực nguy hiểm thì càng phải được bảo vệ ở cấp cao hơn, cả về chống đánh cắp trọng số lẫn chống lạm dụng khi triển khai. Tháng 12 cùng năm, OpenAI công bố Khung chuẩn bị (Preparedness Framework) với các hạng mục rủi ro và mức độ. Tháng 5 năm 2024, Google DeepMind công bố Khung an toàn tiên phong với khái niệm các mức năng lực tới hạn. Các khung này đều đã được sửa đổi sau đó.
Logic chung của các khung là "nếu thì": nếu đánh giá cho thấy mô hình đạt một ngưỡng năng lực, thì phải áp dụng một bộ biện pháp tương ứng trước khi tiếp tục phát triển hay triển khai. Biện pháp có thể là tăng cường bảo mật để trọng số không bị đánh cắp, thêm bộ phân loại chặn các yêu cầu thuộc mảng nguy hiểm, giới hạn đối tượng được dùng, hoặc hoãn phát hành. Năm 2025, đã có trường hợp một công ty công bố kích hoạt cấp bảo vệ cao hơn cho mô hình mới như một biện pháp phòng ngừa, vì chưa loại trừ được khả năng mô hình chạm ngưỡng.
Ở hội nghị Seoul tháng 5 năm 2024, nhiều công ty cam kết công bố khung kiểu này. Ở châu Âu, nghĩa vụ đánh giá mô hình đa dụng có rủi ro hệ thống trong Đạo luật AI của EU đi theo cùng hướng. Đây là bước chuyển từ "tự hứa làm an toàn" sang "công bố trước tiêu chí để người ngoài kiểm".
Ai đánh giá và kết quả công bố ở đâu
Đội nội bộ của nhà phát triển. Phần lớn đánh giá do chính công ty làm, vì họ có quyền truy cập sớm và đầy đủ nhất. Điểm yếu hiển nhiên là xung đột lợi ích: công ty có động cơ thương mại để phát hành.
Tổ chức đánh giá độc lập. Một số tổ chức phi lợi nhuận chuyên đánh giá năng lực tự chủ và hành vi đáng ngại của mô hình, được nhà phát triển cho tiếp cận trước phát hành. Thẻ hệ thống của mô hình GPT-4 năm 2023 từng mô tả đánh giá của một nhóm như vậy về khả năng tự sao chép và kiếm tài nguyên.
Viện an toàn AI của nhà nước. Viện của Anh, Mỹ và một số nước có thoả thuận kiểm thử mô hình trước phát hành, đôi khi công bố kết quả chung. Đây là lần đầu cơ quan nhà nước có năng lực kỹ thuật kiểm tra trực tiếp mô hình tiên phong.
Nghiên cứu so sánh có đối chứng. Với các mảng khó đo bằng câu hỏi, như vũ khí sinh học, một số đánh giá chia người tham gia thành hai nhóm cùng làm một nhiệm vụ mô phỏng an toàn, một nhóm được dùng mô hình và một nhóm chỉ dùng internet. Chênh lệch kết quả giữa hai nhóm là thước đo trực tiếp nhất của mức nâng cao năng lực, nhưng loại nghiên cứu này tốn kém, cần phê duyệt đạo đức và chỉ làm được với số người nhỏ.
Thẻ hệ thống và báo cáo công khai. Kết quả tóm tắt thường được đăng trong thẻ hệ thống kèm mô hình. Người đọc nên tìm phần đánh giá năng lực nguy hiểm, xem đã đo những mảng nào, ai đo, kết luận mô hình ở mức nào so với ngưỡng, và có nêu giới hạn của phép đo không.
Giới hạn mà chính người làm đánh giá thừa nhận
Đánh giá năng lực nguy hiểm còn là khoa học non trẻ. Các báo cáo nghiêm túc thường tự nêu những giới hạn sau.
- Đo thấp hơn năng lực thật: bài thử chỉ đo được những gì đội đánh giá nghĩ ra cách khai thác; người dùng sáng tạo hơn, có nhiều thời gian hơn, hoặc dùng kỹ thuật nhắc lệnh tốt hơn có thể rút ra năng lực cao hơn.
- Năng lực tăng sau phát hành: công cụ mới, cách kết hợp mới, tinh chỉnh thêm có thể làm mô hình đã phát hành mạnh lên so với lúc đánh giá.
- Mô hình nhận ra mình đang bị thử: có báo cáo cho thấy mô hình đôi khi bình luận rằng tình huống trông giống một bài kiểm tra; nếu hành vi đổi theo, kết quả đánh giá kém đại diện.
- Ngưỡng khó định nghĩa: "nâng cao năng lực đáng kể" là khái niệm cần phán đoán chuyên gia, khó biến thành con số khách quan.
- Thiếu đa dạng ngôn ngữ: phần lớn bài thử bằng tiếng Anh; năng lực nguy hiểm khi dùng bằng ngôn ngữ khác, kể cả tiếng Việt, ít được đo riêng.
- Không bao phủ mô hình mở: với mô hình công bố trọng số, người dùng có thể tinh chỉnh bỏ lớp an toàn, nên đánh giá bản gốc không nói hết rủi ro.
Những giới hạn này không làm đánh giá mất giá trị; chúng nhắc rằng một kết quả "dưới ngưỡng" là thông tin hữu ích chứ không phải giấy chứng nhận an toàn tuyệt đối.
Điều này liên quan gì tới người dùng ở Việt Nam
Phần lớn người dùng Việt Nam tiếp cận AI qua các mô hình của công ty nước ngoài, nên các khung đánh giá này gián tiếp quyết định mô hình nào đến tay mình và kèm lớp bảo vệ nào. Khi một chatbot từ chối trả lời chi tiết về một số chủ đề hoá học hay sinh học, đó thường là hệ quả của bộ phân loại được thêm vào sau đánh giá năng lực nguy hiểm, không phải do mô hình "không biết".
Với nhà nghiên cứu và doanh nghiệp trong nước tự huấn luyện hoặc tinh chỉnh mô hình, đặc biệt mô hình mở, tinh thần của các khung này đáng học hỏi dù quy mô nhỏ: xác định trước những năng lực nào là đáng lo trong bối cảnh sản phẩm của mình, đo trước khi phát hành, ghi lại kết quả và quyết định có căn cứ. Đóng góp riêng có giá trị là bộ đánh giá bằng tiếng Việt cho các mảng như lừa đảo, thông tin sai về y tế, thao túng, nơi bối cảnh Việt Nam khác biệt rõ.
Với người đọc tin, khi thấy câu "mô hình đã được đánh giá an toàn", hãy hỏi: đánh giá mảng nào, ai làm, so với ngưỡng nào, có công bố giới hạn không. Bốn câu hỏi ấy giúp phân biệt một quy trình nghiêm túc với một khẩu hiệu.
Câu hỏi thường gặp
Mô hình AI có thật sự giúp được người chế tạo vũ khí sinh học không?
Đây chính là câu hỏi các đánh giá cố gắng trả lời, và kết quả công bố đến nay thường thận trọng. Một số báo cáo cho rằng các mô hình mới nhất đã tiến gần hoặc chưa loại trừ được khả năng chạm ngưỡng đáng lo, nên các công ty bổ sung biện pháp bảo vệ. Chi tiết bài thử được giữ kín để tránh chính nó trở thành tài liệu nguy hiểm.
Chính sách mở rộng có trách nhiệm có ràng buộc pháp lý không?
Phần lớn là cam kết tự nguyện do công ty tự công bố và tự sửa. Một số nghĩa vụ tương tự đã bắt đầu được đưa vào luật, như nghĩa vụ đánh giá mô hình đa dụng có rủi ro hệ thống ở EU. Giới quan sát thường phê phán rằng cam kết tự nguyện có thể bị nới lỏng khi áp lực cạnh tranh tăng.
Vì sao không công bố toàn bộ bài thử để mọi người cùng kiểm?
Vì một số bài thử, nhất là về vũ khí sinh học và tấn công mạng, tự nó chứa thông tin có thể bị lạm dụng, và công bố rộng cũng khiến mô hình sau dễ học thuộc đáp án. Cách dung hoà là công bố phương pháp, cấp truy cập có kiểm soát cho nhà nghiên cứu được thẩm định và viện an toàn của nhà nước.
Năng lực tự chủ của AI được đo bằng cách nào?
Thường bằng bộ nhiệm vụ nhiều bước trong môi trường cách ly: mô hình được cho máy tính ảo, công cụ, và một mục tiêu như sửa lỗi phần mềm hay dựng một dịch vụ. Người đánh giá đo tỉ lệ hoàn thành và độ dài nhiệm vụ mà mô hình làm được không cần người giúp, rồi theo dõi chỉ số này qua các thế hệ mô hình.
Doanh nghiệp nhỏ dùng AI có cần đánh giá năng lực nguy hiểm không?
Thường không cần ở mức của phòng thí nghiệm tiên phong, vì doanh nghiệp nhỏ chủ yếu dùng mô hình có sẵn. Tuy vậy nên đánh giá rủi ro theo sản phẩm của mình: chatbot có thể bị lợi dụng để lừa khách không, có làm lộ dữ liệu không, có đưa lời khuyên sai trong lĩnh vực nhạy cảm không. Ghi lại và kiểm định kỳ.
Mô hình mở trọng số có nguy hiểm hơn mô hình đóng không?
Đây là tranh luận lớn. Mô hình mở cho phép nghiên cứu, kiểm tra độc lập và phát triển tại chỗ, kể cả cho tiếng Việt, nhưng cũng cho phép gỡ bỏ lớp an toàn và không thu hồi được. Nhiều chuyên gia cho rằng câu trả lời phụ thuộc vào mức năng lực: mở mô hình yếu ít rủi ro, mở mô hình rất mạnh cần cân nhắc kỹ.