Chạy mô hình ngôn ngữ trên máy cá nhân với tiếng Việt: cần gì, được gì, mất gì

Chạy mô hình ngôn ngữ trên máy cá nhân với tiếng Việt là làm được: một mô hình cỡ vài tỷ tham số, nén xuống 4 bit, chạy trên laptop có 16GB bộ nhớ hoặc máy có card đồ hoạ tầm trung, trả lời tiếng Việt đủ dùng cho việc soạn nháp, tóm tắt ngắn, sắp xếp ý. Đổi lại, nó kém xa các mô hình lớn trên dịch vụ đám mây ở kiến thức, lập luận nhiều bước và độ chính xác thông tin về Việt Nam, và tiếng Việt thường là thứ chịu thiệt đầu tiên khi mô hình bị nén mạnh.

Bài này dành cho người muốn thử vì lý do riêng tư, vì làm việc ở nơi mạng chập chờn, hoặc vì tò mò muốn hiểu mô hình. Nội dung gồm cách ước lượng máy cần gì, lượng tử hoá là gì và ảnh hưởng tiếng Việt ra sao, các loại công cụ phổ biến, một bộ câu thử để tự đánh giá, và những lưu ý an toàn khi tải mô hình về máy. Không có hướng dẫn cài đặt từng dòng lệnh, vì công cụ đổi phiên bản rất nhanh.

Vì sao người ta muốn chạy mô hình trên máy

Dữ liệu không rời khỏi máy. Đây là lý do mạnh nhất. Một luật sư muốn nhờ AI sắp xếp lại ghi chú vụ việc, một bác sĩ muốn soạn nháp thư cho đồng nghiệp, một kế toán muốn đọc nhanh bảng kê có tên khách hàng: tất cả đều ngại gửi lên dịch vụ ngoài. Mô hình chạy cục bộ không gửi dữ liệu đi đâu, miễn là phần mềm chạy nó không tự gửi.

Không phụ thuộc mạng và nhà cung cấp. Làm việc trên tàu, ở công trường, ở vùng sóng yếu vẫn dùng được. Dịch vụ đổi chính sách, đổi giá, tạm ngưng thì công việc không bị ảnh hưởng.

Chi phí cố định. Sau khi có máy, dùng bao nhiêu cũng không tính tiền theo lượt. Với người dùng nhiều mà việc đơn giản, đây là lợi thế; với người dùng ít, tiền máy thường đắt hơn tiền thuê dịch vụ.

Học và thử nghiệm. Sinh viên, kỹ sư muốn hiểu mô hình hoạt động ra sao, muốn thử tinh chỉnh, thử câu lệnh hệ thống, thử đo chất lượng tiếng Việt của nhiều mô hình mở mà không lo hoá đơn.

Giới hạn cần nói thẳng. Chạy trên máy không làm mô hình an toàn hơn về nội dung, không làm nó bớt bịa. Nó chỉ thay đổi chỗ dữ liệu đi qua. Một mô hình nhỏ bịa tên đơn vị hành chính thì vẫn bịa, dù chạy ở đâu.

Máy cần gì: phép tính bộ nhớ đơn giản

Yếu tố quyết định là bộ nhớ, không phải tốc độ bộ xử lý. Mỗi tham số của mô hình ở dạng gốc thường chiếm 2 byte. Một mô hình 7 tỷ tham số vì thế cần khoảng 14GB chỉ để nạp trọng số, chưa kể bộ nhớ cho ngữ cảnh hội thoại. Phần lớn laptop phổ thông không gánh nổi.

Lượng tử hoá nén mỗi tham số xuống ít bit hơn. Ở mức 4 bit, cùng mô hình 7 tỷ tham số còn khoảng 4 đến 5GB, cộng thêm phần ngữ cảnh thì máy có 8GB card đồ hoạ hoặc 16GB bộ nhớ chung là chạy được ở tốc độ đọc kịp. Đây là ví dụ ước lượng để hình dung; con số thực tế phụ thuộc kiểu nén, độ dài ngữ cảnh và phần mềm chạy.

Ngữ cảnh dài tốn bộ nhớ thêm, và với tiếng Việt điều này rõ hơn vì cùng một đoạn văn thường tốn nhiều mảnh hơn tiếng Anh. Nếu bạn định đưa vào máy một tài liệu tiếng Việt dài hai mươi trang, hãy tính dư bộ nhớ, hoặc chấp nhận chia nhỏ tài liệu. Máy dùng chip có bộ nhớ hợp nhất giữa CPU và GPU thường chạy thoải mái hơn laptop có card đồ hoạ rời ít bộ nhớ, dù chip kia trông yếu hơn trên giấy.

Lượng tử hoá và tiếng Việt

Nén mô hình không miễn phí: một phần thông tin trong trọng số bị làm tròn. Ở mức 8 bit, khác biệt thường khó nhận ra. Ở mức 4 bit, mô hình vẫn dùng được cho nhiều việc nhưng bắt đầu sai vặt nhiều hơn. Dưới 4 bit, chất lượng giảm nhanh và khó đoán.

Người dùng tiếng Việt hay gặp mấy kiểu lỗi khi dùng bản nén mạnh: sai dấu hoặc mất dấu ở một vài chữ, lặp lại cụm từ, chen chữ tiếng Anh hay tiếng Trung giữa câu tiếng Việt, xưng hô thay đổi giữa chừng. Một số nghiên cứu về lượng tử hoá mô hình đa ngôn ngữ ghi nhận các thứ tiếng ít dữ liệu bị ảnh hưởng nặng hơn tiếng Anh; điều này hợp lý về trực giác, vì phần năng lực tiếng Việt vốn mỏng hơn nên dễ bị làm tròn mất. Tuy vậy mức độ khác nhau rất nhiều giữa các mô hình và kiểu nén, nên đừng suy rộng.

Cách làm thực tế: nếu máy cho phép, chọn bản nén ít hơn của mô hình nhỏ hơn thay vì bản nén mạnh của mô hình lớn hơn, rồi so cả hai trên cùng bộ câu thử tiếng Việt. Có lúc mô hình nhỏ ở 8 bit viết tiếng Việt sạch hơn mô hình lớn hơn ở 3 bit, dù về lý thuyết mô hình lớn biết nhiều hơn.

Các loại công cụ phổ biến

Hệ sinh thái chạy mô hình cục bộ thay đổi nhanh. Dưới đây là các loại công cụ theo vai trò, kèm vài tên đang được dùng rộng rãi tại thời điểm viết, nhắc trung tính để bạn dễ tìm hiểu, không phải khuyến nghị.

• Thư viện chạy mô hình hiệu quả trên CPU và GPU phổ thông, tiêu biểu là llama.cpp, kèm định dạng tệp GGUF đóng gói trọng số đã lượng tử hoá. Phần lớn công cụ thân thiện hơn được xây trên nền này.
• Trình quản lý mô hình chạy bằng dòng lệnh, có giao diện lập trình cục bộ, ví dụ Ollama: tải mô hình bằng một lệnh, ứng dụng khác trên máy gọi vào như gọi một dịch vụ.
• Ứng dụng có giao diện đồ hoạ cho người không quen dòng lệnh, ví dụ LM Studio và một số ứng dụng mã nguồn mở khác: tìm mô hình, tải về, trò chuyện trong cửa sổ.
• Kho mô hình nơi các nhóm và cá nhân chia sẻ trọng số, phổ biến nhất là Hugging Face. Một mô hình gốc thường có hàng chục bản nén do người khác nhau làm.
• Mô hình nhúng chạy cục bộ để làm tìm kiếm trên tài liệu riêng, thường nhẹ hơn mô hình sinh chữ nhiều và chạy được cả trên máy yếu.

Trước khi dùng công cụ nào, đọc chính sách của nó về việc gửi dữ liệu thống kê, kiểm tra nó có gửi gì ra ngoài không, và kiểm tra phiên bản hiện hành vì tính năng thay đổi theo tháng.

Tự thử chất lượng tiếng Việt: một bộ câu hai mươi phút

Đừng chọn mô hình theo lời khen trên diễn đàn. Chuẩn bị khoảng hai mươi câu thử theo các nhóm dưới đây, chạy trên từng mô hình định dùng, ghi kết quả vào một bảng tính. Các câu là ví dụ giả định; hãy thay bằng việc thật của bạn.

Với mô hình nhỏ chạy cục bộ, đừng kỳ vọng vượt qua nhóm kiến thức Việt Nam. Điều quan trọng hơn là nó có biết nói không biết hay không. Một mô hình nhỏ thừa nhận giới hạn an toàn hơn nhiều một mô hình nhỏ bịa trơn tru.

Mô hình nhỏ làm được gì và không nên giao gì

Sau khi thử, phần lớn người dùng rút ra một ranh giới khá rõ cho mô hình vài tỷ tham số chạy cục bộ với tiếng Việt. Bảng dưới tổng hợp ranh giới ấy ở mức nguyên tắc, để bạn giao đúng việc ngay từ đầu.

Nguyên tắc chung: càng dựa vào chữ bạn đưa vào thì mô hình nhỏ càng đáng tin; càng dựa vào trí nhớ của chính nó thì càng phải nghi ngờ. Đây cũng là lý do nhiều người kết hợp mô hình cục bộ với tìm kiếm trên tài liệu riêng, để mô hình đọc rồi trả lời thay vì nhớ rồi trả lời.

An toàn khi tải mô hình về máy

Mô hình là tệp lớn tải từ Internet, và cần được đối xử như mọi phần mềm tải về. Ưu tiên bản phát hành từ tài khoản chính thức của nhóm làm mô hình hoặc từ người nén có uy tín được cộng đồng dùng nhiều. Định dạng chỉ chứa trọng số như GGUF hay safetensors an toàn hơn các định dạng cũ có thể chứa mã thực thi khi nạp.

Đọc giấy phép trước khi dùng cho công việc: một số mô hình mở chỉ cho phép dùng phi thương mại, một số yêu cầu ghi nguồn hoặc giới hạn quy mô người dùng. Dùng sai giấy phép trong sản phẩm của công ty là rủi ro pháp lý thật, dù mô hình tải miễn phí.

Cuối cùng, mô hình cục bộ không có lớp lọc nội dung như dịch vụ lớn, và không có ai cập nhật kiến thức cho nó. Đừng dùng câu trả lời của nó cho việc cần chính xác như pháp luật, y tế, tài chính mà không kiểm với nguồn chính thức. Khi đưa tài liệu nhạy cảm vào, hãy chắc rằng chính phần mềm chạy mô hình không đồng bộ lịch sử trò chuyện lên đám mây.

Câu hỏi thường gặp

Laptop văn phòng 8GB bộ nhớ có chạy được mô hình ngôn ngữ không?

Chạy được các mô hình rất nhỏ, khoảng một đến ba tỷ tham số ở bản nén, nhưng chất lượng tiếng Việt thường hạn chế: hợp với việc sửa câu, gợi ý ý tưởng ngắn, không hợp với việc cần kiến thức. Máy có 16GB trở lên hoặc có card đồ hoạ rời mới bắt đầu thoải mái.

Mô hình chạy trên máy có thật sự không gửi dữ liệu đi không?

Bản thân trọng số mô hình không gửi gì, nhưng phần mềm chạy nó có thể gửi thống kê sử dụng hoặc đồng bộ lịch sử. Đọc cài đặt quyền riêng tư của phần mềm, tắt các tuỳ chọn không cần, và nếu cần chắc chắn thì thử ngắt mạng khi dùng.

Nên chọn bản nén mấy bit cho tiếng Việt?

Nếu máy đủ, bắt đầu với bản 8 bit hoặc 6 bit để có chất lượng gần gốc, rồi thử xuống 4 bit và so trên cùng bộ câu tiếng Việt. Dưới 4 bit thường thấy rõ lỗi dấu, lặp từ và chen thứ tiếng khác.

Mô hình nhỏ chạy cục bộ có tóm tắt tài liệu tiếng Việt dài được không?

Được nếu tài liệu vừa với cửa sổ ngữ cảnh và bộ nhớ máy, nhưng chất lượng giảm khi tài liệu dài. Chia tài liệu thành từng phần, tóm tắt từng phần rồi gộp thường cho kết quả ổn hơn. Luôn đối chiếu số liệu và tên riêng với bản gốc.

Có mô hình mở nào chuyên cho tiếng Việt chạy được trên máy không?

Có một số mô hình mở được huấn luyện tiếp hoặc tinh chỉnh cho tiếng Việt và có bản nén chia sẻ trên các kho mô hình. Chất lượng và giấy phép khác nhau nhiều; hãy đọc thẻ mô hình và tự thử bằng bộ câu của mình thay vì tin lời giới thiệu.

Chạy mô hình trên máy có tốn điện và làm nóng máy không?

Có. Khi sinh chữ, máy dùng gần hết sức card đồ hoạ hoặc bộ xử lý nên nóng và tốn pin nhanh. Với laptop, cắm sạc khi dùng lâu và để máy nơi thoáng. Mức tiêu thụ điện so với dùng dịch vụ đám mây khó so trực tiếp vì máy chủ lớn chia sẻ cho rất nhiều người.