Muse Spark Open của Meta: mô hình mở 816B có ý nghĩa gì cho triển khai nội bộ
Ngày 15 tháng 10, Meta công bố trọng số của Muse Spark Open: một mô hình mixture-of-experts 816 tỷ tham số, mỗi token chỉ kích hoạt 42B, cửa sổ ngữ cảnh tối đa 1 triệu token, và nhận đầu vào hình ảnh, video, âm thanh. Meta gọi đây là mô hình trọng số mở mạnh nhất của Mỹ đến nay. Trọng số có trên Hugging Face và trong danh mục mô hình của AWS, Google Cloud và Azure.
Khách hàng đã bắt đầu hỏi có nên chạy nó không. Câu trả lời ngắn: có lẽ chưa nên. Dưới đây là lý do, và khi nào thì nó hợp lý.
Chi phí phần cứng
Mô hình mixture-of-experts rẻ khi chạy trên mỗi token, vì mỗi bước chỉ 42B tham số hoạt động. Nhưng không rẻ khi chứa. Mọi expert đều phải nằm trong bộ nhớ, nên bạn trả cho đủ 816B:
| Độ chính xác | Riêng trọng số (ước tính) |
|---|---|
| 16-bit | ~1,6 TB |
| 8-bit | ~820 GB |
| 4-bit | ~410 GB |
Đó là chưa tính KV cache. Ngữ cảnh 1 triệu token là con số quảng cáo, nhưng ngữ cảnh dài tốn thêm bộ nhớ ngoài trọng số, nên triển khai thực tế sẽ dùng ít hơn nhiều.
Ở 4-bit, lựa chọn thực tế là một máy chủ nhiều GPU, khoảng 8 card 80 GB trở lên, hoặc hai máy bộ nhớ hợp nhất dung lượng lớn (đã có người báo chạy được trên hai Mac Studio 512 GB). Cả hai đều đủ để demo. Nhưng không phải loại máy mà phần lớn doanh nghiệp vừa và nhỏ muốn mua, cấp điện và bảo trì cho một đội 20 người.
So với nhóm mô hình chạy trên một GPU: với phần lớn bài toán hỏi đáp tài liệu, một pipeline truy xuất tốt trên mô hình cỡ 30B cho câu trả lời tốt hơn một mô hình khổng lồ với truy xuất yếu. Chúng tôi đã phân tích điều này trong RAG thực sự hiệu quả, và bản phát hành này không thay đổi điều đó.
Đọc giấy phép trước khi đọc benchmark
Muse Spark Open là trọng số mở, không phải mã nguồn mở. Nó đi kèm giấy phép riêng của Meta, Muse Model License. Các điều khoản được đưa tin gồm:
- Dùng thương mại miễn phí đến 20 triệu USD doanh thu; vượt mức đó cần thỏa thuận riêng.
- Sản phẩm phải hiển thị “Built with Muse Spark Open.”
- Được tinh chỉnh, chưng cất và phân phối lại, nhưng kèm các điều kiện mà giấy phép mã nguồn mở thông thường không có, trong đó có giới hạn độ tuổi 18+.
Với doanh nghiệp trong ngành bị quản lý, mức trần doanh thu và yêu cầu gắn nhãn không phải chi tiết nhỏ. Bộ phận pháp lý phải duyệt. Nếu muốn mô hình của Meta không ràng buộc, mô hình Muse Glimmer (30B) riêng biệt dùng Apache 2.0 và chạy được trên phần cứng nhỏ hơn nhiều.
Chính benchmark của Meta cũng xếp Muse Spark Open sau các mô hình trọng số mở hàng đầu của Trung Quốc. Với một số khách hàng, nguồn gốc mô hình quan trọng không kém điểm số, nên đây là một lựa chọn thực sự. Nhưng nó không phải mô hình có điểm số cao nhất.
Vậy ai nên chạy nó?
- Có lẽ nên: tổ chức đã vận hành suy luận nhiều GPU, có dữ liệu không được rời khỏi tòa nhà, và cần ngữ cảnh đa phương thức dài (video, âm thanh, khối lượng lớn tài liệu trong một lần).
- Có lẽ không: phần lớn các đội mà nhu cầu thật là hỏi đáp có căn cứ trên tài liệu của chính mình. Mô hình nhỏ hơn với truy xuất tốt rẻ hơn, nhanh hơn và dễ vận hành hơn.
- Chờ thêm: tất cả những người còn lại. Bản lượng tử hóa, hỗ trợ từ các engine suy luận và đánh giá độc lập luôn xuất hiện trong vài tuần sau một bản phát hành như thế này. Hãy để chúng ổn định trước khi mua phần cứng.
Câu chuyện lớn hơn là trọng số mở ở quy mô hàng đầu tiếp tục xuất hiện mỗi tháng. Câu hỏi khó với doanh nghiệp không còn là “có kiếm được mô hình mạnh không?” mà là “chạy ổn định tốn bao nhiêu, và chúng ta được phép làm gì với nó?” Câu hỏi đó vẫn cần được trả lời bằng con số thật cho chính khối lượng công việc của bạn.