Lập luận chi phí giữa nội bộ và đám mây thường sai

Cứ vài tuần lại có người đưa tôi xem một bảng tính chứng minh rằng một chiếc GPU trong phòng máy chủ rẻ hơn API AI. Bảng tính đó thường sai, và thường sai theo cùng một hướng.

Tôi làm cả hai — triển khai nội bộ và xây dựng trên đám mây. Vậy nên hãy để tôi phản biện phương án đắt tiền trước.

Một ví dụ tính toán cụ thể

Lấy một đội 20 người hỏi đáp tài liệu trên kho tri thức nội bộ. Giả định sử dụng hợp lý:

• 40 câu hỏi mỗi người mỗi ngày làm việc
• 20 ngày làm việc mỗi tháng
• Mỗi câu hỏi truy xuất vài đoạn văn bản: khoảng 8.000 token đầu vào
• Mỗi câu trả lời khoảng 400 token đầu ra

Tổng cộng 16.000 lượt truy vấn mỗi tháng — 128 triệu token đầu vào và 6,4 triệu token đầu ra.

Với mức giá của một mô hình tầm trung (tạm tính 3 USD mỗi triệu token đầu vào, 15 USD mỗi triệu token đầu ra — hãy kiểm tra giá hiện hành, chúng thay đổi liên tục):

Bên phía nội bộ: một máy trạm với một card 48GB, mua hoặc lắp hợp lý, rơi vào khoảng 6.000–12.000 USD. Tiền điện ở mức trung bình 150W là khoảng 110 kWh, tức khoảng 15 USD mỗi tháng. Tạm tính phần cứng là 8.000 USD.

Điểm hòa vốn rơi vào khoảng 17 tháng — và đó là chưa tính công sức của ai cả.

Những khoản không bao giờ có trong bảng tính

Con số 8.000 USD là phần trung thực nhất của ước tính nội bộ. Những gì bị bỏ sót:

• Phải có người chịu trách nhiệm. Cập nhật mô hình, nâng cấp driver, một hệ thống phục vụ thay đổi liên tục, và một lỗi hết bộ nhớ lúc 4 giờ chiều thứ Sáu. Dù chỉ vài giờ mỗi tháng, đó vẫn là tiền thật.
• Bạn trả tiền cho công suất nhàn rỗi. Đám mây tính tiền theo 16.000 truy vấn. GPU tính tiền theo 730 giờ, dùng hay không cũng vậy. Phần lớn công cụ nội bộ có đường cong sử dụng rất lệch — cao điểm lúc 9 giờ sáng, vắng vẻ sau 5 giờ chiều, không có gì vào cuối tuần.
• Bạn đang mua mô hình của hôm nay. Chi phí đầu tư giả định phần cứng vẫn đủ dùng. Nếu mô hình bạn thật sự cần trong 18 tháng nữa không vừa với 48GB, bài toán hòa vốn phải tính lại từ đầu.
• Giá đám mây đang giảm. Mọi so sánh tôi từng thực hiện đều trở nên bất lợi hơn cho phương án nội bộ trong khoảng thời gian từ lúc lập ước tính đến lúc khách hàng ra quyết định.

Tính hết những khoản đó, điểm hòa vốn thực tế cho một đội quy mô này thường là hai năm trở lên. Với một đội năm người, có thể nó không bao giờ đến.

Vậy tại sao tôi vẫn triển khai nội bộ?

Bởi vì chi phí chưa bao giờ là lý do thật sự. Những lý do thật sự đứng vững:

Dữ liệu về mặt pháp lý không được rời khỏi hệ thống. Hồ sơ vụ việc được bảo hộ. Hồ sơ bệnh nhân thuộc diện cần thỏa thuận mà nhà cung cấp không chịu ký. Tài chính khách hàng theo hợp đồng có trước cả khi API AI tồn tại. Đây không phải sở thích để tối ưu — đó là ràng buộc, và nó kết thúc cuộc thảo luận.

Tính dự đoán được quan trọng hơn hiệu quả. Một chi phí cố định hàng tháng có thể đưa vào ngân sách đôi khi có giá trị hơn một chi phí biến đổi thấp hơn về trung bình. Điều này không hề phi lý; đó là cách ngân sách đầu tư vận hành.

Khối lượng làm thay đổi cục diện. Mọi thứ ở trên giả định 16.000 truy vấn mỗi tháng. Ở mức 16.000 mỗi ngày, phép tính đảo chiều hoàn toàn và phương án nội bộ thắng tuyệt đối. Các tác vụ phân loại, trích xuất và tạo embedding khối lượng lớn mới là nơi hạ tầng nội bộ nhanh chóng hoàn vốn — không phải chat.

Ngưỡng sàn về độ trễ và khả năng sẵn sàng. Không truyền dữ liệu ra ngoài, không giới hạn tốc độ, không phụ thuộc trang thông báo sự cố của nhà cung cấp. Với một công cụ tương tác được dùng liên tục bởi những người tính phí theo giờ, độ trễ ở phần đuôi quan trọng hơn độ trễ trung bình.

Không rủi ro chính sách từ nhà cung cấp. Điều khoản thay đổi. Mô hình bị ngừng hỗ trợ. Mô hình nền bạn tinh chỉnh biến mất. Nếu quy trình của bạn có tầm nhìn năm năm, đó là rủi ro thật cần được định giá.

Điều tôi thật sự khuyến nghị

Hãy bắt đầu bằng API đám mây, trừ khi có ràng buộc cấm điều đó. Bạn sẽ hiểu quy trình thật sự cần gì trong vài tuần thay vì vài quý, với chi phí vài trăm đô la, và mã ứng dụng gần như không đổi khi bạn chuyển sang hạ tầng khác.

Sau đó hãy đưa tác vụ về nội bộ khi một trong những lý do thật sự xuất hiện — một ràng buộc tuân thủ, một đường cong khối lượng, một ngưỡng độ trễ. Không phải vì một bảng tính nói rằng 480 USD lớn hơn 15 USD.

Nói thẳng ra: nếu lý do duy nhất để chạy nội bộ là chi phí, nhiều khả năng bạn đang mua GPU để giải quyết một vấn đề mà bạn chưa có.