BlockBeats tin tức, ngày 27 tháng 6, CEO của Coinbase Brian Armstrong cho biết, nếu muốn duy trì chi tiêu AI ổn định trong khi lượng token sử dụng tăng theo cấp số nhân, chìa khóa không nằm ở việc đặt ra các rào cản sử dụng hoặc nhắc nhở chi tiêu, mà ở các mô hình mặc định, định tuyến và cơ chế bộ nhớ đệm tốt hơn. Coinbase đang thử nghiệm sử dụng các mô hình trọng số mở như GLM 5.2, Kimi 2.7 làm mặc định thông qua cổng LLM, đồng thời vẫn khuyến khích các kỹ sư chọn mô hình phù hợp theo nhiệm vụ. Ông cho biết, 91% nhân viên chưa bao giờ chạm đến giới hạn sử dụng, vì vậy công ty không chọn giảm hạn mức và tăng nhắc nhở, mà chuyển sang các mô hình mặc định có chi phí thấp hơn.
Về định tuyến mô hình, Coinbase sẽ tiền xử lý các prompt trong quy trình tùy chỉnh, và dựa trên tỷ lệ trúng bộ nhớ đệm cũng như giá mô hình, định tuyến nhiệm vụ đến mô hình phù hợp nhất. Ví dụ, giai đoạn lập kế hoạch có thể cần mô hình tiên tiến, nhưng giai đoạn thực thi sử dụng mô hình tiên tiến có thể là thừa thãi. Ông cho rằng, trong tương lai không nên để con người chọn mô hình, AI có thể tự động thực hiện nhiệm vụ này.
Armstrong cũng cho biết, bỏ lỡ bộ nhớ đệm là cách dễ nhất để đẩy chi phí lên cao. Tất cả các yêu cầu của Coinbase đều có khả năng nhận biết bộ nhớ đệm, nhằm tái sử dụng bộ nhớ đệm nóng càng nhiều càng tốt. Ví dụ, sau khi triển khai bộ nhớ đệm đúng cách, tỷ lệ trúng bộ nhớ đệm của LibreChat đã tăng từ 5% lên 60%. Ngoài ra, Coinbase cũng yêu cầu các kỹ sư giữ cho ngữ cảnh gọn nhẹ, bao gồm mở phiên mới khi chuyển nhiệm vụ, thu hẹp phạm vi ngữ cảnh tệp, ngắt kết nối các công cụ không sử dụng, v.v. Mục tiêu không phải là kìm hãm lượng sử dụng AI, mà là xây dựng cơ sở hạ tầng có thể hỗ trợ tăng trưởng theo cấp số nhân. Thông qua các thực tiễn trên, Coinbase đã cắt giảm gần một nửa chi tiêu AI, trong khi lượng token sử dụng vẫn tiếp tục tăng.
