Động Sát Beating Tin nhanh AI, OpenRouter công bố nâng cấp thuật toán định tuyến suy luận mặc định. Trước đây chủ yếu chọn nhà cung cấp dịch vụ suy luận dựa trên giá cả, nay sẽ tổng hợp xem xét tốc độ, độ ổn định và chi phí gọi thực tế, không còn chỉ chọn nhà cung cấp rẻ nhất.
Phía chính thức đã thử nghiệm hơn 24 triệu yêu cầu. Kết quả cho thấy, thời gian phản hồi ký tự đầu tiên giảm 16,9%, thời gian hoàn thành toàn bộ yêu cầu giảm 19%, tỷ lệ yêu cầu gặp lỗi giới hạn tần suất giảm từ 7,1% xuống 3,8%. Cái giá phải trả là chi phí mỗi nghìn yêu cầu tăng khoảng 6%.
Thuật toán mới đã được đưa vào hoạt động, người dùng không cần điều chỉnh cấu hình. Tối ưu hóa lần này nhắm vào việc lựa chọn nhà cung cấp dịch vụ suy luận đứng sau cùng một mô hình, chứ không phải năng lực của bản thân mô hình.
