Anthropic viết lại API cốt lõi bằng Claude, mức sử dụng CPU giảm 40% đến 50%

Động Sát Beating Tin nhanh AI, Katelyn Lesse, người phụ trách kỹ thuật nền tảng của Anthropic, tiết lộ trong cuộc phỏng vấn Latent Space rằng công ty đã chuyển Messages API từ Python sang Rust. Sau khi cải tạo, theo ước tính của bà, mức sử dụng CPU của dịch vụ API giảm khoảng 40% đến 50%, độ trễ phản hồi của Token đầu tiên được cải thiện khoảng 10% đến 20%.

Messages API là giao diện chính để các nhà phát triển gọi Claude. Khi lượng yêu cầu không ngừng tăng lên, dịch vụ nguyên khối Python ban đầu ngày càng tiêu tốn nhiều CPU, nhóm quyết định viết lại trực tiếp bằng Rust. Nhưng khi dự án khởi động, nhóm phụ trách di chuyển thậm chí không có một kỹ sư Rust nào.

Cuối cùng Claude đảm nhận phần viết mã chính, các kỹ sư con người phụ trách thiết kế kiến trúc và xác minh. Nhóm trước tiên xây dựng phiên bản Rust hoàn chỉnh, để hệ thống mới và cũ xử lý cùng các yêu cầu, so sánh từng đầu ra, rồi dần dần chuyển lưu lượng chính thức sang. Trong quá trình đó cũng tuyển thêm một vài kỹ sư có kinh nghiệm Rust.

Lesse cho biết, trước đây việc di chuyển với quy mô như vậy thường phải chia thành nhiều giai đoạn, mất nhiều năm. Lần này nhóm đã hoàn thành trực tiếp toàn bộ việc di chuyển API, và đã chính thức ra mắt toàn diện vào tháng 9.