ChatGPT tăng tốc độ tải hội thoại siêu dài lên 94%: 741 vòng đối thoại giảm từ 28 giây xuống còn 2 giây

Theo Động Sát Beating theo dõi, OpenAI đang chuẩn bị tối ưu hóa trải nghiệm hội thoại siêu dài cho ChatGPT và Codex, sẽ ra mắt vào tuần tới. Sau khi thử nghiệm nội bộ một cuộc trò chuyện khổng lồ với 741 vòng, 231MB, thời gian mở trung bình đã giảm từ 27,62 giây xuống còn 1,66 giây, tốc độ tải tăng khoảng 94%.

Lần tối ưu này chủ yếu nhắm vào việc tải lịch sử trò chuyện, không phải cải thiện tốc độ phản hồi của mô hình. Trong thử nghiệm, số mục hội thoại cần tải đã giảm từ 15.529 xuống còn 64, số lần yêu cầu giảm từ 894 xuống còn 16, và mức tăng bộ nhớ của toàn bộ ứng dụng cũng giảm 41,2%.

Đối với người dùng sử dụng ChatGPT hoặc Codex lâu dài, điều này có thể giảm đáng kể thời gian chờ khi mở các cuộc trò chuyện cũ. Trước đây, một chuỗi hội thoại siêu dài càng trò chuyện càng lag, nguyên nhân chính là do phía máy khách cần xử lý một lượng lớn tin nhắn lịch sử; lần này OpenAI đã trực tiếp giảm lượng dữ liệu cần tải.