DeepSeek V4 Pro chạy 5 bộ Harness: Pi đạt tỷ lệ thành công cao nhất, DSH tiết kiệm chi phí nhất

Động sát Beating Tin nhanh AI, công ty công cụ Agent Composio đã đưa cùng một DeepSeek V4 Pro 0813 vào Pi Agent, DeepSeek Harness 0.1, Claude Code, OpenCode và Hermes Agent, đồng nhất bật max reasoning, chạy 30 tác vụ Agent đa bước.

Tỷ lệ vượt qua:

1. Pi Agent: 21/30
2. DeepSeek Harness: 20/30
3. Claude Code: 19/30
4. OpenCode: 19/30
5. Hermes Agent: 18/30

Trong 30 câu hỏi, 15 câu cả năm bên đều vượt qua, 7 câu cả năm bên đều trượt. 8 câu còn lại chỉ cần đổi Harness, kết quả sẽ đảo ngược.

Xếp hạng tốc độ:

1. Claude Code: 181,8 giây
2. DeepSeek Harness: 252,1 giây
3. Hermes Agent: 273,6 giây
4. OpenCode: 280,6 giây
5. Pi Agent: 362,9 giây

Chi phí thành công mỗi lần:

1. DeepSeek Harness: 0,028 USD
2. Pi Agent: 0,031 USD
3. OpenCode: 0,032 USD
4. Hermes Agent: 0,037 USD
5. Claude Code: 0,074 USD

Pi có tỷ lệ vượt qua cao nhất, Harness chính thức của DeepSeek tiết kiệm nhất, Claude Code nhanh nhất nhưng đắt nhất.

Composio trước đó đã dùng DeepSeek V4 Flash thực hiện bài kiểm tra tương tự, khi đó Pi cũng đạt tỷ lệ vượt qua cao nhất.