‘替换人类还为时过早’:BlockSec 挑战 EVMBench 对 AI 审计的评估
内容摘要
BlockSec 的研究人员对 OpenAI 和 Paradigm 开发的 AI 驱动的智能合约审计基准 EVMBench 的结果提出了挑战,认为其最初的结果过于乐观。虽然 EVMBench 报告在检测和利用漏洞方面取得了很高的成功率,但 BlockSec 使用更多配置和真实世界的攻击事件进行重新测试,结果显示漏洞利用成功率为 0%。研究人员认为,这种差异可能与原始测试条件存在潜在问题有关,包括数据污染和有限的模型配置范围。BlockSec 发现 AI 代理可以可靠地检测出已知的模式,但在处理新型漏洞时遇到困难,这凸显了审计中持续需要人工判断的重要性。他们强调,智能合约审计的未来在于人机协作,人工智能负责广泛扫描,而人类提供深入分析和对抗性推理。
(来源:The Block)