「人間の代替はまだ先」：BlockSec が AI 監査に関する EVMBench の評価に異議を唱える
The Block
BlockSec による EVMBench の再評価により、当初の楽観的な報告にもかかわらず、AI はまだスマートコントラクト監査を完全に自動化できる段階にはないことが示唆されました。概要
BlockSec の研究者らは、OpenAI と Paradigm が開発した AI 搭載のスマートコントラクト監査ベンチマークである EVMBench の結果に異議を唱え、当初の評価は楽観的すぎると主張しています。EVMBench は、脆弱性の検出と悪用において高い成功率を報告していましたが、BlockSec はより多くの構成と実際の攻撃事例を用いた再テストの結果、悪用成功率は 0% でした。研究者らは、この違いは、データ汚染やモデル構成の範囲の制限など、元のテスト条件に問題があった可能性があると考えています。BlockSec は、AI エージェントが既知のパターンを確実に検出できる一方で、新しい脆弱性に対しては苦戦していることを発見し、監査において人間の判断が引き続き必要であることを強調しています。彼らは、スマートコントラクト監査の未来は、AI が広範なスキャンを担当し、人間が詳細な分析と敵対的推論を提供する、人間と AI の協力にあると強調しています。
(出典：The Block)