‘Reemplazar a los humanos no está cerca’: BlockSec desafía la evaluación de EVMBench sobre la auditoría con IA
La reevaluación de EVMBench por parte de BlockSec sugiere que la IA aún no es capaz de automatizar completamente la auditoría de contratos inteligentes, a pesar de los informes iniciales optimistas.Resumen
Investigadores de BlockSec han desafiado los hallazgos de EVMBench, un punto de referencia de auditoría de contratos inteligentes impulsado por IA desarrollado por OpenAI y Paradigm, argumentando que sus resultados iniciales fueron demasiado optimistas. Si bien EVMBench informó altas tasas de éxito en la detección y explotación de vulnerabilidades, la reevaluación de BlockSec con más configuraciones e incidentes de ataque del mundo real mostró una tasa de éxito de explotación del 0%. Los investigadores atribuyen esta discrepancia a posibles problemas con las condiciones de prueba originales, incluida la contaminación de datos y un rango limitado de configuraciones de modelos. BlockSec descubrió que los agentes de IA detectan de manera confiable patrones conocidos, pero tienen dificultades con las vulnerabilidades novedosas, lo que destaca la necesidad continua del juicio humano en la auditoría. Enfatizan que el futuro de la auditoría de contratos inteligentes radica en la colaboración humano-IA, con la IA manejando los escaneos amplios y los humanos proporcionando análisis en profundidad y razonamiento adversarial.
(Fuente：The Block)