cloud-riders.ES AI (IA),Seguridad Ataque a los sistemas de IA de aprendizaje automático

Ataque a los sistemas de IA de aprendizaje automáticoAtaque a los sistemas de IA de aprendizaje automático

Hola a todos!

Publicamos una noticia del blog de seguridad de Microsoft del 29 de julio.

Hoy, estamos lanzando MLSEC.IO, una competencia educativa de evasión de seguridad de aprendizaje automático (MLSEC) para que las comunidades de inteligencia artificial y seguridad ejerzan su fuerza para atacar sistemas críticos de inteligencia artificial en un entorno realista. Organizada y patrocinada por Microsoft, junto con NVIDIA, CUJO AI, VM-Ray y MRG Effitas, la competencia recompensa a los participantes que evaden de manera eficiente los detectores de malware basados ​​en IA y los detectores de phishing basados ​​en IA.

El aprendizaje automático impulsa aplicaciones críticas en prácticamente todas las industrias: finanzas, atención médica, infraestructura y ciberseguridad. Microsoft está viendo un repunte de ataques a sistemas comerciales de IA que podrían comprometer las garantías de confidencialidad, integridad y disponibilidad de estos sistemas. Los casos conocidos públicamente documentados por el marco ATLAS de MITRE muestran cómo con la proliferación de sistemas de inteligencia artificial aumenta el riesgo de que el aprendizaje automático que alimenta estos sistemas pueda manipularse para lograr los objetivos de un adversario. Si bien los riesgos son inherentes a todos los modelos de aprendizaje automático implementados, la amenaza es especialmente explícita en la ciberseguridad, donde se confía cada vez más en los modelos de aprendizaje automático para detectar las herramientas y los comportamientos de los actores de amenazas. Las encuestas de mercado han indicado consistentemente que la seguridad y la privacidad de los sistemas de IA son las principales preocupaciones de los ejecutivos. Según la encuesta de CCS Insight a 700 líderes sénior de TI en 2020, la seguridad es ahora el mayor obstáculo que enfrentan las empresas con la IA, citado por más del 30 % de los encuestados1.

Sin embargo, los profesionales de la seguridad no saben cómo superar este nuevo obstáculo. Una encuesta reciente de Microsoft encontró que 25 de 28 organizaciones no tenían las herramientas adecuadas para proteger sus sistemas de IA. Si bien los investigadores académicos han estado estudiando cómo atacar los sistemas de IA durante casi dos décadas, la conciencia entre los profesionales es baja. Es por eso que una recomendación para los líderes empresariales del informe de Gartner de 2021 sobre las 5 prioridades principales para gestionar el riesgo de IA dentro del marco MOST de Gartner publicado2 es que las organizaciones «Impulsen la conciencia del personal en toda la organización al liderar una campaña formal de educación sobre el riesgo de IA».

Es fundamental democratizar el conocimiento para asegurar los sistemas de IA. Es por eso que Microsoft lanzó recientemente Counterfit, una herramienta que nació de nuestra propia necesidad de evaluar los sistemas de IA de Microsoft en busca de vulnerabilidades con el objetivo de proteger de manera proactiva los servicios de IA. Para aquellos que son nuevos en el aprendizaje automático contradictorio, NVIDIA lanzó MINTNV, un entorno de estilo hack-the-box para explorar y desarrollar sus habilidades.

Participar en MLSEC.IO:

Con el lanzamiento hoy de MLSEC.IO, nuestro objetivo es resaltar cómo los atacantes motivados pueden evadir los modelos de seguridad y permitir que los profesionales ejerciten sus músculos atacando sistemas críticos de aprendizaje automático utilizados en ciberseguridad.

“Hay una falta de conocimiento práctico sobre cómo proteger o atacar los sistemas de inteligencia artificial en la comunidad de seguridad. Competiciones como MSLEC de Microsoft democratizan el conocimiento de aprendizaje automático adversario para las comunidades de seguridad ofensivas y defensivas, así como para la comunidad de aprendizaje automático. El enfoque práctico de MLSEC es un emocionante punto de entrada a AML”.—Christopher Cottrell, AI Red Team Lead, NVIDIA

La competencia incluye dos desafíos que comienzan el 6 de agosto y finalizan el 17 de septiembre de 2021: una pista de evasión antimalware y una pista de evasión antiphishing.

  • Pista de evasión antiphishing: el aprendizaje automático se usa habitualmente para detectar una técnica de atacante altamente exitosa para obtener información inicial a través del phishing. En esta pista, los concursantes juegan el papel de un atacante e intentan evadir un conjunto de modelos anti-phishing. Los modelos de aprendizaje automático de phishing, creados a medida por CUJO AI, están diseñados específicamente para esta competencia únicamente.
  • Pista de evasión de antimalware: este desafío proporciona un escenario alternativo para los atacantes que desean eludir el antivirus basado en el aprendizaje automático: cambiar un binario malicioso existente de una manera que lo oculte del modelo antimalware.

demás, para cada una de las pistas de Attacker Challenge, la presentación con la puntuación más alta que amplíe y aproveche Counterfit, la herramienta de código abierto de Microsoft para investigar la seguridad de los modelos de aprendizaje automático, recibirá un premio adicional.

“El desafío de la evasión de la seguridad crea nuevos caminos hacia la ciberseguridad y abre el acceso a una base más amplia de talentos. Este año, para reducir las barreras de entrada, estamos presentando el desafío del phishing, al mismo tiempo que alentamos encarecidamente a las personas sin experiencia significativa en malware a participar”.—Zoltan Balazs, director del laboratorio de investigación de vulnerabilidades de CUJO AI y cofundador de la competencia.

Detalles clave de la competencia:

  • La competencia se realizará del 6 de agosto al 17 de septiembre de 2021. La inscripción permanecerá abierta durante la duración de la competencia.
  • Los ganadores serán anunciados el 27 de octubre de 2021 y contactados por correo electrónico.
  • Se otorgarán premios para el primer lugar, menciones honoríficas, así como un premio extra para cada una de las dos pistas.

Espero que os resulte útil.

Un saludo

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Related Post