RESUMEN EJECUTIVO:
Cuando se trata de transformaciones digitales, la inteligencia artificial y las capacidades de aprendizaje automático presentan enormes oportunidades. Al mismo tiempo, también amplían la superficie de amenazas que los CISO y los profesionales de riesgos cibernéticos tienen que gobernar.
Para navegar con éxito este nuevo panorama, las organizaciones deben adoptar un enfoque holístico de la gestión de riesgos. La realidad es que los CISO ahora pueden necesitar que los equipos realicen ejercicios de equipo rojo contra modelos de IA y aplicaciones habilitadas para IA.
Los equipos específicos de AI red pueden identificar vulnerabilidades, probar defensas, mejorar la respuesta a incidentes, garantizar el cumplimiento y agregar valor a una estrategia integral de ciberseguridad.
La IA se está convirtiendo en un recurso para la toma de decisiones, la previsión financiera, el mantenimiento predictivo y muchas otras funciones empresariales. Prácticamente se está convirtiendo en parte del mobiliario, por así decirlo, en la pila de tecnología empresarial.
El campo de la gestión de riesgos de IA y la garantía de IA demostrará ser un dominio en crecimiento para los CISO y los líderes de seguridad cibernética en los próximos años. El modelado de amenazas y las pruebas de debilidades en las implementaciones de IA se convertirán en componentes esenciales de la gestión del riesgo de IA.
Los equipos de AI red pueden ayudar a proteger los sistemas de IA a través de ejercicios, modelos de amenazas y evaluaciones de riesgos. Dice científico de datos y experto en riesgos de IAt Patrick Hall, "Deberías hacer equipo rojo con tus modelos de aprendizaje automático. Debería realizar al menos los ataques de integridad y confidencialidad en sus propios sistemas de aprendizaje automático para ver si son posibles.”
Si bien eso puede ser lo ideal, implementar nuevos procesos y sistemas para administrar y ejecutar ejercicios de red team no es una tarea tan clara…
Empresas como Facebook y Microsoft han desarrollado AI red teams para explorar los riesgos en torno a sus entornos de amenazas de IA. Las empresas mencionadas anteriormente buscan comprender mejor sus riesgos de IA y sus capacidades de respuesta de seguridad.
Pero esta no es la norma. Y en la actualidad, existen pocas prácticas recomendadas estandarizadas de la industria que abogan por los equipos rojos de IA o que describen el alcance de un equipo rojo de IA ideal. Si bien existen recursos para investigar y descubrir los riesgos de la IA, aún no existe un marco cristalizado.
Para algunas organizaciones, un equipo de AI red podría participar en ataques regulares a modelos de IA. Para otras organizaciones, un equipo rojo de IA podría significar y hacer algo completamente diferente. Independientemente de la definición exacta de un equipo rojo de IA y las responsabilidades correspondientes, los riesgos impulsados por la IA existen y requieren atención profesional.
La lista completa de riesgos relacionados con la IA sigue sin estar escrita, pero algunos riesgos clave incluyen:
Si bien muchos de estos problemas pueden atribuirse a fallas en el diseño de la IA, amenazan los tres aspectos de la tríada de la CIA: confidencialidad, integridad y seguridad.
Si bien los riesgos de la IA pueden no plantear problemas serios para las organizaciones que recién están comenzando a integrar la inteligencia artificial en sus rutinas diarias, las organizaciones que utilizan la IA para respaldar decisiones serias o para funciones automatizadas de toma de decisiones deberían aprovechar los equipos rojos de IA.
Desarrollar un equipo rojo de IA es un trabajo pesado para la gran mayoría de los CISO de hoy en día. La ejecución efectiva de ejercicios del equipo rojo contra sistemas de inteligencia artificial exigirá un equipo interdisciplinario de expertos en seguridad, inteligencia artificial y ciencia de datos.
También requerirá una mejor visibilidad de los modelos de IA implementados por las empresas, incluidos los que se encuentran dentro del software de terceros. Más allá de eso, los equipos necesitarán medios para planificar mejoras de seguridad basadas en los hallazgos del equipo rojo.
El primer gran ataque cibernético a las herramientas de inteligencia artificial/aprendizaje automático probablemente atraerá la atención sobre el tema y ampliará el interés en torno al equipo rojo de IA. Pero los expertos dicen que no debe esperar hasta entonces para comenzar con las pruebas de inteligencia artificial…
Incluso si su organización no puede comenzar con las pruebas de IA en este momento, podría considerar seguir los pasos de la etapa inicial, como el modelado de amenazas. Esto permitirá a su organización ver lo que podría ser vulnerable, fácilmente vulnerado y/o interrumpido antes de un evento real.
Para obtener más información sobre inteligencia artificial y ciberseguridad, consulte CyberTalk.org cobertura pasada. ¿Quieres estar al día de las tendencias en tecnología? Echa un vistazo a la CyberTalk.org boletín de noticias! Regístrese hoy para recibir artículos de noticias de primer nivel, mejores prácticas y análisis de expertos; entregado directamente a su bandeja de entrada.
Post Por qué los ejercicios de red team para IA deberían estar en los radares de los CISO apareció primero en Charla cibernética.