¿Qué es la detección de anomalías con IA?

El objetivo de la detección de anomalías es detectar errores en los datos. Pero a medida que las organizaciones recopilan más información en más y más lugares, descubrir desviaciones de la norma puede ser extremadamente difícil. Introduce la IA. Ahora, se pueden escanear rápidamente grandes conjuntos de datos para encontrar patrones que se salgan de la norma y, por lo tanto, detectar anomalías. La detección de anomalías basada en IA es útil para detectar fraudes financieros, ciertas condiciones médicas e intrusiones en la red, entre muchas otras aplicaciones.

¿Qué es la detección de anomalías con IA?

La detección de anomalías con IA es un proceso en el que un modelo de inteligencia artificial revisa un conjunto de datos y marca los registros que se consideran valores atípicos respecto a una base de referencia, que representa un comportamiento normal y sirve como punto de partida para la comparación. La base de referencia esperada para un conjunto de datos se establece durante el proceso de entrenamiento del modelo, combinando datos históricos, expectativas del sector y objetivos del proyecto.

La detección de anomalías se puede realizar con análisis de datos tradicionales, pero se basa en reglas establecidas manualmente. El alcance estático y específico de esas reglas crea limitaciones que pueden superarse con la capacidad del modelo de IA para evolucionar y adaptarse a lo largo del tiempo. La detección de anomalías de IA también se puede llevar a cabo sin datos de referencia en los casos en que el sistema procesa datos semisupervisados y no supervisados.

La detección de anomalías tiene aplicaciones operativas y específicas del sector; entre los ejemplos se incluyen el análisis de transacciones con tarjetas de crédito, registros de seguridad y datos de producción. A medida que las organizaciones adoptan un panorama de TI de entornos multinube y proyectos de IA generativa (GenAI), la detección de anomalías con IA se vuelve aún más útil. Para los departamentos de TI que confían en la multinube, por ejemplo, las complejidades nativas del entorno (varias capas y tipos de protocolos de seguridad, diferentes configuraciones y API personalizadas para la interoperabilidad) significan que un modelo de IA puede ayudar a simplificar y mejorar la detección de problemas.

Conclusiones clave

• La IA puede mejorar la velocidad, la precisión y la aplicabilidad de la detección de anomalías.
• Si bien la detección tradicional de anomalías basada en reglas requiere una actualización frecuente, mientras que el método basado en IA puede adaptarse automáticamente a nuevos patrones y tendencias.
• Al entrenar la GenAI con datos sintéticos, la detección de anomalías con IA puede resaltar valores atípicos. De esta forma, los hallazgos pueden sentar las bases para crear nuevos conjuntos de datos generados de forma sintética.
• La detección de anomalías con IA también puede contribuir a validar conjuntos de datos sintéticos utilizados con fines de entrenamiento.

Detección de anomalías con IA en detalle

La detección de anomalías tiene sus orígenes en la estadística, particularmente en aplicaciones industriales de fabricación a principios del siglo XX. Los criptógrafos utilizaban la detección manual de anomalías para descifrar códigos observando patrones inusuales o desviaciones de la distribución estadística esperada de letras o símbolos. A medida que los datos se volvían más abundantes, la detección de anomalías computarizada se convirtió en la norma para áreas como identificación de casos de fraude, gestión de inventarios y control de calidad.

La detección de anomalías con IA cambia el proceso, que pasa de un conjunto estático de reglas estadísticas a un modelo más flexible entrenado para crear una base de referencia de lo que se entiende como "normal". Al entrenarse con datos, el modelo de IA ofrece una definición más precisa y acotada de los datos esperados, y cuanto más datos procesa, más precisa se vuelve. Esto permite desarrollar un modelo que refleja mejor las múltiples facetas de cada aplicación y brilla para usos complejos, como la supervisión de dispositivos del Internet de las cosas (IoT) y otros sistemas que generan muchos datos y donde las relaciones entre los puntos de datos no siempre son obvias.

La IA generativa ofrece un ejemplo de cómo la detección de anomalías de IA puede beneficiar a una variedad de proyectos y servicios. Casi todos los proyectos IA generativa son factibles tan solo por los avances que se han producido en la recopilación, el almacenamiento y el procesamiento de datos. Si bien la detección tradicional de anomalías basada en reglas se puede aplicar a estos proyectos, a menudo carece de la precisión y la capacidad de captar los matices para procesar de forma limpia volúmenes tan grandes de datos. Por lo tanto, la detección de anomalías de IA puede ser una necesidad en la transformación y normalización de datos de entrenamiento de fuentes de datos, detectar valores atípicos, detectar sesgos en los datos e incluso ayudar a generar datos sintéticos para el entrenamiento de algoritmos.

Cómo funciona la detección de anomalías con IA

El proceso de detección de anomalías con IA es muy similar al proceso que sigue cualquier modelo de IA: necesita abastecimiento, entrenamiento e iteración de datos. La principal diferencia está en los objetivos específicos, ya que la detección de anomalías se centra en valores atípicos. Los pasos generales para la detección de anomalías de IA son los siguientes:

1. Recopilación y preprocesamiento de datos: al igual que otros proyectos de IA, la detección de anomalías de IA comienza con la configuración de la dirección de un proyecto. En primer lugar, los objetivos generales del proyecto requieren una definición: ¿cuál es el estado normal de los datos y cuál es el alcance de los datos que se deben considerar? A partir de ahí, los equipos deben identificar las fuentes de datos para la formación y establecer un repositorio para recopilar y clasificar datos, ¿qué registros son anómalos y cuáles no? Las organizaciones pueden simplificar este proceso de creación de datos de entrenamiento, automatizando las transformaciones de fuente y el repositorio de entrenamiento.
2. Selección de un algoritmo: en lugar de centrarse únicamente en objetivos generales, los equipos pueden considerar metas y restricciones más precisos para seleccionar funciones, identificar atributos y elegir el mejor algoritmo para cada situación concreta. Para la detección de anomalías, la estadística (regresión), el agrupamiento (K-medias) y las redes neuronales se combinan de forma excelente. Todos los algoritmos utilizados para la detección de anomalías de IA intentan categorizar los registros de datos. Los más exitosos a menudo usan redes neuronales que clasifican los datos de maneras complejas. Por ejemplo, las transacciones financieras pueden clasificarse como típicas para una cuenta o un valor alto. A continuación, podrían clasificarse como originarios de ubicaciones esperadas o de una nueva ubicación y podrían clasificarse como gastos típicos o inusuales. Cuando dos estados anómalos coinciden en una sola transacción, podría ser fraudulento. Cuando se dan las tres condiciones, es probable que sea fraudulento. A través del entrenamiento, la IA puede realizar este tipo de análisis en muchas categorías y aplicar ponderaciones para ayudar a decidir cuándo se debe seguir comprobando una transacción.
3. Formación y selección de modelos: con esas piezas en su lugar, los equipos pueden comenzar a entrenar un modelo. Los pasos incluyen establecer la arquitectura, elegir un modelo básico disponible, preparar los datos de entrenamiento y ejecutarlos a través del modelo. A continuación, los equipos utilizarán otro conjunto de datos para probar el modelo entrenado y evaluar en qué medida detecta las anomalías. El entrenamiento se seguirá realizando hasta que el modelo funciona como se desee. Dependiendo del algoritmo subyacente, el modelo puede seguir aprendiendo de los datos activos para seguir mejorando con el tiempo.
4. Detección de procesamiento en tiempo real frente a procesamiento por lotes: en función de la aplicación, la detección de anomalías de IA puede funcionar en tiempo real o procesar datos en grandes lotes. La detección en tiempo real puede exigir que importantes recursos informáticos y de procesamiento se dediquen al proceso. A cambio, la detección en tiempo real produce resultados rápidamente, pero estos pueden ser menos útiles y detallados que los proporcionados desde el entorno controlado del procesamiento por lotes. Por lo tanto, la detección en tiempo real puede sacrificar la detección de anomalías sutiles en favor de la velocidad.

Ventajas de la detección de anomalías con IA

La detección de anomalías con IA representa un salto significativo frente la detección tradicional basada en reglas. Los sistemas basados en IA pueden requerir una infraestructura informática más sólida, pero normalmente tendrán un rendimiento mucho mejor. Los siguientes son algunos de los beneficios más comunes de la detección de anomalías de IA:

• Mejora de la precisión y exactitud: las redes neuronales debidamente entrenadas desarrollan miles de categorías o clústeres y llegan a comprender cómo la pertenencia a esos clústeres puede señalar datos interrelacionados. El resultado es la capacidad de detectar errores de datos que nunca se encontrarían con reglas escritas por humanos. Estos modelos identifican anomalías más sutiles y disponen del contexto adecuado para elaborar juicios. Todo esto se combina para un proceso de detección más preciso.
• Escalabilidad: la IA no solo puede manejar los conjuntos de datos grandes —también pueden hacerlo los sistemas basados en reglas—, sino también los más complejos. En los algoritmos actuales para conjuntos de datos muy grandes y muy complejos, se crean representaciones vectoriales para cada registro complejo. Luego, se utilizan las búsquedas de similitud para encontrar los adyacentes más próximos. Si los adyacentes más cercanos al vector están en un grupo conocido por contener registros fraudulentos, es casi seguro que el registro que se está considerando también los contenga. Este enfoque puede escalar a conjuntos de datos con miles de millones de registros, cada uno con datos complejos.
• Capacidades de supervisión en tiempo real: el mismo enfoque que permite que los sistemas de detección funcionen a escala también les permitirá trabajar a ritmo. Las búsquedas de similitud se pueden realizar muy rápidamente, incluso con datos complicados.
• Mejora de la adaptabilidad a los patrones cambiantes: los algoritmos que crean clústeres de registros pueden detectar potenciales anomalías nuevas mediante la búsqueda de nuevos clústeres de registros. Estos pueden representar nuevas anomalías, pero también simplemente un cambio en lo que se está registrando. Por ejemplo, pongamos que un producto de una tienda se vuelve viral en redes sociales; se creará un nuevo clúster dentro de los datos. En este ejemplo, la anomalía es beneficiosa. El análisis de cómo ocurrió podría ayudar a la tienda o al productor a replicar la situación. Si se pierde el interés, el clúster puede no crecer. Una vez más, eso son datos que se deben extraer.
• Reducción de falsos positivos: un cambio en lo que muestran los registros podría representar algo beneficioso para la empresa, como en el ejemplo anterior. Sin embargo, las reglas estáticas también pueden categorizar esos nuevos registros de ventas virales como fraude. Con los sistemas basados en IA es menos probable que este tipo de clasificación errónea ocurra, ya que suelen analizar las relaciones de datos de una manera más matizada.

Técnicas clave en la detección de anomalías con IA

Si bien los modelos de detección de anomalías con IA siguen muchos de los pasos y reglas generales de otros proyectos de desarrollo de IA, el proceso se apoya en métodos específicos que son adecuados para el propósito que se persigue. A continuación, se muestran las principales técnicas utilizadas en la detección de anomalías de IA:

1. Aprendizaje supervisado frente a no supervisado: los equipos deben elegir entre aprendizaje supervisado y aprendizaje no supervisado para la detección de anomalías con IA. Ambos funcionan. Sin embargo, las anomalías etiquetadas en los conjuntos de datos tienden a ser menos habituales, y el etiquetado de los datos puede ser un proceso lento y costoso. En la mayoría de los casos, se prefiere el aprendizaje no supervisado porque es más rápido y menos costoso. El resultado será la capacidad de agrupar registros y detectar anomalías, pero se necesitará más entrenamiento o programación para determinar si las anomalías encontradas son benignas o representan alguna amenaza que se deba gestionar.
2. Métodos basados en clústeres: la agrupación en clústeres es una técnica de IA común que se utiliza a menudo para la detección de anomalías debido a la forma en que los modelos agrupan los puntos de datos en función de rasgos superpuestos (o coincidentes) y otras similitudes notables. Al agrupar puntos de datos en clústeres, el proceso capta los valores atípicos para señalar las anomalías. Los algoritmos de agrupación en clústeres comunes incluyen K-medias, Isolation Forest y modelos gaussianos mixtos. Las representaciones vectoriales de los registros se utilizan cada vez más para registros complejos o de alta dimensión. Las bases de datos multimodales que soportan la creación y el procesamiento de vectores pueden facilitar la detección de anomalías para datos complejos.
3. Redes neuronales: las redes neuronales pueden identificar patrones complejos y analizar relaciones no lineales, lo que ayuda a descubrir valores atípicos y anomalías. Algunas arquitecturas de redes neuronales para la detección de anomalías de IA son autocodificadores, que pueden detectar anomalías durante la fase de reconstrucción, y redes generativas adversas, o GAN, que pueden utilizar el paradigma generador/discriminador para identificar valores atípicos a través del discriminador.
4. Técnicas de detección de anomalías de series temporales: para los datos registrados a lo largo del tiempo, las técnicas anteriores son útiles, pero la selección ideal depende de recursos, objetivos, puntos de datos y otros factores. Por ejemplo, los algoritmos de agrupación en clústeres pueden evaluar las transacciones con tarjeta de crédito en busca de fraude agrupando dimensiones específicas, como la geografía, la categoría de compra y el costo. En otro ejemplo, una red neuronal podría observar las relaciones entre la precisión de la salida y los ciclos de uso en maquinaria de producción complicada. Al evaluar las relaciones entre varios monitores de la máquina, la red neuronal podría identificar que una combinación de puntos de datos indica la necesidad de realizar un mantenimiento anterior al habitual.

Casos de uso para la detección de anomalías con IA

La detección de anomalías con IA es útil en una amplia gama de aplicaciones e industrias. Entre los factores que se deben considerar se incluye decidir si tu caso de uso requiere datos internos o externos, o ambos, y si la detección en tiempo real es el objetivo.

Las aplicaciones populares de la detección de anomalías incluyen:

• Ciberseguridad: con una supervisión constante en todas las facetas de la configuración de TI de una organización, la detección de anomalías puede identificar indicadores que pueden indicar un ataque. En el caso de una configuración multinube, la detección de anomalías de IA puede proporcionar una ayuda significativa a los equipos de TI que pueden estar luchando con una variedad de sistemas y configuraciones superpuestos. En el caso de las configuraciones multinube, la IA puede supervisar automáticamente los múltiples detalles de las operaciones que requieran conocimientos específicos sobre el funcionamiento de cada nube individual.
• Finanzas: la detección de fraudes es uno de los casos de uso tradicionales de la detección de anomalías. Aprovechar la IA para esto tiene sentido cuando se los volúmenes de datos financieros crecen. Gracias a la detección de anomalías con IA, las instituciones obtienen modelos más precisos que se benefician de esos grandes conjuntos de datos. Al mismo tiempo, los delincuentes financieros están constantemente descubriendo técnicas innovadoras, y la IA permite que el modelo evolucione y se mejore para la detección de nuevos patrones aplicando un contexto más amplio.
• Salud: la IA puede analizar los datos del hospital para ayudar a identificar anomalías que puedan indicar ineficiencias, instalaciones infrautilizadas o fraudes.
• Operaciones de TI: a medida que los entornos de TI corporativos se vuelven cada vez más complejos y aumenta el alcance de la supervisión de la red, la detección de anomalías con IA puede complementar a los expertos humanos y minimizar la "fatiga de alerta". Por ejemplo, la IA podría analizar los logs de la aplicación para identificar anomalías que indiquen un rendimiento degradado, como tiempos de respuesta lentos o errores.
• Fabricación: los sistemas de detección de anomalías de IA para la fabricación ahora pueden evaluar significativamente más puntos de datos en un esfuerzo continuo para encontrar posibles problemas y ayudar a abordarlos antes de que causen costosos tiempos de inactividad, defectos o riesgos para la seguridad. Por ejemplo, las fluctuaciones anormales de temperatura en los equipos podrían indicar sobrecalentamiento, mientras que las cámaras alimentadas por IA podrían detectar defectos en los productos antes de que se envíen a los clientes.
• Gestión y construcción municipales: la detección de anomalías ofrece beneficios para cualquier persona que necesite supervisar la infraestructura, especialmente cuando utiliza drones. Para los municipios, la IA puede analizar las imágenes capturadas de puentes, carreteras y líneas eléctricas para identificar anomalías y permitir un mantenimiento proactivo. Asimismo, los drones equipados con detección de anomalías impulsada por IA pueden monitorear el progreso del proyecto en función de modelos; identificar riesgos de seguridad, como falta de equipos o colocación incorrecta de materiales; y detectar defectos estructurales en edificios en construcción.

Exploración de la detección de anomalías con Oracle Cloud AI Service

Los servicios de IA en Oracle Cloud Infrastructure (OCI) proporcionan un conjunto de herramientas, modelos y funciones predefinidos para integrar la IA en aplicaciones y flujos de trabajo, incluidas funciones específicas para la detección de anomalías en varias configuraciones. Oracle Cloud Infrastructure aporta aprendizaje y adaptabilidad basados en IA a la supervisión, el mantenimiento y la vigilancia en todos los sectores y casos de uso.

Las perspectivas para la detección de anomalías de IA son excepcionalmente prometedoras, gracias al creciente volumen y complejidad de los datos en todas las industrias, además de la necesidad de identificar de forma proactiva el fraude y otros problemas. Se prevén modelos de IA más sofisticados, incluidos el aprendizaje profundo y las técnicas sin supervisión, que se vuelven más importantes para la detección de anomalías, gracias a su capacidad para identificar divergencias sin acceso a datos etiquetados extensos. Las empresas también buscan mejorar la analítica en tiempo real, la integración con los sistemas existentes y el despliegue de la detección de anomalías en el perímetro.

Descubre cómo funciona OCI Anomaly Detection Service

Preguntas frecuentes sobre la detección de anomalías con IA

¿Qué diferencia a la detección de anomalías con IA de otros métodos tradicionales?

La detección de anomalías tradicional se basa en equipos que establecen reglas y umbrales de datos. Si bien esto puede producir resultados, trae consigo limitaciones significativas, como no adaptarse a los cambios constantes de la industria y pasar por alto las relaciones no lineales. La detección de anomalías con IA es más adaptable a los cambios de datos y puede consumir más tipos.

¿Cómo pueden las empresas determinar si necesitan la detección de anomalías con IA?

La detección de anomalías con IA suele ser más potente, precisa y rápida que la detección de anomalías tradicional, lo que la convierte en una herramienta empresarial útil para muchas organizaciones. Sin embargo, hay circunstancias en las que los métodos tradicionales serán suficientes. Para determinar cuál es la mejor opción, las organizaciones deben examinar la complejidad de sus datos, la rigurosidad de sus necesidades normativas y los factores de riesgo relativos a la seguridad. Además, hay que tener en cuenta el alcance de los recursos disponibles. Por ejemplo, ¿puede la empresa apoyar la compra y el perfeccionamiento de un modelo preentrenado, y tiene los recursos informáticos y de datos para respaldar el esfuerzo? ¿Es la nube la mejor opción? En muchos casos, ese es el camino más rentable.

¿Cuáles son los pasos básicos para empezar a utilizar la detección de anomalías con IA?

Los pasos más básicos para utilizar la detección de anomalías con IA incluyen:

• Determinar el objetivo, las fuentes de datos y las limitaciones
• Seleccionar el algoritmo de IA adecuado para cumplir los objetivos
• Entrenamiento, preparación y ajuste del modelo, ya sea previamente entrenado o desarrollado internamente
• Lanzamiento del modelo con datos activos y supervisión continua de su información salida (output)
• Evaluar los resultados para comprobar si ha comenzado a descubrir tendencias sorprendentes