Detección de anomalías

Ir a: navegación, búsqueda de

En minería de datos, detección de anomalías (o detección de valores atípicos) es la identificación de objetos, eventos o las observaciones que no se ajustan a un patrón esperado u otros elementos en un conjunto de datos.[1] Típicamente los elementos anómalos se traducirán en algún tipo de problema como fraude bancario, un defecto estructural, problemas médicos o encontrar errores en el texto. Las anomalías son también contempladas como afloramientos, novedades, ruido, desviaciones y excepciones.[2]

En particular en el contexto del abuso y la red de detección de intrusiones, los objetos interesantes son a menudo no rara objetos, pero inesperado ráfagas en la actividad. Este patrón no se adhiere a la definición estadística común de un miembro marginal como un objeto raro, y muchos métodos de detección de valores atípicos (métodos en particular sin supervisión) fallará sobre dichos datos, a menos que ha sido agregado apropiadamente. En cambio, un Análisis de conglomerados algoritmo puede ser capaz de detectar los micro grupos formados por estos patrones.[3]

Existen tres categorías amplias de las técnicas de detección de anomalías. Detección de anomalías sin supervisión técnicas de detectan anomalías en un conjunto de datos de prueba sin etiqueta bajo la suposición de que la mayoría de los casos del conjunto de datos es normal buscando instancias que parecen encajar menos al resto del conjunto de datos. Detección de anomalías supervisado técnicas requieren un conjunto de datos que ha sido etiquetado como "normal" y "anormal" y consiste en entrenar un clasificador (la diferencia clave a muchos otros Clasificación Estadística problemas es la inherente naturaleza desequilibrada de la detección de valores atípicos). Detección de anomalías semi supervisado técnicas de construcción un modelo que representa el comportamiento normal de un determinado normal entrenamiento conjunto de datos y entonces la prueba la probabilidad de que una instancia de prueba para ser generada por el modelo aprendido.[citación necesitada]

Contenido

  • 1 Aplicaciones
  • 2 Técnicas populares
  • 3 Método basado en lógica difusa
  • 4 Aplicación a la seguridad de los datos
  • 5 Véase también
  • 6 Referencias

Aplicaciones

Detección de anomalías es aplicable a una variedad de dominios, tales como detección de intrusos, detección de fraude, detección de fallas, monitoreo, detección de eventos en redes de sensores y detectar alteraciones del sistema ecológico de la salud del sistema. A menudo se utiliza en preprocesamiento para eliminar los datos anómalos del conjunto de datos. En aprendizaje supervisado, quitando los datos anómalos del conjunto de datos a menudo resulta en un aumento estadísticamente significativo en la precisión.[4][5]

Técnicas populares

Se han propuesto varias técnicas de detección de anomalías en la literatura. Algunas de las técnicas populares son:

  • Las técnicas basadas en la densidad)k-nearest vecino, factor locales aislados[6]).
  • Una clase máquinas de vectores soporte.
  • Replicante redes neuronales.
  • Análisis de conglomerados basado en la detección de valores atípicos.
  • Apuntando a los registros que se desvían de reglas de asociación aprendida.
  • Técnicas de Ensemble, posiblemente la combinación de varias otras técnicas[7]

Método basado en lógica difusa

En los últimos años lógica difusa ha sido adoptado en varios métodos de detección aislados con el fin de mejorar los resultados procedentes de las técnicas de detección de valores atípicos popular. Yousri et al.[8] propone un enfoque basado en lógica difusa para combinar los resultados obtenidos con un método de detección de valores atípicos, que establece si un patrón es un aislados y un algoritmo de agrupamiento que proporciona resultados en la asignación de los patrones a los racimos. Los dos resultados, proporcionados por los dos enfoques diferentes, se combinan para dar una medida de outlierness. Otro enfoque basado fuzzy es propuesto por Xue et al.[9] Este enfoque, llamado Fuzzy áspero Semi supervisado Outlier Detection (FRSSOD), es la combinación de dos métodos: el método de detección de valores atípicos h−real (SSOD)[10] y el Fuzzy áspero C-means clustering (FRCM).[11] El objetivo del método FRSSOD es establecer si un patrón bajo consideración puede ser considerado como un miembro marginal. Finalmente otro borroso basado en método, llamado Fuzzy combinación de Outlier Detection técnicas (FUCOT)[12] combina métodos de detección diferentes aislados popular aprovechando las ventajas de cada uno de ellos al mismo tiempo superar sus inconvenientes.

Aplicación a la seguridad de los datos

Detección de anomalías fue propuesta para el Sistemas de detección de intrusos (IDS) por Dorothy Denning en 1986.[13] Detección de anomalías por IDS normalmente se logra con los umbrales y las estadísticas, pero también puede hacerse con Computación suavey el aprendizaje inductivo.[14] Tipos de estadística propuesto por 1999 incluye perfiles de usuarios, estaciones de trabajo, redes, hosts remotos, grupos de usuarios y programas basados en las frecuencias, medias, varianzas, covarianzas y desviaciones estándar.[15] La contraparte de detección de anomalías en Detección de intrusos es Detección de abuso.

Véase también

  • Afloramientos en las estadísticas
  • Detección de cambios
  • Sistema de detección de intrusos

Referencias

  1. ^ Chandola, V.; Banerjee, A.; Kumar, V. (2009). "Detección de anomalías: una encuesta". ACM Computing Surveys 41 (3): 1. Doi:10.1145/1541880.1541882. editar
  2. ^ Hodge, V. J.; Austin, J. (2004). "Un estudio de metodologías de detección de valores atípicos". Artificial Intelligence Review 22 (2): 85. Doi:10.1007/s10462-004-4304-y. editar
  3. ^ Dokas, Paul; Levent Ertoz, Vipin Kumar, Aleksandar Lazarevic, Jaideep Srivastava, Pang-Ning bronceado (2002). "Minería de datos para la detección de intrusiones de red". Procedimientos NSF taller sobre minería de datos de próxima generación.
  4. ^ Tomek, Ivan (1976). "Un experimento con la regla más cercano vecino editado". IEEE Transactions on Systems, hombre y cibernética 6 (6): 448. Doi:10.1109/TSMC.1976.4309523. editar
  5. ^ Smith, R. M.; Martínez, T. (2011). "El 2011 conjunta Conferencia Internacional sobre redes neuronales". p. 2690. Doi:10.1109/IJCNN.2011.6033571. ISBN978-1-4244-9635-8. |Chapter = (ignoradoAyuda) editar
  6. ^ Breunig, M. M.; Kriegel, H.-P.; Ng, T. R.; Sander, J. (2000). "LOF: identificación de afloramientos locales basadas en la densidad". Actas de la Conferencia Internacional ACM SIGMOD 2000 gestión de datos. SIGMOD:: 93-104. Doi:10.1145/335191.335388. ISBN1-58113-217-4. editar
  7. ^ Zimek, A.; Campello, R. J. G. B.; Sander, J. R. (2014). "Conjuntos para la detección de valores atípicos sin supervisión". ACM SIGKDD Explorations Newsletter 15:: 11. Doi:10.1145/2594473.2594476. editar
  8. ^ Yousri, N.A.; Ismal, M.A. Kamel, M.S. "Enfoque fuzzy de detección Outlier análisis un combinado Clustering-aislados". IEEE SMC 2007.
  9. ^ Xue, Z.; Shang, y Feng, A. "Outlier semi supervisado la detección basada en borroso duro C-means clustering". Matemáticas y computadoras en simulación 80, pp. 1911-1921, 2010.
  10. ^ Gao, J.; Cheng, M.P. bronceado, P.N. "Detección de valores atípicos semi supervisada". Actas de la ACM Symposiumon aplicación Computing, vol. 1, ACM Press, Dijon, Francia, 2006, págs. 635-636.
  11. ^ Hu, Q.; Yu, D. "Un algoritmo de agrupamiento mejorado para la granulación de la información". Actas de la 2ª Conferencia Internacional sobre sistemas Fuzzy y descubrimiento de conocimiento, Vol. 3613, LNCS, Springer Verlag Berlín/Heidelberg/Changsa, china, págs. 494-504,2006.
  12. ^ Cateni, S.; Colla, V. Nastasi, G. "Un sistema difuso multivariado aplicado para la detección de valores atípicos". Diario de inteligentes y sistemas difusos, 24 (4), pp.889-903, 2013.
  13. ^ Denning, D. E. (1987). "Un modelo de detección de intrusos". IEEE Transactions on Software Engineering (2): 222. Doi:10.1109/TSE.1987.232894. OAI: 10.1.1.102.5127. editar
  14. ^ Teng, H. S.; Chen, K.; Lu, S. C. (1990). "Anomalía adaptable en tiempo real utilizando detección inductivo generado patrones secuenciales". Actas del Simposio IEEE Computer Society sobre investigación en seguridad y privacidad:: 278-284. Doi:10.1109/RISP.1990.63857. ISBN0-8186-2060-9. editar
  15. ^ Jones, Anita K.; Sielken, Robert S. (1999). "Detección de intrusión en sistema informático: una encuesta". Informe técnico, Departamento de ingeniería informática, Universidad de Virginia, Charlottesville, VA. OAI: 10.1.1.24.7802.

Otras Páginas

Obtenido de"https://en.copro.org/w/index.php?title=Anomaly_detection&oldid=638833163"