NMS (Network Monitoring Systems)

Los ciberataques son cada vez más frecuentes y con efectos más relevantes, haciendo que la seguridad de las redes adquiera una importancia crítica. Una buena defensa pasa, necesariamente, por el conocimiento del estado de la red y los sistemas y la rápida detección de los incidentes. Para ello los oficiales de ciberseguridad (CSO) recurren a los denominados sistemas de monitorización de la seguridad (NSM, del inglés Network Security Monitoring), cuya finalidad última es operar como sistema de apoyo a la decisión y proporcionar conciencia situacional al CSO.
Los NSM procesan información de múltiples fuentes y diversa naturaleza, como los flujos de tráfico, o las alertas generadas por los sistemas de detección de intrusiones (IDS, del inglés Intrusion Detection Systems) desplegados. De esta forma, en un escenario típico, los NSM deben gestionar una enorme cantidad de eventos, lo que se suele traducir en un elevado número de alarmas que deben ser supervisadas. Lamentablemente, muchas de las alertas suelen corresponder a falsos positivos, a un mismo incidente o no resultan relevantes para el sistema monitorizado. Por ello, se suelen desplegar técnicas de correlación de alertas que intentan relacionar y agrupar todas las alertas asociadas a un mismo ataque. En la literatura hay numerosas propuestas en esta línea, la mayoría en base a la información de las propias alertas y a relaciones temporales entre ellas. Sin embargo, estas adolecen de importantes limitaciones, siendo necesario mejorar sus capacidades tanto en capacidad de detección de ataques como en relación al número de alertas y falsos positivos generados.


Por otra parte, la mayoría de los ciberataques responden a una secuencia de acciones, que suelen dar lugar a múltiples alertas. Por ello, sería interesante la incorporación de modelos secuenciales asociados a cada tipo de ataque en el proceso de detección y, particularmente, en la correlación de alertas, con el objetivo final de generar una única alerta por cada ataque/incidente. Estos modelos pueden ser aprendidos a partir de la aplicación de técnicas de aprendizaje automático, aunque para ello se requieren grandes volúmenes de datos asociados a ataques, lo que resulta extremadamente complejo. Alternativamente, se pueden usar como punto de partida modelos de fases de ataques propuestos previamente. Tal es el caso del modelo ATT&CK de Mitre (Adversarial Tactics Techniques & Common Knowledge), que establece un marco de trabajo basado en ataques reales para la descripción de los ataques como una secuencia de fases (tácticas) y los posibles métodos para su ejecución (técnicas).


Otro aspecto de interés está relacionado con la usabilidad de los NMS. Habitualmente se asume que tasas de FP en torno al 1-2% son aceptables y que el rendimiento de los sistemas se mide adecuadamente mediante métricas que combinan las tasas de FP y TP, como es el caso del F-Score, ampliamente utilizado en el contexto de los IDS y, por extensión, en los NMS.
Sin embargo, la naturaleza fuertemente desbalanceada del problema, donde el número de ataques es varios órdenes de magnitud inferior al volumen de tráfico normal (del orden de 1 a 10000 e incluso inferior), hace que esas métricas resulten claramente inadecuadas. Las tasas de FP resultan un factor determinante, produciéndose un elevado número de falsas alertas por cada alerta verdadera. Como resultado, los NMS carecen de utilidad práctica. Se necesitan, por tanto, procedimientos que reduzcan aún más el número de FP y métricas que tengan en cuenta las tasas de acierto en las alertas generadas.
Líneas de trabajo
Detección de ataques multietapa
Correlación de alertas generadas por los IDS
Análisis de prestaciones (tasas de FP/TP) y usabilidad
- Modelado de ataques para su detección e identificación
Técnicas / métodos
-
Correlación de eventos
-
Autómatas de estados finitos probabilísticos
-
Técnicas de agrupamiento
-
Análisis de series temporales
Métricas de clasificación para conjuntos fuertemente desbalanceados
Resultados relevantes
-
Demostrador de sistema NSM en aplicaciones de iluminación inteligente
-
Varios datasets de tráfico reales etiquetadas (ground-truth)
- Colaboraciones con empresas destacadas del sector
Publicaciones destacadas
Lara, Agustín; Estepa, Antonio; Estepa, Rafael; Díaz-Verdejo, Jesús E.; Mayor, Vicente
Anomaly-based Intrusion Detection System for smart lighting Artículo de revista
En: Internet of Things, vol. 28, pp. 101427, 2024, ISSN: 2542-6605.
@article{LARA2024101427,
title = {Anomaly-based Intrusion Detection System for smart lighting},
author = {Agustín Lara and Antonio Estepa and Rafael Estepa and Jesús E. Díaz-Verdejo and Vicente Mayor},
url = {https://www.sciencedirect.com/science/article/pii/S2542660524003688},
doi = {https://doi.org/10.1016/j.iot.2024.101427},
issn = {2542-6605},
year = {2024},
date = {2024-01-01},
urldate = {2024-01-01},
journal = {Internet of Things},
volume = {28},
pages = {101427},
abstract = {Smart Lighting Systems (SLS) are essential to smart cities, offering enhanced energy efficiency and public safety. However, they are susceptible to security threats, potentially leading to safety risks and service disruptions, making the protection of this infrastructure critical. This paper presents an anomaly-based Intrusion Detection System (IDS) designed for a real-world operational SLS. As commercial deployments vary in components, protocols, and functionalities, IDSs must be tailored to the specific characteristics of each deployment to perform effectively. Our anomaly-based IDS has been defined based on the properties of the available data and the types of attacks we aim to detect, offering both explainability and low complexity. The proposed system identifies anomalies in seven features of network traffic and in the telemetry data received at the central control (O&M) server. For the latter, we designed three customized detectors to identify abnormal data points, persistent deviations in street lamp power consumption, and abnormal power value based on the time of day. Validation with real-world data and simulated attacks demonstrates the effectiveness of our approach. Network attacks (e.g., DoS, scanning) were detected by at least one of the seven flow-related anomaly detectors, while simulated data poisoning attacks and operational technology (OT) issues were detected with nearly 90% accuracy. The datasets used in this work are publicly available and may serve as reference for the design of future IDSs. While our detectors were designed specifically for our dataset, the variables examined and vulnerabilities addressed are common in most commercial SLSs.},
keywords = {},
pubstate = {published},
tppubtype = {article}
}
Muñoz-Calle, Javier; Alonso, Rafael Estepa; Alonso, Antonio Estepa; Díaz-Verdejo, Jesús E.; Fernández, Elvira Castillo; Madinabeitia, Germán
A Flexible Multilevel System for Mitre ATT&CK Model-driven Alerts and Events Correlation in Cyberattacks Detection Artículo de revista
En: JUCS – Journal of Universal Computer Science, vol. 30, no 9, pp. 1184-1204, 2024, ISSN: 0948-695X.
@article{10.3897/jucs.131686,
title = {A Flexible Multilevel System for Mitre ATT&CK Model-driven Alerts and Events Correlation in Cyberattacks Detection},
author = {Javier Muñoz-Calle and Rafael Estepa Alonso and Antonio Estepa Alonso and Jesús E. Díaz-Verdejo and Elvira Castillo Fernández and Germán Madinabeitia},
url = {https://doi.org/10.3897/jucs.131686},
doi = {10.3897/jucs.131686},
issn = {0948-695X},
year = {2024},
date = {2024-01-01},
urldate = {2024-01-01},
journal = {JUCS - Journal of Universal Computer Science},
volume = {30},
number = {9},
pages = {1184-1204},
publisher = {Journal of Universal Computer Science},
abstract = {Network monitoring systems can struggle to detect the full sequence of actions in a multi-step cyber attack, frequently resulting in multiple alerts (some of which are false positive (FP)) and missed actions. The challenge of easing the job of security analysts by triggering a single and accurate alert per attack requires developing and evaluating advanced event correlation techniques and models that have the potential to devise relationships between the different observed events/alerts.This work introduces a flexible architecture designed for hierarchical and iterative correlation of alerts and events. Its key feature is the sequential correlation of operations targeting specific attack episodes or aspects. This architecture utilizes IDS alerts or similar cybersecurity sensors, storing events and alerts in a non-relational database. Modules designed for knowledge creation then query these stored items to generate meta-alerts, also stored in the database. This approach facilitates creating a more refined knowledge that can be built on top of existing one by creating specialized modules. For illustrative purposes, we make a case study where we use this architectural approach to explore the feasibility of monitoring the progress of attacks of increased complexity by increasing the levels of the hyperalerts defined, including a case of a multi-step attack that adheres to the ATT&CK model. Although the mapping between the observations and the model components (i.e., techniques and tactics) is challenging, we could fully monitor the progress of two attacks and up to 5 out of 6 steps of the most complex attack by building up to three specialized modules. Despite some limitations due to the sensors and attack scenarios tested, the results indicate the architecture’s potential for enhancing the detection of complex cyber attacks, offering a promising direction for future cybersecurity research.},
keywords = {},
pubstate = {published},
tppubtype = {article}
}
Díaz-Verdejo, Jesús; Alonso, Rafael Estepa; Alonso, Antonio Estepa; Muñoz-Calle, Javier
Insights into anomaly-based intrusion detection systems usability. A case study using real http requests Proceedings Article
En: Proc. European Interdisciplinary Cybersecurity Conference (EICC 2024), pp. 82–89, 2024, ISBN: 9798400716515.
@inproceedings{Diaz-Verdejo2024,
title = {Insights into anomaly-based intrusion detection systems usability. A case study using real http requests},
author = {Jesús Díaz-Verdejo and Rafael Estepa Alonso and Antonio Estepa Alonso and Javier Muñoz-Calle},
doi = {10.1145/3655693.3655745},
isbn = {9798400716515},
year = {2024},
date = {2024-01-01},
urldate = {2024-01-01},
booktitle = {Proc. European Interdisciplinary Cybersecurity Conference (EICC 2024)},
pages = {82–89},
abstract = {Intrusion detection systems based on anomalies (A-IDS) are crucial for detecting cyberattacks, especially zero-day attacks. Numerous A-IDS proposals in the literature report excellent performance according to established metrics and settings in a laboratory. However, finding systems implementing these proposals in real-world scenarios is challenging. This work explores, through a case study, the suitability of performance metrics commonly used in the scientific literature to real-world scenarios. Our case study will consider a Web attack detector based on URIs and a real, large-scale dataset. Our results show significant limitations in the performance metrics commonly used to select the system's operating point and its practical use in real-world scenarios.},
keywords = {},
pubstate = {published},
tppubtype = {inproceedings}
}
Fernández, Elvira Castillo; Díaz-Verdejo, Jesús E.; Estepa Alonso, Rafael; Estepa Alonso, Antonio; Muñoz-Calle, Javier; Madinabeitia, Germán
Multistep Cyberattacks Detection using a Flexible Multilevel System for Alerts and Events Correlation Proceedings Article
En: Proc. European Interdisciplinary Cybersecurity Conference (EICC 2023), pp. 6, 2023.
@inproceedings{eicc23-attacks,
title = {Multistep Cyberattacks Detection using a Flexible Multilevel System for Alerts and Events Correlation},
author = {Elvira {Castillo Fernández} and Jesús E. {Díaz-Verdejo} and {Estepa Alonso}, Rafael and {Estepa Alonso}, Antonio and Javier {Muñoz-Calle} and Germán Madinabeitia},
doi = {10.1145/3590777.3590778},
year = {2023},
date = {2023-06-14},
urldate = {2023-06-14},
booktitle = {Proc. European Interdisciplinary Cybersecurity Conference (EICC 2023)},
pages = {6},
abstract = {Current network monitoring systems tend to generate several alerts per attack, especially in multistep attacks. However, Cybersecurity Officers (CSO) would rather receive a single alert summarizing the entire incident. Triggering a single alert per attack is a challenge that requires developing and evaluating advanced event correlation techniques and models to determine the relationships between the different observed events/alerts.
In this work, we propose a flexible architecture oriented toward the correlation and aggregation of events and alerts in a multilevel iterative approach.
In our scheme, sensors generate events and alerts that are stored in a non-relational database queried by modules that create knowledge structured as meta-alerts that are also stored in the database. These meta-alerts (also called hyperalerts) are, in turn, used iteratively to create new knowledge. This iterative approach can be used to aggregate information at multiple levels or steps in complex attack models.
Our architecture also allows the incorporation of additional sensors and the evaluation of various correlation techniques and multistage attack models. The capabilities of the system are assessed through three case studies.},
keywords = {},
pubstate = {published},
tppubtype = {inproceedings}
}
In this work, we propose a flexible architecture oriented toward the correlation and aggregation of events and alerts in a multilevel iterative approach.
In our scheme, sensors generate events and alerts that are stored in a non-relational database queried by modules that create knowledge structured as meta-alerts that are also stored in the database. These meta-alerts (also called hyperalerts) are, in turn, used iteratively to create new knowledge. This iterative approach can be used to aggregate information at multiple levels or steps in complex attack models.
Our architecture also allows the incorporation of additional sensors and the evaluation of various correlation techniques and multistage attack models. The capabilities of the system are assessed through three case studies.
Proyectos destacados
A-TIC-224-UGR20 – Modelado de Ataques y Detección de Incidentes de Ciberseguridad (MADINCI)
Entidad financiadora: Universidad de Granada – Junta de Andalucía – Proyectos I+D+i del Programa Operativo FEDER 2020
Entidad/es participantes: Univ. Granada y Univ. Sevilla – N. invest.: 6
Periodo: 01/01/2022 a 30/06/2023
@online{madinci,
title = {Modelado de Ataques y Detección de Incidentes de Ciberseguridad (MADINCI)},
url = {/neus-cslab/madinci},
year = {2022},
date = {2022-01-01},
urldate = {2022-01-01},
issuetitle = {Proyectos I+D+i del Programa Operativo FEDER 2020},
number = {A-TIC-224-UGR20},
pages = {6},
institution = {Univ. Granada y Univ. Sevilla},
organization = {Universidad de Granada - Junta de Andalucía},
series = {01/01/2022 a 30/06/2023},
note = {20000 €},
keywords = {},
pubstate = {published},
tppubtype = {online}
}
PID2020-115199RB-I00 – Detección de ciberataques en “industria conectada” e IoT mediante integración y correlación de alertas multifuente (COINCYDE)
Entidad financiadora: Ministerio de Ciencia e Innovación – MICIN/AEI/10.13039/50110 0 011033
Entidad/es participantes: Universidad de Granada / Universidad de Sevilla – N. invest.: 8
Periodo: 01/09/2021 a 31/08/2024
@online{coincyde,
title = {Detección de ciberataques en “industria conectada” e IoT mediante integración y correlación de alertas multifuente (COINCYDE)},
author = { Jesús E. {Díaz Verdejo} and Juan Carlos {Cubero Talavera} and Francisco {Cortijo Bon} and Antonio {Estepa Alonso} and Rafael {Estepa Alonso} and Germán {Madinabeitia Luque} and Olga {Pons Capote} and Amparo {Vila Miranda}
},
url = {/neus-cslab/proyectos-idi/coincyde},
year = {2021},
date = {2021-09-01},
urldate = {2021-09-01},
booktitle = {Detección de ciberataques en “industria conectada” e IoT mediante integración y correlación de alertas multifuente (COINCYDE)},
issuetitle = {MICIN/AEI/10.13039/50110 0 011033},
number = {PID2020-115199RB-I00 },
pages = {8},
institution = {Universidad de Granada / Universidad de Sevilla},
organization = {Ministerio de Ciencia e Innovación },
series = {01/09/2021 a 31/08/2024},
abstract = {Los sistemas de monitorización de la seguridad en red (NSM) se encuentran hoy en día entre los componentes más relevantes para la detección y respuesta a los ciberataques. Sin embargo, sus capacidades de detección se limitan en su mayoría a ataques conocidos y tienden a generar una gran cantidad de alertas, muchas de las cuales son falsos positivos. Así, los operadores de ciberseguridad (CSO) deben supervisar una gran cantidad de alertas para determinar la ocurrencia real de incidentes, mientras que algunos de ellos permanecen sin ser detectados. Este proyecto tiene como objetivo desarrollar nuevas técnicas para mejorar las capacidades de detección mediante la adición de nuevos métodos basados en anomalías combinados con la correlación y priorización de alertas incorporando información contextual de la red. Esto mejorará la calidad de las alertas y reducirá la tasa de falsos positivos.
En esta propuesta se plantea el desarrollo de un NSM específico para plantas industriales con elementos del Internet of Things (IoT) y, más concretamente en uno de sus usos verticales: las SmartCity. Las instalaciones que pueden beneficiarse de la solución objeto de este proyecto son aquellas que permiten el control y monitorización de parques de dispositivos inteligentes (IoT, SmartCity), desde una aplicación o servicio web que se utiliza como interfaz de usuario para la gestión de servicios inteligentes. La elección del escenario tiene
una triple motivación. Primero, por la gran relevancia y expansión de este tipo de redes en la actualidad. Segundo, el escenario plantea una serie dificultades y requisitos específicos que no han sido convenientemente abordados en los SIEM actuales. Y tercero, la selección del escenario permite acotar el contexto, lo que posibilita un abordaje adecuado de la incorporación de información contextual.
El sistema a desarrollar incorporará múltiples detectores, incluyendo los usados habitualmente, considerando nuevos detectores específicos para el escenario que están orientados a las diversas amenazas existentes. Así, se desarrollarán detectores basados en anomalías a nivel del tráfico observado (flujos), a nivel de aplicación (sensorización) y a nivel de los servicios web usados para la operación remota. Adicionalmente, se hará uso de técnicas de inteligencia artificial para la correlación y priorización de las alertas incorporando información relativa al estado e historia previa de la red. Esto permitirá identificar falsos positivos, reducir el número de alertas finalmente enviadas al CSO y mejorar la información en las mismas.
Un elemento relevante y novedoso es el uso de una matriz de tráfico generada a partir de flujos en diferentes escalas de tiempo. Esta matriz contiene información sobre las conexiones de red que pueden explotarse para múltiples usos. Así, se pueden establecer algunos indicadores de compromiso para identificar ataques. También se puede utilizar para aplicar varios tipos de análisis de minería de datos, como la búsqueda de patrones comunes entre flujos, realizar perfiles de tráfico de servicios, evaluar la importancia y encontrar relaciones entre activos. La información extraída de esta matriz se utilizará como información contextual en la correlación y priorización de alertas.
Finalmente, la arquitectura propuesta incluye realimentación a partir de las acciones del CSO, lo que permite evaluar la calidad de detección y priorización y ajustar el rendimiento del sistema.},
note = {47795 €},
keywords = {},
pubstate = {published},
tppubtype = {online}
}
En esta propuesta se plantea el desarrollo de un NSM específico para plantas industriales con elementos del Internet of Things (IoT) y, más concretamente en uno de sus usos verticales: las SmartCity. Las instalaciones que pueden beneficiarse de la solución objeto de este proyecto son aquellas que permiten el control y monitorización de parques de dispositivos inteligentes (IoT, SmartCity), desde una aplicación o servicio web que se utiliza como interfaz de usuario para la gestión de servicios inteligentes. La elección del escenario tiene
una triple motivación. Primero, por la gran relevancia y expansión de este tipo de redes en la actualidad. Segundo, el escenario plantea una serie dificultades y requisitos específicos que no han sido convenientemente abordados en los SIEM actuales. Y tercero, la selección del escenario permite acotar el contexto, lo que posibilita un abordaje adecuado de la incorporación de información contextual.
El sistema a desarrollar incorporará múltiples detectores, incluyendo los usados habitualmente, considerando nuevos detectores específicos para el escenario que están orientados a las diversas amenazas existentes. Así, se desarrollarán detectores basados en anomalías a nivel del tráfico observado (flujos), a nivel de aplicación (sensorización) y a nivel de los servicios web usados para la operación remota. Adicionalmente, se hará uso de técnicas de inteligencia artificial para la correlación y priorización de las alertas incorporando información relativa al estado e historia previa de la red. Esto permitirá identificar falsos positivos, reducir el número de alertas finalmente enviadas al CSO y mejorar la información en las mismas.
Un elemento relevante y novedoso es el uso de una matriz de tráfico generada a partir de flujos en diferentes escalas de tiempo. Esta matriz contiene información sobre las conexiones de red que pueden explotarse para múltiples usos. Así, se pueden establecer algunos indicadores de compromiso para identificar ataques. También se puede utilizar para aplicar varios tipos de análisis de minería de datos, como la búsqueda de patrones comunes entre flujos, realizar perfiles de tráfico de servicios, evaluar la importancia y encontrar relaciones entre activos. La información extraída de esta matriz se utilizará como información contextual en la correlación y priorización de alertas.
Finalmente, la arquitectura propuesta incluye realimentación a partir de las acciones del CSO, lo que permite evaluar la calidad de detección y priorización y ajustar el rendimiento del sistema.