IT运维:SIEM在鸿鹄中的应用

news2025/7/9 14:40:52

引言

SIEM ( Security, Information, and Event Management)安全信息和事件管理,它是一种安全解决方案,可提供对事件的实时监控和分析,以及出于合规性或审计目的跟踪和记录安全数据。

SIEM 大多数提供核心的功能,包含日志管理,事件关联和分析,事件监控和安全报警。

  • 日志管理:从企业中捕获事件数据,包括网络设备、应用程序、资产、云环境等

  • 事件管理和分析:事件关联利用高级分析来识别和理解复杂的数据模式

  • 事件监控和安全警报:监控企业中的安全事件,通过关联规则生成图表来实现安全事件监控,并且可以触发警报,从而及时采取措施来避免更加严重的安全问题

基于鸿鹄的SIEM

在实际场景中的,我们着重需要考虑SIEM的安全性、易用性、可扩展性,主要考虑如下方面:

需要是国产的,具有完全的自主知识产权,安全可控

能否提供多种数据导入的方式

能够支持多样的日志格式

具备即时分析的能力,避免在ETL上花费大量时间

具备高效的结构化/半结构化数据存储,可对时间戳自动识别和分析,根据时间对数据分片;对数据进行分词,构建倒排索引

具备强大的搜索功能,搜索快速高效,支持跨库、异构数据关联、即时探索分析的交互式查询

具备灵活多样的图表和交互式的仪表板体验

根据我们的需求,经过综合的比较后,我们选择鸿鹄数据平台。鸿鹄数据平台提供了包括数据导入、数据存储分析和数据可视化等模块。

它的读时建模引擎可以快速导入和存储异构数据,进行灵活的异构数据建模以及关联分析,支持动态调整数据模型和分析参数,无需固化模型和分析流程,当数据源格式或业务模式发生变化后,只需调整SQL查询分析语言,无需重新导入和清洗数据,从而快速响应需求变化。

部署实施

本文是基于鸿鹄数据平台进行SIEM的初步部署,并非完全环境。在已经实现部分设备日志收集的基础上,进行初步的安全分析、关联分析、图表展示。仅供大家参考。

前提

目前我们已经将如下的数据通过syslog的方式发送到鸿鹄数据平台,由鸿鹄平台进行统一的数据存储。主要设备包含:

网络设备:H3C交换机、深信服防火墙、深信服上网行为管理

服务器设备:Dell服务器

存储设备:PowerStore存储

鸿鹄vector配置

Vector作为数据采集器,可以接收设备的syslog日志,并转发鸿鹄平台。Vector配置方法参考下文:

安装Vector

图片

查看安装后vector版本,确认安装成功

vector安装好后,直接执行vector 时,系统首先会去/usr/bin下寻找命令,如果不在这个目录中,就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件,链接到/usr/bin下  

图片

登录鸿鹄平台,数据管理>新建数据集

图片

图片

编辑数据源名称,选择数据集范围为上面创建的“switch”,此时会启用

图片

创建syslog.toml脚本,需要调整字段

address = "0.0.0.0:514":0.0.0.0表示接收所有主机发送过来的syslog,514表示接收的端口(syslog默认为514)

._target_table = "switch" : 表示上文你创建的数据集名称

mode = "udp":表示接收syslog的协议syslog默认为udp)

address = "172.20.6.111:9092":鸿鹄的IP和相应的端口

图片

运行修改的syslog脚本,注意保持运行状态。此时完成vector配置。

图片

Syslog配置

网络设备配置syslog

H3C交换机syslog配置

需要开启日志,并将日志发送到鸿鹄平台。默认情况下syslog是通过udp514端口发送日志

图片

将 IP 地址为 172.20.6.111的主机用作日志主机,使用 loghost 通道发送信息(可选,系统缺省为

loghost 通道),使用 local5 作为日志主机记录工具。

图片

注意:这里可以指定发送日志的源地址,可以不指定,一般情况下为了方便辨识,建议指定

图片

注意:如果是要通过管理口发送日志,管理口由于配置了VPN-Instance,需要指定VPN-Instance

图片

配置输出规则:允许所有模块、级别高于等于 informational 的日志信息输出到日志主机。

图片

我这里的实际配置命令

图片

Cisco交换机syslog配置

在Cisco网络设备上的配置命令一般为:

在全局模式下<config>

图片

我这里的实际配置命令

图片

配置防火墙syslog

syslog配置>填写鸿鹄IP和端口号>应用

图片

配置服务器syslog

配置系统日志服务器,填写日志系统的IP,端口号默认

图片

开启警报

图片

设置发送到日志平台的警报类型

图片

配置PowerStore syslog

登录到PowerStore存储,Setting>Remote Logging>ADD

Host/IP Address 填写鸿鹄的地址

协议:默认是udp(与上文syslog.toml里一致)

端口号:默认514(与上文syslog.toml里一致)

Audit Type:全选

图片

SEND TEST MASSEGE,发送测试一个日志信息测试下鸿鹄是否收到

图片

在鸿鹄上查询下日志,发现已经收到存储发送的测试日志,至此配置syslog完成

图片

字段抽取

目前我们已经接入了交换机、防火墙、服务器、存储设备,我们需要先对日志字段进行抽取,以便于我们后续进行搜索与图表展示。

防火墙字段抽取

sangfor_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, '日志类型') '日志类型'指的是你要搜索到这个写日志特定的字段,通过’日志类型‘可以限定日志里所有包含'日志类型'的日志

图片

sangfor_nat_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'NAT') '日志类型'指的是你要搜索到这个写日志特定的字段,通过NAT可以限定日志里所有包含NAT的日志

图片

防火墙日志每个组件的日志格式各不相同,那么我们可能需要根据自己的情况进行多次字段抽取,上文已详述过字段抽取方法,这里只提供抽取字段脚本供参考

图片

交换机字段抽取

switch_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

图片

服务器字段抽取

idrac_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'iDRAC') 'iDRAC'指的是你要搜索到这个写日志特定的字段,通过IDRAC可以限定日志里所有包含IDRAC的日志

图片

PowerStore字段抽取

ps_syslog,这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集,这里需要根据你的数据集名称替换

where contains( switch._message, 'powerstore') 'powerstore'指的是你要搜索到这个写日志特定的字段,通过powerstore可以限定日志里所有包含powerstore的日志

图片

图表展示

在现有设备日志的情况下,我们需要实现的监控效果如下:

所管理设备的概况,比如管理了哪些设备,这些设备的日志情况

设备的运行情况,比如设备是否有告警

安全事件,包含设备是否被密码暴力破解,密码嗅探;设备的配置变更是否合规

在实际场景中,如果我们查看图表时,想要所有的图表可以根据选择灵活的显示该怎么做,比如我想看1天的,想看7天的,那么这时候我们可以做一个”时间项“,方法如下:

时间选择

创建时间选择

编辑

图片

添加输入

图片

输入类型:选择时间

标记名称:time_range(这个用于给图表调用)

显示标签:这个时间项显示的名字

默认标记值:这里根据自己的情况选择,我一般选择相对时间,设置成30天

图片

确定后会生成一个时间选择的项

图片

调用时间选择

选择想要调用的图表,选择编辑查询

图片

将查询时间范围改为时间标记值,标记名称time_range(上文创建的时间选择时填写的标记名称)

图片

保存后就可以在”时间选择“里选择想要查看的时间,点击应用,图表就会根据时间变化了

图片

搜索语句

搜索语句是建立在已经字段抽取的前提下的,如果未抽取字段,那么很多调用了抽取字段的图表将不会显示。

小提示:在生成图表时,记得将图表的”查询时间范围“内标记名称改为time_range,以便调用时间选择

最终效果图

本文受限于对SQL语句只是初学阶段,所以很多分析只是基本的分析,供大家参考。鸿鹄本身SQL搜索功能强大,图表展示功能多样,大家可以自行发挥。

图片

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/854187.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Qt拖放事件与拖放操作笔记dragEnterEvent,dropEvent

1 介绍 拖放事件主要用于处理MIME数据&#xff0c;该数据是用于在发送电子邮件时&#xff0c;附加多媒体数据&#xff08;即拖拽一个文件放入邮件中&#xff0c;事件文件的上传&#xff09;。 2 示例 a&#xff09;使用简化步骤声明拖放事件成员函数&#xff1a; b&#xff09;…

AIDL踩坑记录

1、aidl文件编译不出java文件&#xff1a; 有两种解决方案&#xff1a; 1、利用as新建一个AIDL&#xff0c;aidl文件会在aidl目录的包名下面&#xff0c;as会自己识别 2、如果代码是编写在自己的目录中&#xff0c;可用sourceSets指定aidl目录 sourceSets {main {aidl.srcDi…

Sentieon | 应用教程: 关于读段组的建议

介绍 本文档描述了使用Sentieon Genomics软件时&#xff0c;推荐使用RGID字段以最小化潜在问题的用法。 本文档能帮助您确定设置所使用的bam文件中RG标签的不同字段的最佳实践方法。 RG字段及其用法的详细描述 RG字段的详细描述 SAM格式规范http://samtools.github.io/hts-…

同步辐射全散射PDF测试的原理及应用领域盘点

同步辐射全散射PDF测试的原理及应用领域盘点 同步辐射全散射PDF是一种强大的材料结构表征技术&#xff0c;它通过同步辐射X射线衍射技术&#xff0c;探测材料中原子间的相对位置与偏移&#xff0c;从而揭示材料的微观结构和性质。 同步辐射全散射PDF原理 同步辐射全散射PDF测试…

MAPPO 算法的深度解析与应用和实现

【论文研读】 The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games 说明&#xff1a; 来源&#xff1a;36th Conference on Neural Information Processing Systems (NeurIPS 2022) Track on Datasets and Benchmarks. 是NIPS文章&#xff0c;质量有保障&…

4个方面介绍云渲染技术的发展趋势和前景!

云渲染技术是一种新兴的渲染技术&#xff0c;它利用云计算的优势&#xff0c;将渲染任务分配到云端服务器上进行处理&#xff0c;从而大大提高了渲染效率和质量。云渲染技术在影视动画、建筑设计、游戏开发等领域有广泛的应用&#xff0c;为数字内容创作提供了便捷和高效的解决…

金融科技与现代开源技术结合的进展超前到你无法想象!

想要了解最新的金融科技进展吗&#xff1f; 渴望与其他技术爱好者交流&#xff0c;并扩展您在金融科技行业中的人脉关系吗&#xff1f; 那么请参加我们即将举行的 Meetup&#xff0c;本次活动由 Apache DolphinScheduler 社区和 OceanBase 技术社区共同举办&#xff0c;聚焦金…

为什么都劝年轻人不要频繁跳槽?

"为什么都劝年轻人不要频繁跳槽&#xff1f;"这句话绝对正确&#xff0c;没有任何漏洞&#xff0c;无论如何解释都是正确的&#xff0c;因为“频繁”这个词是非常主观的&#xff0c;有很大的弹性。 不同的人对于跳多少次才算频繁有不同的看法&#xff0c;有人认为一…

二、MySql库的操作

文章目录 一、库的操作&#xff08;一&#xff09;创建数据库&#xff08;二&#xff09;创建数据库案例&#xff08;三&#xff09;字符集和校验规则1、 查看系统默认字符集以及校验规则2、查看数据库支持的字符集3、查看数据库支持的字符集校验规则4、校验规则对数据库的影响…

转转短链平台设计与实现

1 背景介绍 转转是中国领先的二手交易平台&#xff0c;链接作为用户在平台上进行交互和信息传递的重要媒介&#xff0c;扮演着不可或缺的角色。 传统长链接通常包含大量字符和特殊符号&#xff0c;不易记忆和传播。由于字数的原因&#xff0c;长链接在发送短信&#xff0c;生成…

策略模式【Strategy Pattern】

刘备要到江东娶老婆了&#xff0c;走之前诸葛亮给赵云&#xff08;伴郎&#xff09;三个锦囊妙计&#xff0c;说是按天机拆开解决棘手问题&#xff0c; 嘿&#xff0c;还别说&#xff0c;真是解决了大问题&#xff0c;搞到最后是周瑜陪了夫人又折兵呀&#xff0c;那咱们先看看…

Linux 的基本使用

1、Linux 是什么 Linux 是一个操作系统. 和 Windows 是 "并列" 的关系 Linux 严格意义来说只是一个 "操作系统内核". 一个完整的操作系统 操作系统内核 配套的应用程序. CentOS 和 RedHat 的关系 RedHat一直都提供源代码的发行方式&#xff0c;Cent…

【MySQL系列】表约束的学习

「前言」文章内容大致是MySQL的表的约束。 「归属专栏」MySQL 「主页链接」个人主页 「笔者」枫叶先生(fy) 目录 一、MySQL表的约束1.1 空属性1.2 默认值&#xff08;default&#xff09;1.3 列描述&#xff08;comment&#xff09;1.4 zerofill1.5 主键&#xff08;primary ke…

新型网络安全:从过程到明确结果

内容 过去的情况网络安全是理论性的&#xff0c;结果才是实际性的。这可能吗&#xff1f;我们现在的努力方向结论 本文讲述了为什么企业必须重新思考其网络安全方法&#xff1a;旧方法是否足够有效&#xff0c;是否可以完全适用&#xff1f;公司应采取哪些行动来实现内部信息…

【Spring Boot】构建RESTful服务 — RESTful简介

RESTful简介 本节将从基础的概念开始介绍什么是RESTful、RESTful的特点、RESTful中的资源、HTTP Method、HTTP Status&#xff0c;还将介绍RESTful和SOAP到底有哪些区别。 1.什么是RESTful RESTful是目前流行的互联网软件服务架构设计风格。REST&#xff08;Representationa…

HCIA---路由器--静态路由

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么&#xff1f;二、使用步骤 1.引入库2.读入数据总结 一.路由器简介 路由器是一种网络设备&#xff0c;用于将数据包从一个网络发送到另一个网络…

系统架构设计师-系统可靠性分析与设计

目录 一、可靠性相关基本概念 二、可靠性指标 1、串联系统与并联系统可靠性指标计算 2、混合系统 三、可靠性设计 1、影响软件可靠性的主要因素&#xff1a; 2、增加可靠性的解决方案 2.1 避错技术 2.2 降低复杂度设计 2.3 检错技术 2.4 容错技术 3、双机容错 一、可靠性相关…

当涉及到Python计算结果的责任时,谁来负责呢?

代码质量和测试&#xff1a;在发布之前&#xff0c;通常会进行代码测试以确保基本的错误被避免。对于广泛使用的库和框架&#xff0c;如numpy、scipy和pandas&#xff0c;其代码正确性经过了充分的测试和验证&#xff0c;用户可以放心使用。社区维护和开发者&#xff1a;Python…

自编码器的学习

先奉上视频 https://www.bilibili.com/video/BV1Vx411j78H/?spm_id_from333.788.recommend_more_video.-1&vd_sourceeb433c8780bdd700f49c6fc8e3bd0911

MySQL — MVCC

文章目录 MVCCMVCC 实现原理隐藏字段undo logundo log的用途undo log类型 版本链ReadView MVCC InnoDB是一个多版本的存储引擎。它保留有关已更改行的旧版本的信息&#xff0c;以支持并发和回滚等事务性特性。这些信息存储在undo表空间中的数据结构称为回滚段。InnoDB使用回滚…