云原生大数据平台零信任网络安全实践技术稿

news2025/8/3 13:33:41

近年来星环科技围绕着数据安全做了大量的工作,形成了一个数据安全的产品体系。本文主要给大家介绍下星环数据云基于零信任安全理念在网络安全上的思考与实践。

首先对星环数据云产品的安全需求进行梳理和分类,大致可分为四类:

l 数据应用层需要可信的数据应用机制,能够通过对内授权、对外隐私计算等方式帮助数据安全流通。

l 数据资源层需要对进行数据安全治理和安全防护,对数据分级分类、脱敏、溯源,管理权限等。

l 大数据平台层需要可信的软件环境,能够进行平台组件管理,数据加密传输和存储,审计操作,确权访问等。

l 云基础设施层需要可信的计算环境,能够对资源进行安全监控,资源隔离,漏洞检测等。

针对这四类需求,星环科技都针对性的提供了对应的安全产品用来提供相应的服务能力:

l 在数据应用层能提供了 可信数据流通和可信隐私计算。

l 在数据资源层提供了 数据安全治理,数据安全防护。

l 在大数据平台层提供了 数据传输存储安全,数据安全射进,平台权限管控产品。

l 在云基础设施层提供看基础设施安全监控,包括容器隔离,镜像扫描,动态漏洞检测大家可以看到目前星环科技提供了很多维度的安全产品。

本文主要围绕网络和认证相关的底层技术如:微隔离安全区、 集群安全边界以及统一身份认证讲述零信任网络实践。

首先介绍的是微隔离安全区功能。

针对大数据业务场景,我们对微隔离功能进行了深度打磨,从基本元语/元素到功能/特性实现做了大量的工作。不再使用传统网络中的五元组作为基本元素,而是更多的使用了多元化的逻辑标识作为微隔离的基本元语 :Node、Namespace、Label、Service&Endpoints、Service Account、IPBlock等。

基于基本元语以网络安全区为核心重新定义微隔离基本元素,灵活配置微隔离逻辑范围,避免过度隔离或者隔离不到位。新的微隔离基本元素有:SecurityZone、SecurityGroup、SecurityRule。

SercurityZone是以微隔离基本元语为应用单位划分的灵活的微隔离逻辑范围。同时我们对安全策略通过SecurityGroup以组的形式进行管理。而SecurityRule则是具体微隔离安全策略的具体规则。SecuriytyRule最终会翻译为OpenFlow Pipeline,实现安全策略功能。

微隔离安全区功还支持多种特性如:

l 流量可观测性:多个维度对微隔离流量进行统计,并可视化展示,如:Node维度、Pod维度、Pod-Pod维度、Pod-Service维度、SecurityZone维度。

​l 支持L7的安全策略:我们不仅支持L2-L4的安全策略访问控制,还在流量可观测性的基础上实现L7的更细粒度的安全防护。比如基于L7中的protocols、method以及pach等字段实现应用层的安全访问控制。

l 流量按需加密功能:在不借助service mesh的情况下实现轻量级的流量按需加密,比如可以对SecurityZone内部流量进行按需加密或者对SecurityZone和外部的流量按需加密。

l 微隔离安全区与 CNI 插件解耦:可以兼容多种主流 CNI 插件,如可以支持Flannel、Calico以及Antrea。

l 安全策略引擎:对流量进行多维度的计算和学习。实现网络安全区内上架的应用的动态感知,自动根据流量通信记录学习生成安全策略。

接着介绍的是集群安全边界功能。

前面介绍的微隔离安全区功能,主要确保了集群内的网络访问安全。而集群外部安全的访问集群内的应用也是重要的功能,为了确保这类访问安全,我们做了三方面的技术防护:

第一个是安全边界负载均衡器:我们统一集群南北流量,在做到高性能,高可用的同时,增强了安全相关的特性。如白名单管理、真实源 IP以及网络加密。

K8s本身不包含负载均衡器,基本上通过nodeport或者ingress对外提供服务,我们为了确保安全访问,自研了轻量的负载均衡器,统一了南北流量的访问入口,可以将集群内部应用统一对外暴露,在确保高性能,节点高可用,AZ高可用的同时,增强了以下安全功能。

l 白名单管理,放行指定源 IP/CIDR 对指定集群应用的访问,并支持对阻止的报文进行流量审计。配合ingress可以做到七层网络的安全访问控制。

​l 真实源 IP,支持透传客户端 IP 功能,确保报文进入集群内部后进一步的安全审计处理。

l 网络加密,支持 WireGuard 隧道通信模式,包括用户和集群间以及集群之间建立 WireGuard 隧道进行加密通信。

​第二个是跨集群安全通信:我们之前已经实现了跨集群的Full Mesh 通信,即不借助网关节点两个集群之间pod和pod可以直接通信,在这之上,我们增强了安全相关特性,确保跨集群 Pod-To-Pod 的安全通信。

可以在两个SLB之间建立wireguard隧道。两个集群的pod之间集中通过SLB进行加密通信同时针对有能力配置wireguard隧道的用户,负载均衡器也支持和用户建立wireguard隧道,确保整个链路的安全加密。

​第三个是边界防火墙:支持对 NodePort 类型的 Service、HostNetwork 类型的 Pod 以及部分配置端口映射的Pod设置集群维度、节点维度、外部访问维度等多个维度边界安全规则。

​最后介绍的是统一身份认证。

无论是隔离防护功能还是边界防护功能主要是主动或者被动防护的功能,我们还需要星环数据云中的workloads之间通信的身份认证 。我们认为星环数据云中的workloads之间网络通信都是不可信的,需要一个统一身份认证,在给workloads分配统一的标识ID的同时,实现基于ID的认证和通信策略管理。

​星环数据云是一个多租户云平台,支持租户严格的授权和安全管控以及租户数据管理。我们基于 SPIFFE 标准,集成 Spire 实现了基于身份认证的网络安全访问。大数据组件的身份认证与网络身份认证整合,统一管理,支持策略联动。实现统一身份认证功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/34846.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

微软黑科技如何加速游戏开发,读这篇就够了

2022迈入尾声,游戏产业这场凛冽的寒风比想象中更为持久与刺骨。 一边是投入的缩减,一边是玩家攀升的要求。“既要又要还要”成为游戏制作人的高频句型。在紧预算与精制作的矛盾面前,游戏产业工业化的必要性再次被验证。如何把更多的精力投注…

通过PreparedStatement预防SQL注入

通过PreparedStatement预防SQL注入 简介:本文只讲PreparedStatement预防SQL注入的写法,大家学会就好。 推荐学习路线:JDBC数据库的连接->Connection(数据库连接对象)->Statement->ResultSet->通过Prepare…

【vim】系统剪切板、vim寄存器之间的复制粘贴操作命令?系统剪切板中的内容复制粘贴到命令行?vim文本中复制粘贴到命令行

一、系统剪切板和文本内容的复制粘贴 1.1 从系统剪切板复制粘贴到文本中 需要操作3次: 分别是英文双引号、一个加号或梅花号,最后是一个p 也即"p 或者直接使用组合键【Shift insert】 1.2 从文本复制粘贴到系统剪切板 也需要操作3次&#xff…

poi导入数据工具类,直接复制使用,有详细注释

poi导入工具类,直接复制使用,有详细的注释前言一、引入依赖二、封装的工具类以及注解类直接copy使用首先是工具类无需做操作然后是封装的两个注解类,也是直接复制使用测试工具类功能测试实体类Controller层调用执行结果如果ifNull 设置为true…

Mongodb认证入库并进行多版本缓存使用

作者:yangjunlin 使用过mongodb数据库的小伙伴们都知道,mongodb存储超图缓存是不需要密码的,只需要设置一个用户即可,但部分小伙伴们因为安全问题想用加密模式访问,但是不清楚如何创建,并且想用mongodb库进行多版本缓存…

GitHub 下载量过百万,阿里 P8 秘密分享的「亿级并发系统设计」

随着互联网的不断发展,CPU 硬件的核心数也在不断进步,并发编程越来越普及,但是并发编程并不像其他业务那样直接了当。在编写并发程序时,我们常常都会出现各种漏洞,这些问题往往都突然出现,然后又迅速消失&a…

centos7.9安装MySQL-学习

一、下载mysql5.7安装包 1.下载 二、安装 1、检查系统是否安装过mysql //检查系统中有无安装过mysql rpm -qa|grep mysql 2、查询所有mysql 对应的文件夹,全部删除 whereis mysql find / -name mysql 3、检查mysql 用户组是否存在 cat /etc/group | grep mysql …

Steam项目推进 (一) ——项目情况简述

一、前言 之前跟一个策划朋友一起做过一个小项目Demo,然后中止了大半年,现在想继续把这个项目推进下去。又怕自制力不够,所以建立一个栏目来记录这个项目的推进情况,记忆在项目中学习到的东西。 二、目前的项目情况 1、项目定位…

R-CNN,Fast R-CNN详解

R-CNN R-CNN可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂,曾在2010年带领团队获得终身成就奖。 R-CNN流程 R-CNN流程可以分为4个步骤: 1.一张图像生成1k~2k个候选区域(使用Selective Search方…

【算法基础】P问题、NP问题、NP-Hard问题、NP-Complete问题

P问题、NP问题、NP-Hard问题、NP-Complete问题前提1. 时间复杂度:2. 约化(Reducibility)P问题NP问题NPHard问题NP-Complete问题其它:前提 1. 时间复杂度: 2. 约化(Reducibility) 如果能找到一个变化法则,对任意一个A程序的输入&…

【华为OD机试真题 python】 转骰子【2022 Q4 | 200分】

■ 题目描述 【转骰子】 骰子是一个立方体,每个面一个数字,初始为左1,右2,前3(观察者方向),后4,上5,下6,用123456表示这个状态,放置在平面上, 可以向左翻转(用L表示向左翻转1次), 可以向右翻转(用R表示向右翻转1次), 可以向前翻转(用F表示向前翻转1次), 可以…

力扣(LeetCode)71. 简化路径(C++)

模拟 对于路径 pathpathpath ,遇到 ′/′/′/′ 则操作,遇到其他字符则保存名字。操作有如下几种: 1.名字是 "."".""." 或 """""" 不操作,前者表示在当前目录,后者…

代码管理工具知多少?来看看Git怎么用吧

一. 代码管理工具简介 说到代码工具,许多工作了的小伙伴一定很有发言权。因为我们在实际开发环境中,就代码的复杂度和逻辑度,对于开发工程师来说,都是极具挑战性的。如果单靠个人来完成单个项目的整体开发,那无疑是难…

baostock均线数据怎么描出图形表示?

baostock主要是用量化交易者的一个开放数据的源头系统,其功能可以提供大量准确、完整的证券历史行情数据、上市公司财务数据等服务。利用python API获取证券数据信息,满足量化交易投资者、数量金融爱好者、计量经济从业者数据需求等,同样&…

重点,一文掌握ReentrantLock加解锁原理!|原创

本文详细讲解了 ReentrantLock 加锁和释放锁的原理,以及和 Synchronized 的对比。本文较长,建议收藏!点击上方“后端开发技术”,选择“设为星标” ,优质资源及时送达简要总结 ReentrantLock实现原理:volati…

Arduino ESP32使用U3115S芯片控制H桥驱动有刷直流电机

Arduino ESP32实现互补PWM输出 问题提出半桥驱动电路必须是PWM互补输入才能工作Arduino ESP32的互补PWM控制问题提出 直流有刷电机控制使用U3115S芯片。芯片是电压高达300V的半H桥驱动电路,管脚说明: NumberSymbolDescription1VCC低侧固定逻辑电源输入…

牛客网——verilog练习题思路汇总

目录 基础语法 VL1 四选一多路器 VL2 异步复位的串联T触发器 VL3 奇偶校验 VL4 移位运算与乘法 VL5 位拆分与运算 VL6 多功能数据处理器 VL7 求两个数的差值 VL8 使用generate…for语句简化代码 VL9 使用子模块实现三输入数的大小比较 VL10 使用函数实现数据大小端转…

智慧城市建设的原则及规划目标

一、建设原则 智慧城市建设过程中必须把握以下原则: (一) 遵循市信息化建设总体规划与发展框架。遵循 “十二五” 信息化规划确定的“紧紧围绕国家西部大开发战略目标,强化信息技术和信息化在我市加快推进新型工业化进程中的战略…

数据库周期表整体设计方案

这是学习笔记的第 2442篇文章数据库周期表是我们自定义的名称,从数据视角来说,通常会有三类数据表:字典表,状态表,日志表,其中周期表从定位上更侧重于日志表。为什么叫周期表,主要是因为日志数据…

看着2022年世界杯,我无比怀念98世界杯

作者:朱金灿 来源:clever101的专栏 为什么大多数人学不会人工智能编程?>>> 断断续续看了2022年世界杯部分比赛,我无比怀念1998年世界杯!该文权当本人的一点回忆文字,没有经过严谨认证&#xff0…