YRCloudFile V6.9.0 加速企业在大数据应用技术创新

news2025/8/3 0:07:32

近日,焱融科技发布分布式文件存储产品 YRCloudFile 6.9.0 版本。该版本在功能和性能方面有多项技术性突破,主要包括大数据应用无缝对接 Hadoop ,为大数据应用提供高性能存储平台;独有的 Dataload 功能和智能分层细粒度化,更加精确丝滑地响应业务需求;同时实现 NFS/SMB 协议节点的动态管理,使并发访问性能进一步提升;最后在产品运维和管理方式上更加贴合系统运维人员的使用场景,操作快速便捷。

YRCloudFile 是焱融科技提供的新一代独立的混合云文件存储系统,基于灵活的 SDS 架构, 可提供 POSIX、NFS、SMB/CIFS 等丰富的文件服务,不仅可以用于企业的文件共享,大容量数据存储等通用场景,还能更成熟的应用于智能汽车、多模态 AI 、HPC 高性能计算、生物信息、GIS 等高性能计算应用场景。

在 6.9.0 版本中,YRCloudFile 主要进行了以下重要更新:

产品性能:动态增加 NFS/SMB 协议节点,提升整个 YRCloudFile 集群对外提供 NFS/SMB 并发访问性能。

产品功能:YRCloudFile 无缝对接 Hadoop 平台,将更易于扩展的存算分离架构与Hadoop 兼容,通过 YRCloudFile 可完美替代 HDFS。

用户体验:优化了资源占用等的界面统计信息。细化了智能分层、Dataload、日志审计、运维界面等,提升用户体验。

HDFS 100% 兼容大数据应用 + 极致性能文件存储平台

HDFS(Hadoop Distributed File System,即 Hadoop 分布式文件系统)作为 Hadoop 生态系统的一个重要组成部分,是 Hadoop 中的的存储组件,负责海量数据的存储。

随着大数据、数据湖在各个行业中的广泛应用,原生的 HDFS 在支撑大数据应用时,存在存算耦合、扩展不灵活的问题。YRCloudFile 6.9.0 版本,支持大数据相关框架,实现与 Hadoop / Spark / Hive / Presto / ClickHouse 的完全兼容,通过 YRCloudFile 可完美替代 HDFS。Hadoop 生态中的各种应用都可以在不改变代码的情况下,平滑地使用 YRCloudFile 存储并访问数据,实现更加贴合业务应用的存算分离架构,解耦资源。

YRCloudFile 提供的大数据存算分离解决方案中的文件存储服务避免在管理和运维上投入过多精力,使计算资源弹性伸缩,满足客户对计算资源的灵活调度,更好地利用公有云计算弹性伸缩的能力。与此同时,YRCloudFile 还支持对数据进行冷热分层,可将冷数据下刷到更低成本的对象存储中,大数据分析的存储成本大大降低。

例如在 AI、自动驾驶等场景中,大数据处理作为整个数据处理流程中的重要环节,通过 YRCloudFile 对大数据框架的支持,用户仅在一套 YRCloudFile 集群上,就轻松实现对所有数据处理环节的支持,减少数据在不同集群之间的重复拷贝,进一步提升企业内部对非结构化数据的处理效率。

 功能优化又双叒叕增强

冷热数据治理粒度更细

智能分层在海量数据全生命周期管理中非常实用,YRCloudFile 6.9.0 版本将分层策略粒度更加细化,新增分层下刷的任务状态和执行情况以及数据的历史记录功能,用户可实时掌握数据在冷热数据层之间的流动情况,更加强化管理。

数据流动功能更强大

为适应跨云和不同数据平台之间的数据流转需求,减少数据在不同集群之间的重复拷贝,进而提升企业内部对非结构化数据的处理效率。新版本 Dataload 功能支持用户多次导入导出的操作,随时满足在数据不断变化的状态下的数据更新需求。

日志审计功能

数据的关键操作记录,是系统管理员非常关注的系统运维工具。新版本增加日志审计功能,系统管理员可追溯客户端的删除、打开文件/目录等重要操作的相关信息;同时支持对接 ELK 等工具对审计日志进行分析处理。

在 Fluid 中增加 YRCloudFile Runtime 支持

Fluid 是一个开源的基于 Kubernetes 的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如:大数据应用、AI 应用等。在计算和存储分离的大背景驱动下,Fluid 的目标是为 AI 与大数据云原生应用提供一层高效便捷的数据抽象,将数据从存储抽象出来。

通过 Kubernetes 服务提供的该数据层抽象,可以让数据在诸如 HDFS、OSS、Ceph 这样的存储源和 Kubernetes 上层的云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。而具体的数据操作对用户透明,用户不必再担心访问远端数据的效率,或是管理数据源的便捷性,以及如何帮助 Kubernetes 做出恰当的调度决策等运维问题。用户只需以 Kubernetes 原生数据卷的方式直接访问抽象出来的数据,剩余任务交给 Fluid 完成。

YRCloudFile 开发了符合 Fluid Runtime 接口的 YRCloudFile Runtime,使用 Fluid 的接口来对接 YRCloudFile 的 DataLoad 功能,让容器用户在 YRCloudFile 中创建存储卷,只使用 Kubernetes 的 API 接口就可以高效地使用对象存储中的数据 ,大幅提高数据访问的速度和效率。

性能强化又双叒叕提升

NFS/SMB 协议节点动态管理

系统管理员可以在集群运行过程中,动态增加 NFS/SMB 协议节点,通过调整 NFS/SMB 的协议节点,提升整个 YRCloudFile 集群对外提供 NFS/SMB 并发访问性能。

追加写性能优化

新版本在确保不同客户端、多进程之间追加写的数据正确性的前提下,提升了客户端追加写性能。经过实际测试,在单客户端对文件进行持续追加写的场景下(日志的典型 IO 模型),性能提升 3-5 倍,在全闪环境下,性能提升更为显著。

运维管理能力又双叒叕增强

在 YRCloudFile 6.9.0 版本中,我们持续优化增强监控告警、运维的能力,包括对 InfiniBand Multi-Channel(多个 InfiniBand 网卡)聚合网络的监控、客户端简化安装配置、系统参数动态配置、集群扩容的优化等功能。让运维管理人员更清晰地了解存储系统工作情况,灵活管理数据,使 YRCloudFile 的易用性再次加强。

总结

YRCloudFile 在持续深化性能优化的同时,不断适应用户在更多使用上的业务需求,拓宽在应用场景、接口上的支持。后续我们会进一步分享大数据存储解决方案以及性能深度解读的文章,让大家更好地了解 YRCloudFile 6.9.0 版本新功能,敬请期待。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/16014.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

查询不为空的字段

数据&#x1f4ca; idnameparent_id1党组织02陕西党委1314Null25渭南党委Null 实验⁉️ 查询int类型不为空的字段 select * from org where parent_id <> ""❌mybatis 中的 if判断会把整形中的 0 识别为false(空) select * from org where parent_id ! &quo…

体会多态的好

目录 继承和组合&#xff1a; 区别和联系 1.安全性角度&#xff08;封装性&#xff09; 2.灵活性角度&#xff08;牵一发动全身&#xff09; 多态&#xff1a; 一.怎样实现多态 1.完成向上转型 直接赋值&#xff1a;​​​​​​​ 方法传参 方法的返回值 2.完成方法重…

零基础数据科学学习 Python 的 4 个阶段

前言 如果你一直在自学 Python&#xff0c;那么你可能看过无数教程并遵循许多指南来获得这项技能&#xff0c;但是你怎么知道自己走在正确的道路上来掌握这项数据科学的基本技能&#xff1f; &#xff08;文末送读者福利&#xff09; Python 是一种实用的编程语言&#xff0c…

获取CSV文件,转成Excel格式的文件供用户从浏览器下载

前言 最近这十几天每天都很充实&#xff0c;刚完成了几个小需求&#xff1b;今天简单记录一下其中一个&#xff1a;从某系统获取csv文件&#xff0c;然后处理成可供用户在浏览器中下载的Excel文件&#xff1b; 这其中有解除到新的内容&#xff0c;也有利用项目已有的部分功能…

智慧图书馆解决方案-最新全套文件

智慧图书馆解决方案-最新全套文件一、建设背景二、思路架构三、建设方案四、获取 - 智慧图书馆全套最新解决方案合集一、建设背景 现下&#xff0c;传统图书馆已经难以适应时代的发展&#xff0c;图书盘点繁琐、管理模式落后、阅读时间和场地受限等问题&#xff0c;迫使传统图…

148. SAP UI5 表格数据如何导出成 Excel 文件(Table Export As Excel)

本教程前一步骤,我们在介绍 SAP UI5 SmartTable 时,提到了它的 Excel 导出功能。如果将 iseExportToExcel 设置为 true,就可以启用 Excel 导出功能,将 Table 控件显示的数据,导出成本地 Excel 文件。 我们仍然秉承本教程一贯从易到难的学习思路,先暂时不去碰 Smart Table…

30天消化MyBatis源码解析笔记,吊打面试官,offer接到手软

MyBatis 是一个优秀的 Java 持久化框架&#xff0c;SSM 框架组合&#xff08;Spring SpringMVC Mybatis&#xff09;&#xff0c;依赖 MyBatis 搭建的项目更是数不胜数&#xff0c;在互联网公司的使用中&#xff0c;占据了大片江山&#xff0c;你在使用 MyBatis 吗&#xff1…

嵌入式开发:RTOS调试——处理计时问题

毫无疑问&#xff0c;当你开始在嵌入式开发中使用实时操作系统(RTOS)时&#xff0c;会有一个学习曲线。你将在更高的抽象层次上工作&#xff0c;使用或多或少的并行任务&#xff0c;而不仅仅是子例程&#xff0c;并且你需要考虑你的任务应该如何彼此共享数据和处理器时间。你需…

一个系统五个场景,vivo的IoT能否以“慢”取胜?

近年来物联网声浪喧嚣尘上&#xff0c;但其实从移动互联网到IoT只有一步之遥。原因在于手机可以很好的完成“控制中枢”的作用&#xff0c;以手机为核心在IoT领域“开枝散叶”是目前行业的主流选择&#xff0c;这也是小米、华为等手机巨头在IoT领域如鱼得水、产品众多的重要原因…

企业如何防备密码攻击

在身份安全周&#xff0c;了解密码在网络安全中的重要性很有必要&#xff0c;如果您不小心&#xff0c;密码很容易被泄露。ManageEngine ADSelfService Plus如何帮助强化密码并增强企业组织安全性的呢&#xff1f; 现在是 2022 年——密码在今天仍然适用吗&#xff1f; 技术…

Docker(九)—— Docker 网络

我们之前通过端口映射实现过外部主机对容器的访问&#xff0c; 那如果想要实现两个容器之间的通信怎么办&#xff1f;用已有的经验&#xff0c;是像图中蓝色的线那样走吗&#xff1f; 一、Docker0网络 我们运行一个容器&#xff0c;进入容器内部后发现容器也有自己的IP地址。 而…

磁盘占用高问题如何排查?三步教你搞定

作者简介&#xff1a;杨嘉力&#xff0c;OceanBase开源内核高级工程师。 通常情况下&#xff0c;数据库对磁盘的占用量会随着业务的接入时间和业务数据量大增而不断上升&#xff0c;导致磁盘空间不足&#xff0c;进而发生数据无法写入、数据库无法重启等问题。这时我们就需要排…

CENTOS上的网络安全工具(十三)搬到Docker上(1)?

鉴于在集群上构建安全工具的情况越来越频繁&#xff0c;并且现在一些安全工具也提供了Docker形式的部署&#xff0c;再停留在虚拟机yum的部署方式似乎已经不太合时宜了。所以在再一次碰到一个安全工具需要使用docker安装的时候&#xff0c;我们毅然&#xff08;被逼&#xff09…

[附源码]SSM计算机毕业设计中小企业人事管理系统JAVA

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

[附源码]Python计算机毕业设计安庆师范大学校园互助平台

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…

C语言学习记录(十二)之字符串和字符串函数

文章目录一、字符串和字符串I/O1.1 定义字符串1.1.1 字符串字面量(字符串常量)1.1.2 字符串数组和初始化1.1.3 数组和指针1.1.4 数组和指针的区别二、字符串输入2.1 分配空间2.2 gets()函数 (不建议使用)2.3 gets()的替代品2.3.1 fgets()函数(和fputs())2.3.2 gets_s()函数2.3.…

【推荐算法毕业设计源码】个性化学习推荐网站的设计及实现丨可定制

登录该项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程等学习内容。 目录 一、项目介绍&#xff1a; 二、文档学习资料&#xff1a; 三、模块截图&#xff1a; 四、开发技术与运行环境&#xff1a; 五、代码展示&#xff1a; 六、数据库表截图&#x…

UE4 GIS Cesium for Unreal插件的使用 教程

效果&#xff1a;&#xff08;成都郫都区某区域的运行场景&#xff09; 步骤&#xff1a; 1.到虚幻商城搜索 cesiuml&#xff0c;点击Cesium for Unreal 打开后可以看到目前支持的版本有4.26-4.27和5.0 将其安装到引擎 大概0.2G 2.下载完成后&#xff0c;打开4.26版本的虚幻编…

Study Git - Shell command with Git

前言 这一部分内容主要记录git使用时的重要命令&#xff0c;文章参考&#xff1a; MIT Missing classGit Pro Basic git help \<command>: get help for a git commandgit init: creates a new git repo, with data stored in the .git directorygit status: tells yo…

pytest学习和使用9-fixture中conftest.py如何使用?

9-fixture中conftest.py如何使用&#xff1f;1 引入2 conftest.py简介3 conftest.py特点4 实例4.1 conftest.py4.2 test_conftest1.py4.3 test_conftest2.py5 conftest.py优先级1 引入 之前学习使用fixture前置实现用例的登陆&#xff0c;当时在一个脚本中实现的&#xff1b;那…