新闻资讯

了解金山云最新资讯

新闻资讯 > 金山云对象存储数据湖存储服务能力再升
金山云对象存储数据湖存储服务能力再升

2023-09-14 00:00:00

据IDC数据统计,2022年中国大数据市场总体IT投资规模约170亿美元,并在2026年增至364.9亿美元,实现规模翻倍,与全球总规模相比,中国市场在五年预测期内占比持续增高。湖仓一体作为核心数据管理架构,将对企业的海量多模数据管理和价值挖掘产生重要影响。


在数字化转型加速的当下,数据已成为企业最核心的资产之一,因为它既是高效生产的基础,又是经营决策的重要依据。在此背景下,金山云基于自身在存储方面十多年的积淀,升级了对象存储KS3-HDFS数据湖存储服务。KS3-HDFS服务是一款基于对象存储的数据湖访问加速产品,兼容HDFS协议,能够提供统一元数据管理能力,主要面向大数据生态等高吞吐、低延时计算分析场景,提供存储加速服务,解决用户在大数据场景下的本地存储成本过高、资源耦合、弹性不足等痛点。


除原有的S3协议外,KS3-HDFS数据湖存储还支持HDFS协议。这样一来,用户无需对现有的大数据分析应用做任何修改,即可像在原生HDFS中那样管理和访问数据。在支持常见目录语义的基础上,KS3-HDFS数据湖存储还优化了常见读操作List、Head,使得访问带宽全面提速,单链接可达100MB/s。


基于KS3自身弹性,金山云HDFS数据湖存储服务还解决了HDFS弹性不足、成本高和资源利用率低这3大问题,能够实现计算资源和弹性资源分别扩容,在极大降低存储成本的同时,提升资源利用率。更重要的是,KS3-HDFS数据湖存储服务通过Bucket配置,即开即用,以SDK的形式进行服务端访问,可自动扩展、冗余备份,可保证服务的可持续和数据安全。


在数据湖构建场景下,开放的数据湖需要对接各种计算引擎,且会面临计算资源与存储资源扩容速度不匹配、存储系统需对接多数据源的问题,而借助KS3-HDFS,便可支持多数据源、多计算引擎能力,进而实现计算存储分离,保证计算业务的访问性能。


面向离线分析场景,KS3-HDFS服务原生支持文件、目录语义和操作,支持目录原子性、毫秒级rename操作,适用于开源Hive、Spark离线数仓。


在交互查询分析场景下,通过数据、元数据加速等加速能力,实现不低于本地HDFS的性能,满足Presto/Trino等交互分析场景低延迟高吞吐要求。


金山云对象存储KS3-HDFS数据湖存储服务是基于对客户业务场景的深入洞察而推出的,能够满足用户提升资源利用率这一需求,助力企业进一步降本增效。


截至目前,金山云已经具备丰富和完善的存储产品矩阵,包括对象存储、归档存储、块存储、文件存储等,可针对不同业务场景,提供高可靠、低成本、安全的存储服务。公司也将基于自身的深厚积累,持续为客户提供更全能、性价比更高的存储服务,助力垂直行业释放数据价值。