【科讯】青云革新架构赋能下一代文件存储

本篇文章2793字，读完约7分钟

出典:e-works作者:王阳

在7月27日举行的cloud insight conference云计算峰会上，云清云包括:云平台、超融合、软件定义存储、容器、集成云应用程序管理 推出了一系列新功能，涵盖企业级云模型ict产品线的布局、持续的企业级市场。 青云清云存储高级技术人员宁安接受了e-works记者的采访，与青云清云致力于下一代文件存储的产品分享了战术。

随着it技术的迅速发展，企业的数据以爆炸式的速度增长。 由于公司的新闻化系统、移动互联应用以及物品的互联网趋势，数据已经成为公司快速发展的重要生产要素。

另一方面，数据海洋增加了企业对大数据存储和分析的诉求，it面临着更多的挑战。 另一方面，软件定义存储( sds )成为未来存储的主流，出现了更多的存储处理方案，可以为企业客户更有效地处理数据存储、迁移、管理和保护。

据idc和维基百科预测，中国未来几年sds市场的年增长率将达到31.55%，2021年的规模将达到8.6亿美元。 根据gartner对中国sds市场的分析，更多的非结构化数据存储在由软件定义的存储管理的低价存储设备上。 其中，文件存储占当前市场诉求的64.7%，远远超过块存储的25%和目标存储的10.3%。

公司级文件存储的快速发展趋势

公司级文件存储的应用场景非常广泛，需要在金融、制造、媒体娱乐、广电等多个领域应用文件存储。 特别是在制造业，大量的终端设备带来了数据量的大幅增加，对存储的要求也在提高。

此外，文件复制管理的目标也在改变。 另一方面，公司产生的数据量呈指数增长，新闻资源急剧增长，另一方面，诞生了更多的非结构化数据，idc报告说80%的企业数据将成为非结构化数据。 这意味着以前流传下来的新闻资源管理技术已经无法应对大数据时代的课题了。

从公司级文件存储的快速发展趋势来看，到2000年为止，使用以前传输的nas硬件存储方案是主流。 在这个时期，硬件控制器决定存储系统的性能上限和容量上限，其资源很难由多系统共享，可扩展性差，价格高。 在许多企业中，内部文件存储经常使用公司自己安装或购买的服务器作为存储介质。 这种方式不仅价格高，对安全性也有很多弊端。

2000年以来出现了分布式文件系统。 首先，它分为两种体系结构:以hadoop hdfs和lusterfs为代表的集中式索引体系结构。 此体系结构中的文件数受单节点和索引节点的容量限制。 第二个是完全对等的hash体系结构，通过完全销毁单个索引节点来代表gluster和ceph。 这个体系结构的缺点是扩展不方便，一致性差。

将来会诞生新一代的文件存储吗？ 新一代文件存储需要这些特征吗？ 青云清云存储高级技术专家宁安在接受e-works记者采访时指出，未来的文件存储至少需要满足四个特征:首先，全面支持云应用，以前 二是根据需要采用并灵活扩展第三，智能管理和运输维度不会给人工运输维度带来很多价格问题第四，实现高可用性，保证7*24小时365天可用。

ceph架构中文件存储的优劣

宁安表示，ceph是一个开源分布式的sds产品存储系统，提供了对象存储、块存储和文件存储三种功能，但仍然有短板和限制。

客观来看，ceph架构的特征是可扩展性，磁盘数量直线增加，可以降低硬件的价格和运输价格，但其多和复杂带来很高的学习价格。

宁安在采访中介绍说，使用ceph架构文件存储功能一般有三种方案。 其中之一是通过使用cephfs接口，现在也处于不稳定的状态，不适合生产引进。 此外，元数据服务不能分散部署，因此是单点。 第二个是使用ceph的块存储接口，通过块设备装载到计算机上，对本地文件系统进行样式化，向文件系统提供nfs服务，发布数据。 这种方法的问题只是因为本地系统的限制，无法装载两个，所以无法平衡负载。 第三个基于ceph的对象存储接口+fuse的装载转换协议。 这种方法的问题是性能差，因为有协议转换的损失，这是对象存储接口，所以不能随机更改。

这也产生了ceph体系结构的四个问题。

首先是数据完整性的问题。 由于多个混列在不同的客户端具有不同的状态，难以维持各客户端的状态的一致性，因此ceph架构的第一个优点是基于客户端混列的数据定位，因此ceph架构存在数据一致性的问题。

其次是高可用性问题，如果无法恢复和迁移节点，则需要更改hash区间的分布，边更改边迁移会影响数据的一致性访问。 为了说明ceph中存在的高可用性缺陷，宁安举了一个实际的例子:一家大公司有40多个节点的ceph集群，有一天两台硬盘发生故障，这两台坏硬盘的数据迁移恢复了10个小时，因此过程中

第三个是ceph扩展性的问题，这也是hash引起的问题。 其扩展时一次只能增加1台，增加2台会损坏hash。 扩展时，在一台数据迁移完成之前，不能添加下一台。 所以不能突然扩张。 我只能做一点。

第四运输维多利亚很杂，公司必须投入大量的人力、物资价格，需要招募特别了解ceph的工程师。

青云青云云云新一代文件存储

为了适应新一代文件存储的四个特点，清stor文件存储提出了三种创新的体系结构。 首先，它基于分布式块存储neonsan。 高性能、一致的块存储，没有复盖分布式网关和neonsan两种节点的本地文件系统

二是无限级的扩展。 目录和文件分别存储的方案使元数据层可以存储所有索引目录，并找到文件的特定位置。 另一个组件是负责低层块设备的空间分配和事务管理的控制层。

第三，并行解决体系结构。 所有网关节点和neonsan节点都是完全互连的，节点之间可以相互访问，通过最短的路径。 集群中的数据复制和业务访问是分开的，分别通过不同的互联网。 这是因为数据迁移和扩展不会影响业务。

宁安基于清stor文件存储的三种创新体系结构，清stor文件存储的公司级特征是安全可靠、一致性高、可用性高、超高性能、灵活可调、价格最低

除此之外，青云清云的新一代清星文件存储还具有部署灵活性和可视化管理的功能。

作为部署的一部分，qingstor文件存储可以支持最小的三节点存储网关部署和三节点块存储部署。 对于互联网，也没有特别的要求，企业可以利用现有的交换机引入tcp/ip互联网，内部数据通信可以通过基于以太网的rdma (roce )实现低延迟的数据复制。 此外，企业可以选择的存储介质包括全闪存、基于sata的ssd缓存高速化和纯sata。

为了更有效地进行文件存储管理，清斯塔开发了可视化管理门户。 qingstor文件存储位于portal上，可以管理系统资源池，管理上层文件系统空间，可以窥探系统整体的运行状况和警告。

面向新一代的qingstor文件存储是青云qingcloud的三种存储产品之一，包括适合数据库和虚拟化方案的块存储方法neonsan。可以存储大量非结构化数据的对象