超融合存储关键技术及应用
来源:用户上传
作者:
摘 要:近年来超融合存储迎来了飞速发展。工业级和开源级超融合存储系统存在诸多不足。中兴通讯的超融合存储在可靠性、一致性、兼容性、扩展性、性能等方面突破了一系列关键技术。基于超融合存储的中兴云桌面产品在陕西高校市场实现了规模商用,低成本是未来研究方向。
关键词:超融合;存储;可靠
1 超融合存储概述
超融合基础架构是指基于通用的x86服务器硬件,通过虚拟化和分布式软件技术,提供计算、网络和存储的虚拟化资源服务,对外提供统一的资源池服务。超融合可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。近年来超融合存储迎来了飞速发展,多套存储设备可以通过网络聚合起来,实现模块化的无缝横向扩展,形成统一的存储资源池。
2 超融合存储发展现状
当前,国内外超融合存储软件的研究开发被划分为两大阵营:工业级和开源级:
(1)工业级的超融合存储系统包括:Nutanix、EMC ScaleIO、Vmware VSAN、SmartX ZBS等,其存在成本高昂、需要专业维护人员、几乎被国外IT巨头垄断等缺陷。以Nutanix为例,2013年就已经进入中国市场,但是经过几年的发展,市场份额始终难以达到预期。究其原因,Nutanix不能满足国内客户的真实需求,在中国只提供软硬一体机,不单独提供软件服务,这就导致中国企业必须将机房所有服务器都更换成Nutanix的一体机,一次性投入过大。
(2)开源级的超融合存储系统包括:Ceph RBD、Sheepdog、Gluster等,其存在稳定性不够、功能不够完善,不具备商用条件等缺陷。以Ceph为例,虽然在学术界引起了越来越多的关注,但代码和系统的发展方向本质是由RedHat公司控制,真正应用在生产系统的少之又少。主要原因包括:数据与负载的分布均衡性较差、代码质量低下、对小文件支持不足、整体性能不足。
为了克服上述工业级和开源级超融合存储系统的不足,迫切地需要研究开发具有兼容性强、稳定性强、功能完善、易运行维护的超融合存储系统。
3 中兴超融合存储的关键技术
ZXEBS是中兴通讯的超融合存储解决方案,在存储的可靠性、一致性、兼容性、可扩展性、性能等方面突破了一系列关键技术。
3.1 存储可靠性
可靠性方面通过多副本的方式,保证单个节点的损坏不会影响到数据的丢失。超融合存储的可靠性主要依赖多副本机制保障,通过分布在不同主机上的多份数据副本,避免在发生节点/数据损坏时丢失数据。当系统检测到节点故障时,需执行服务切换操作以保证可用性。在此过程中,应当保证用户请求不中断,无感知,同时,避免出现双主机同时接受更新操作等问题,保证强一致性。
3.2 数据一致性
在数据一致性方面,通过日志的方式进行序列化和不同节点直接的数据同步,确保强一致。首先保证更新操作的完整性和正确性,解决多客户端并发时的原子性和脏读问题。其次是副本间一致性保证,解决在磁盘损坏、网络分区等异常情况下,多个数据副本的一致性保证机制。
3.3 存储兼容性
超融合存储可直接用于替换本地磁盘、SAN等传统存储设备,保证上层应用无须作出任何修改。为保留现有软硬件投入,基于虚拟块设备驱动方式的访问接口能提供最大限度的兼容性、降低迁移成本。通过在Linux内核IO层实现自定义的块设备驱动,将IO请求通过网络转发到多个服务端并行处理,能够提供比iSCSI协议更高的效率以及更好的扩展性。
3.4 存储可扩展性
采用一致性HASH的方法,把数据均衡分布到节点中所有的磁盘上,充分发挥各个磁盘的能力,支持在线的服务节点的扩容和均衡。通过软件方式实现集群的动态扩容、减容,实现存储资源的按需分配,避免前期投入过大,降低后期扩容的实施复杂度。对于扩容\\减容,应当实现为在线的动态操作,避免停机影响线上业务。并在硬件资源调整后,通过数据迁移等方式,对数据、负载分布进行重新均衡,避免出现热点或资源利用不充分的情况。
3.5 存储高性能
通过SSD的加速,實现读写缓存的加速,大幅提升了存储IO性能。对于块设备,由于需要维护的元数据信息较少,其管理操作相对简单。基于常规的文件系统实现软件定义的块设备存储时,存在不必要的IO开销,降低了系统性能。优选的方式是,针对块设备的特点,开发本地KV文件系统作为替代,仅实现块设备所需接口,并针对性块设备的读写方式进行优化,提升性能。
4 中兴超融合存储的应用
基于超融合存储架构的中兴通讯uSmartView云桌面从2015年进入陕西高校市场,实现了在西北大学,陕西科技大学、西安电子科技大学等高校规模商用,提供软硬件一体化的云课堂解决方案。云课堂解决方案将桌面虚拟化技术和计算机教室完美结合,改变了传统计算机教室结构,实现了教学集中化、管理智能化、维护简单化,支持互联网方式访问桌面,在电子阅览室、多媒体教室、学校机房、老师办公、图书阅览室等环境下,通过兴云课堂教学管理软件,承载主课教学,支持多种师生互动方式和课堂管理方式,为师生提供良好的教学体验。
5 结论
中兴通讯的超融合存储解决方案在存储的可靠性、一致性、兼容性、可扩展性、性能等方面突破了一系列关键技术。如何在低成本的前提下满足上述关键技术特性,是未来的重点研究方向。
参考文献:
[1]吴明虎,张惟.浅谈“云”中的超融合[J].科技风,2017-08-15:75-76.
[2]杨腾飞,申培松,田雪,冯荣权.对象云存储中分类分级数据的访问控制方法.软件学报,2017,28(9):2334-2353.
[3]屠要峰.高性能、高可靠中兴超融合架构关键技术解析[J].通信世界,2017(9):55-56.
基金项目:深圳市科技创新委员会科技应用示范项目资金资助项目(No.SF20170036)
作者简介:韩银俊(1977-),男,高级工程师,主要研究方向为云计算平台。
转载注明来源:https://www.xzbu.com/1/view-15002748.htm