浪潮高端存储的突破之路
- 来源:中国计算机报 smarty:if $article.tag?>
- 关键字:云计算,浪潮,存储 smarty:/if?>
- 发布时间:2013-12-25 13:34
——技术与应用并举
随着云计算的发展,浪潮作为国内云计算领导厂商,面向金融、电信、勘探勘测、空天信息、生物工程、气象、高性能计算、能源等海量数据业务应用的广大客户,自主研发的拥有完全自主知识产权的海量存储系统平台,可充分满足大中型企业对高性能、高可扩展性的要求。其中的代表产品包括浪潮AS10000、AS8000等。这些产品不仅技术先进,而且已经在许多行业得到了广泛应用。
浪潮AS10000在数字图书馆的应用
传统图书馆作为信息拥有者与提供者的图书文献机构,面临着自动化、数字化、网络化的挑战,需要不断地调整收藏结构和服务方式来适应信息社会的需求。全面实现海量电子图书资料存储、分布式信息存取和共享的数字图书馆应运而生。
数字图书馆是用数字技术处理和存储各种图文并茂文献的图书馆,实质上是一种多媒体制作的分布式信息系统。它把各种不同载体、不同地理位置的信息资源用数字技术存储,以便于跨越区域、面向对象的网络查询和传播。它涉及信息资源加工、存储、检索、传输和利用的全过程。通俗地说,数字图书馆就是虚拟的、没有围墙的图书馆,是基于网络环境下共建共享的可扩展的知识网络系统,是超大规模的、分布式的、便于使用的、没有时空限制的、可以实现跨库无缝链接与智能检索的知识中心。
数字图书馆需要大量的磁、光、电等新型存储媒介来存储文本、图像、声音、动画、影视作品等文献信息资源的数字化信息。海量数据信息的存储和管理是数字图书馆的显著特征之一。明确存储需求是规划存储方案的前提,数字图书馆数据信息资源的种类、数量、性质及用户利用的方式、用户的多少等,对分析存储系统的容量、性能、传输速度、可靠性等方面的要求起决定性的作用。
数字图书馆具有系统用户数量庞大,并发存取海量数据及业务类型多的特点。如何在复杂、多变的环境中提高基础设施资源的利用率和数据库用户访问效率,确保安全、高效、准确、全面地存取数据,是图书馆存储方案设计考虑的重点因素。
多种数据信息资源对重要性、安全性、再生性、读写性能、更新升级特性及保存时效性等有不同的要求。大文件的连续读写、要求带宽性能高。小文件随机读写,要求处理器的I/O性能,如数字期刊、数字图书等,这里资源访问频率很高,下载流量也比较大,对存储系统的IOPS要求很高。而采用关系型或非关系型数据库形式存储的数据库资源,是基于块级的存储,对这类资源的访问频率很高,需要频繁地传输数据块,因此,也要求存储系统有较高的读写带宽。对于多媒体资源的访问频率虽然不高,但读写数据流量非常大,也需要很好的传输性能。一个数字图书馆的数据信息种类繁多,形式复杂多样,数据的重要性程度不一,数据访问方式各异,因此数据信息的管理难度很高。数字图书馆的服务是全天候不间断的服务,尤其对那些关键数据的安全稳定性有相当高的要求,因此建立一个满足存储需求、运行稳定可靠的存储系统是数字图书馆建设的基本要求。
本方案基于浪潮海量存储系统AS10000构建数字图书馆业务系统。保存关键数据的图书馆自动化管理服务器和数据量增长较快的应用服务器,如镜像数据服务器、电子图书服务器、VOD服务器、FTP服务器、资源数据库服务器等将其接入FC-SAN体系,在保证高速I/O通信带宽的前提下由AS10000提供海量的数据存储空间。
浪潮AS10000产品是国内率先研制成功的多控制器和全交换体系结构的存储系统,使我国在高端存储领域实现从无到有的零突破,这一创新成果打破了国外厂商长期以来在高端存储系统方面的市场和技术垄断地位。AS10000存储系统采用scale-out横向扩展的存储架构,有效保证了存储系统对于容量、性能的横向扩展需求,其最大容量支持64PB海量存储空间;其海量的存储空间、大规模部署能力,提供了超高的并发访问能力,聚合带宽达到60GB/s,可同时支持6000并发访问,满足数字图书馆的复杂应用需求。
AS10000产品作为一个款高端存储系统,其所支持的应用系统要求具备更高的数据可靠性以及存储设备的可用性,必须在存储系统的内部实现更多的可靠性设计。为此研究并实现了部件和交换组件的冗余容错技术,实现了对控制器、磁盘、风扇等物理部件在线维护的支持,采用了多层级的心跳协议、故障监测、故障判断、故障隔离,实现了对多控制器之间服务自动切换的支持,从而在处理和存储的控制器层面保证了系统可靠性、可用性、可扩展性,满足了数字图书馆的可靠性需求。
浪潮AS8000实现统一管理
随着信息技术的不断发展,云计算、大数据、虚拟化等技术改变了传统IT的应用模式,基于虚拟化技术的存储系统逐渐成为前端复杂应用的支撑平台。如何保障数据安全,并且将迁移对主机业务的影响降到最低是我们在数据迁移过程中不得不考虑的问题。
数据迁移的方案多种多样,主要包括以下三种。
(1)基于主机的数据迁移:这种数据迁移模式不依赖于存储设备品牌、架构,但与操作系统、应用相关,需要在系统和应用层面作大量工作,如果采用第三方软件,一般需要购买license。除此之外,该种方案会大大占用主机资源,影响业务的正常运转。
(2)基于存储设备自身功能的数据迁移:要求迁移的源存储和目的存储为同一厂商的同构存储,需要购买数据复制license,所以该方案局限性大。
(3)磁带备份/恢复:备份/恢复的数据不但速率慢,需要停机时间长,而且在系统和应用层面的工作量大、可靠性低,该方案适用于小数据量的移植。
以上迁移方案虽然能够达到最终目的,但是综合考虑迁移过程复杂性、耗费时间、对业务影响程度等问题,显然已经不再是我们的首选。基于存储虚拟化技术来实现数据迁移将会带来更多惊喜。
具有虚拟化功能的存储系统,在实现后端存储统一池化管理的基础上,还可提供透明管理的功能,再结合卷镜像功能,实现在不影响业务正常运行的情况下,无缝将数据迁移到虚拟化存储设备中。
浪潮紧随时代发展的大潮,推陈出新,发布新一代统一管理的虚拟化存储产品AS8000,浪潮新一代AS8000存储系统传承了浪潮活性存储的产品设计理念,是根据客户不同数据保护需求推出的业界领先的数据保护应用平台。在统一的管理系统中为客户提供异构虚拟化整合、自动精简、无中断异构平台数据迁移、数据自动分层、数据实时压缩、本地/异地容灾等高级功能,极大限度地保障用户数据安全,为不同需求的用户提供了多种级别的解决方案。
新一代AS8000添加了透明数据迁移功能,用户大量的数据迁移工作可以借助AS8000透明的完成,整个迁移过程基本不会对用户的业务系统产生影响,AS8000切实承担起为用户应用系统保驾护航的重任。