传统外置存储系统或将迎来冬天(下)
- 来源:计算机世界 smarty:if $article.tag?>
- 关键字:外置存储系统,SAN,DAS smarty:/if?>
- 发布时间:2011-10-21 16:07
编者按:近10年来,由于数据量的迅速飙升,存储需求日益猛增,由此推动着存储技术日新月异地向前发展,并不断演绎着优胜劣汰的故事。现在被广泛采用的传统外置存储系统,因需求而生,随技术发展而更新换代。不过,固态硬盘和云计算等技术的出现,也许使这一存储形式遇到了前所未有的挑战。本文作者着力分析了外置存储系统的前世今生,以及未来的前景,分上、下两期连载,本报上期已刊登了本文的第一部分。
今生遭遇挑战
固态存储介质
终将一统天下
(续上期)
1. 历史“轮回”
外置存储控制器的前世形态其实是插在服务器里的RAID卡,那么,之后为何会发展成为独立的“存储系统”呢?其中有多种因素,性能和空间为主要因素。另外,用于多主机共享存储也是因素之一,不过,这个因素目前看来有点“鸡肋”,到底有多少主机需要与其他主机共享空间呢?它们只是在“共享同一个设备”。真正需要共享空间的有两种情况,一种是特殊应用,比如视频领域、Web Server集群、HPC集群等,而这些场景毕竟有限;其次则是最近几年热起来的精简配置(Thin Provision)概念,确实可以做到全局空间动态分配回收,但又有多少人能真正用到它?从这一点上看,“多主机共享存储”这个因素不会阻止底层技术发展所导致的上层形态的变革。所以,共享同一个设备或同一个空间,只是为技术的发展所创造的一个噱头。而笔者相信,当存储形态重新轮回后,又会有新的噱头被创造出来。
所谓“轮回”,具体是指由于固态存储介质成本的不断下降、性能和容量的不断提升,以及体积的不断减小,在一台服务器中集成高密度、大容量、超高性能的Flash介质无疑还是最方便的存储形态。
想想看,你不再需要购买什么FC HBA、SAS HBA、Infiniband HBA,也不需要理会什么iSCSI、FC、SAS协议,部署时不需要连接一大堆线缆,更不需要购置什么所谓的“存储交换机”。而导致当年RAID卡进化为外置控制器的第一个问题,也就是服务器空间、容量和性能的问题,就这么轻易地被Flash固态介质解决了,而且解决得非常彻底。
至于第二个问题,也就是数据共享访问,上文已经说明了,其应用环境有限,有点鸡肋。但是,如果确实需要共享访问怎么办?也好办,外部网络带宽正飞速发展,多个独立服务器节点完全可以通过外部网络,将各自的存储介质通过某种分布式卷管理系统或分布式文件系统联合起来,形成一个大的共享存储池,这些技术已经比较成熟,尤其是云架构热起来之后,这些问题在技术上根本不是问题。
这就是“轮回”,外置存储控制器在出来“溜达”了一圈之后,最终遇上了Flash挡道,不得不乖乖地又“投胎”于前世的RAID卡,重回服务器机箱中,这是历史发展的规律。
2. 为什么要用SAN?
最近与企业IT管理员交流时,有人提出了类似“我为什么要使用SAN?”等问题,如果在几年前,我或许会直接回答“SAN可以消除孤岛,使数据共享”,等等。但今天,我不会再拿着这些当初被忽悠的词句去误导别人了,至少回答之前要问清楚其目前的业务类型、数据量以及后续需求等。
有人会问,数据如果不集中存放的话,备份怎么办呢?还可以集中备份和LAN-Free吗?其实,如果搞清楚备份数据流就无需担心这一问题。当前,就算是所谓“LAN-Free”也一样需要数据先从SAN阵列中读数据到主机,然后再从主机写到备份介质。笔者在另一篇文章《乱七八糟的“Free”》中对这些名词有详细的解释。而对于DAS模式下的备份,数据只是从每个服务器本地盘读出来,然后写到备份介质中,与SAN备份没有本质区别,甚至速度可以比SAN备份更快。至于所谓“集中备份”,除非使用NDMP设备到设备直接备份模式,那么这个“集中备份”也没有意义,现在数据先从主机读出再写到备份介质,依然是主流的备份方式,这与DAS下的备份数据流没有区别。
再来看看DAS模式下的容灾。在SAN模式下,直接通过两地的阵列做集中的数据远程复制与接收,确实比DAS模式下每个节点单独做复制要方便得多。但回头想想,如果这些节点是处于云中的,由两个云之间来做容灾,那么又会被统一起来。而且目前仍有非常多的系统采用的是基于应用层的数据复制,而不是底层存储层,比如Oracle DataGuard、DB2的HADR等。这类复制能够保证数据的一致性且可回放,底层存储有时并不能完全信任,10次中有2次会产生应用无法启动的数据不一致问题。
另外,SAN的另一个噱头,即“集中管理”。如果整个数据中心只有少数几台集中存储设备,那管理起来确实比较方便,尤其是对一个尚没有完善的自动化运维体系的数据中心来讲。在配置存储空间时,如果有一套比较好的管理软件,那么在一个全DAS环境中配置起来也不见得比配置集中存储来得复杂。但对于后期的维护操作,全DAS存储环境确实会增加不少复杂度,这就需要一套完善的自动化运维工具和体系来应对这个问题。
至于各种外置存储所提供的快照、重复数据删除(简称删重)、精简配置等数据管理特性,随着芯片性能的不断提升,在RAID卡上直接集成这些功能,将不再是难事。
总之,基于上述种种原因,最终会将目前的传统外置存储系统逼上绝路。
3. VTL成备份软件厂商的傀儡
VTL作为一种外置存储系统,已经存在很长时间了。其幕后始作俑者其实是一些主流的备份软件厂商。这些厂商在操控各种物理带库、磁带机和机械手方面拥有大量技术积累,一般厂商较难掌握,因此,他们要保留这套接口,哪怕介质从磁带换成了硬盘。对物理带库体系的操控、对上层应用的数据接口以及备份之后数据生命周期管理,这三大“法宝”就是这些厂商的生存根基,他们不想失去任何一个。
而少数创新型的备份软件厂商或初创不久的厂商则热衷于推广纯D2D备份,更专注上层的数据备份与恢复管理。这些厂商在物理带库、机械手等方面基本没有积累,因此,他们努力要使VTL彻底退位。
而后续低规格大容量的Flash作为备份介质是必然结果,如果那时候的数据和操控接口依然沿用传统物理带库的SCSI流式指令以及机械手控制指令,就说不过去了。由于Flash可以随机寻址,控制Flash选择和读写的是片选器(Chip Enabler)以及ASIC芯片,这些都是电子器件,何来机械手?
VTL接口被替代之后,下一步就需要数据记录格式的替代,让备份之后的数据直接可以看到,直接可以从备份介质中恢复到源端,而不是使用物理磁带的格式去读写和存放。
所以,传统物理磁带以及VTL备份介质体系也即将走向终结。
云计算架构终
将“埋没”存储
既然传统的存储外置盒子或将枯萎,那么是否可以寻找其他出路,比如虚拟化、数据迁移等数据管理方面的“智能一些的盒子”或者方案呢?很不幸的是,这条路可能也将会被堵住了。
1. 阵列能做的,云几乎都能做
什么是云存储或者存储云?笔者认为,传统外置存储就是用几个控制器挂上后端的磁盘扩展柜,然后对外提供存储空间;而存储云就是用一堆服务器上面跑的软件当做控制器,挂上后端一堆异构厂商的各种存储介质,包括JOBD、双控或者多控阵列、NAS、VTL、带库等,并向外提供各种不同访问方式的存储空间。服务器集群上跑的是某种分布式卷和/或分布式文件系统,这种系统具有原生的异构支持,不管底层使用哪家的阵列,都可以被收纳为存储资源。存储云还需要做各种数据管理功能,比如容错、快照、精简配置、删重、动态分级、克隆、迁移、远程复制、容灾等。这些特性,在一个分布式文件系统或者卷管理系统上是完全可以做的,但是一些比较耗费计算资源的,比如删重,则可以下放给底层设备来做。
云为何不信任,或者说不能够信任底层设备上原配的这些功能呢?答案很简单,就是对异构的支持。存储云中不可能只有一家设备厂商的设备,而不同厂商设备之间的这些特性又是不兼容的,所以只有在上面的虚拟化层,也就是分布式数据管理层来处理这些特性,此时,外置存储系统就是彻彻底底的一块大硬盘,不管你是EMC Symmetrix还是HDS VSP/USP,还是JOBD,甚至是服务器本地磁盘,是否是Scale-Out架构甚至都已经没有意义,因为上层的虚拟化层自己可以Scale-Out。对于云来讲,或许只有磁盘有意义,其他比如JBOD、控制器、Scale-Out架构之类,云统统不在乎。
2. 观VMware动作,体会后续趋势
如今VMware已经是云架构中的核心角色。既然成为核心,那么,它就有权利发布一系列接口让别人来适配它,从第一个比较系统的VAAI,到第二个VASA,再到将来会发布的第三代API。
在第一代VAAI中,VMware只是将一些原本由Hypervisor做的数据操作工作下放给了外部存储系统来做,以提高效率。从其全名vStorage APIs for Array Integration就可以隐隐领会出VMware还是比较看重外置存储的,能够将重要任务交给它们。
而在第二代VASA(vStorage APIs for Storage Awareness)中,显然可以看出VMware进一步控制外部存储的欲望,VMware需要了解到更多的外部存储的信息。做过底层存储开发的人都知道,硬盘驱动程序会探知控制器后面所挂的硬盘的各种信息,包括容量、是否支持WriteBack模式缓存及具体类型、是否支持队列、最大传输单元等。而VMware这套VASA接口分明就是做了硬盘驱动的工作,以便后续更好地对外置存储进行控制。显然,外置存储对于VMware来说,就相当于一块大硬盘。
在今年的VMworld大会上,VMware的动作则已经显露无疑,VMware计划将vSphere环境中的存储管理和精简配置进行“根本性的”改变,无需再设置LUN、RAID组合NAS挂载点,VMware工程师Satyam Vaghani称新版API将使用工具,如I/O Demultiplexer、Capacity Pool以及VM Volume。对于第三代存储API的细节目前尚不知,但从字面上来看,第三代API将会对外部存储实现彻底的大统一,任何存储厂商在VSphere下都会被同质化,谁也别想冒出来,那些传统的特性对于VMware存储虚拟层来讲,都是“小儿科”。
各厂商在新产品的宣传噱头上,除了硬件规格之外(其实硬件规格大家都差不多),就是对固态存储介质的应用方案,再就是与云搭上边,也就是Thin以及VMware API支持。
因此,外置存储系统在经历了从服务器内置到外部独立控制器的进化过程之后,在虚拟服务器的召唤之下,其地位又回到了原点。
未来 前途渺茫?
这场残酷的严冬,对于国内外置存储厂商来讲,将会是一个异常难熬的过程。而那些专注于硬件上层功能、方案的存储厂商不会受到太大影响。比如备份容灾等,不管底层采用什么介质、什么架构,用户对备份和容灾的投入将是持续的。而且当机械操控协议彻底被废止,也就是VTL真正被淘汰之后,备份软件厂商就会更加专注于对数据的管理,且门槛会降低很多,从而催生更多的竞争者进入,而不再是几家在机械操控协议和兼容性方面有多年积累的厂商垄断市场。当然,这些厂商不能只在备份容灾方面发展,“存储”这个词不仅仅是硬件盒子+备份容灾,还有数据管理、应用存储优化等。
那些做盒子的传统外置存储厂商怎么办?这类厂商生存在IT生态链最底层,铺开大摊子,拼规格、拼价格、拼量,备货、物流、维护,好不热闹,可是这一层却是利润最低的。而现在其死敌——固态存储介质正在茁壮成长,IT大架构也在向着云方面发展,对此,它们只能望洋兴叹了。
因此,传统存储厂商转型迫在眉睫,尤其是那些专注于生产存储产品的厂商,要么做成全球最大的存储盒子加工厂,以量取胜,要么就往上走,让存储设备直接体现业务价值。而要往生态链高层迁徙的话,就必须脱离做盒子的老思想,盒子里面的东西能解决用户的问题,才是最重要的。
而如果想“傍”着云来做些东西的话,存储+云就是所谓的“云存储”吗?“云存储”其实并不存在,任何形式的存储都是云存储,包括单块硬盘。存在的只有存储云。前者是依然想以存储为中心,而这可以说是逆势而为。而存储云则是以云为中心,也就是以将任何形式的异构存储空间整合利用的云虚拟化层为中心。如果对这一点理解存在偏差,认为做云存储就是去做一款新形态的分布式存储硬件,那基本上还是走老路。
但是如果去做存储云,也就是专注于虚拟化整合,那么这与存储硬件就基本脱离关系了,而完全转向了数据中心管理软件,也就是网管领域,或者说自动化运维领域。
最后,不得不说一下赛门铁克的Storage Foundation(SF)产品,它可以适配任何异构存储,将底层存储空间虚拟化成大的统一存储池。但之前SF貌似生错了年代,太超前了。而今天,当云架构有这个诉求的时候,机会就摆在眼前了。赛门铁克已经拥有了多厂商支持的平台,那么对于它来讲,开发一个用于云底层的大统一的存储基础架构,从而为各种虚拟机Hypervisor提供底层资源是水到渠成的事情,我们静观其变吧。
后方被固态存储介质追杀,前方则遭遇云架构的围堵,传统外置存储,将会走进一条窄巷子,需要外置存储的场景将会仅限在少数行业的少数系统中,仅有少数厂商在这一市场挣扎存活,并等待着新技术革命时代的到来,甚至单纯的存储厂商或被IT巨鳄们收购也不是没可能。而我们这些所谓“做存储的”,出路又在何方?
特约撰稿 张冬
面对Flash,存储厂商众生相
既然Flash被看做是传统存储的死敌,那么,目前一些存储厂商对Flash是什么态度呢?
最早痛恨Flash的专业存储厂商是NetApp。笔者曾在文章《引领潮流、随波逐流、最后追赶潮流——在荆棘中挣扎前进的NetApp》中就WAFL与Flash之间的恩怨做过分析。但是不知道当初NetApp反对Flash是不是也有更深一层的担忧,即Flash或将革掉自己的命。但是大势不可挡,如今所有主流存储厂商都针对固态介质推出了产品,比如各种动态分级或缓存技术。NetApp的PAM加速卡就是一张插在其FAS阵列中的PCIe Flash卡,其被用做WAFL文件系统的缓存,而不是直接承载WAFL主体数据。NetApp也曾经说过,将来存储系统中只有两种介质:SSD+SATA,但至少目前看来,NetApp最新的FAS阵列依然是支持SAS与FC磁盘。
EMC对待固态介质的态度一向都是积极的,它知道固态介质势不可挡,逃避是没有用的,也曾经大有信心地说SSD将取代FC盘,并且从FAST 1.0到FAST 2.0再到FAST VP,一直不遗余力地让SSD在阵列上发挥着最大价值。其他厂商则基本都是追随者、支持SSD,包括开发动态数据分级/缓存方案,以及在内核中针对Flash介质特有的IO特性做各方面的优化。
Fusion-io是一家专做PCIe Flash卡的尖兵厂商,在互联网后端这个细分市场占据了不少市场份额。互联网企业IT系统的前端和后端是当今最流行的IT技术的发源地,从这里也可以对后续IT领域的发展趋势窥探一二。Fusion-io的卡,说白了就是一种DAS(Direct Attached Storage)方式,但你能说它相对于SAN方式是一种倒退么?肯定不是,与其说是倒退,不如说是轮回。能在服务器本地满足IO性能,又何必去花大价钱买个高端存储且性能还不够?
面对Fusion-io,EMC能不有所动吗?这不,EMC今年5月发布了所谓“闪电计划”,也开始搞插在服务器上的PCIe Flash卡,作为阵列的前置缓存,然而EMC真正想销售的还是其阵列。所以“闪电计划”的最终目的其实是EMC想通过服务器主机端的PCIe卡产生一个链带,后端还是要购买EMC的存储阵列,这样看来,在互联网后端,“闪电计划”肯定不被看好,而又不能眼看“金子”被别人挖走,于是收购GreenPlum就是一步棋。
PCIe Flash是所有传统存储厂商的对手,虽然有厂商,如NetApp,将PCIe Flash卡用到自己阵列里给自己加速,但是敌人永远是敌人。
固态存储介质让传统外置存储难受其实还有另外一个原因。传统外置存储控制器一般为每台设备双控制器,这台设备后端如果挂太多的SSD,由于固态介质响应时间和IOPS“过高”,则会无法发挥出这些SSD的性能,可能在20块左右就可以饱和一台中端存储的性能。如果后续SSD真的全面取代旋转硬盘,那么,外置存储控制器就会成为大瓶颈,陷入不利环境。从这一点上来看,传统外置存储走向Scale-Out分布式,增加CPU/RAM与盘数的比例,是支撑全SSD的一个必要条件。(文/张冬)
作者简介
张冬,资深存储专家,《大话存储》及《大话存储2》的作者。多年来一直从事存储技术的设计、研发及传授,拥有3项技术专利。现任职于某知名厂商,负责存储产品/方案的设计与开发工作。
UPS国家标准即将修订
国家标准GB14715《信息技术设备用不间断电源通用技术条件》是由原机械电子工业部提出,机械电子工业部电子标准化研究所等单位起草,根据国家标准编制计划(计划代号GB6001)编制而成的,并于1993年正式发布。该标准属产品标准,国际上尚无相关标准与之对照,标准的技术水平属国际上20世纪90年代初期水平。
标准发布后,对我国不间断电源(UPS)的生产、使用起到了积极的作用。迄今为止,国家质量技术监督局对UPS产品进行专项监督抽查、中央政府采购UPS技术条件的设定及司法部门的量裁依据,都是引用该项标准。
但是,十几年过去了,UPS的性能指标、制造技术、使用方式及信息技术设备的环境要求都有了很大的变化,一些新式的不间断电源系统在原标准中也尚未规定。原标准编写时,在信息系统应用中,小功率的UPS产量多、数量大,处于市场的主体地位,如今随着数据中心规模的发展,大功率、多机并机的使用方式已成流行趋势。
为了适应这些变化,更准确地评价UPS的技术水平,更好地为信息技术设备的使用服务,急需对原标准进行修订。
2008年,中国电子技术标准化研究所提出了修订申请,国家标准化委员会下达了修订计划,技术归口由全国信息技术标准化技术委员会负责。此次修订标准的主要目的是提出一个满足信息技术设备使用的UPS通用技术条件,主要适用于信息技术设备用UPS,其他场合使用的UPS可参照本标准,是制定型号产品标准的依据。此次修订标准中将规范UPS产品的技术要求、试验方法、检验规则等,对促进我国的信息技术的发展将起到积极的作用。
此次修订标准主要规定在信息领域中所使用UPS所应具备的技术条件,并为评价这些技术条件提供一个标准的性能指标要求、试验方法和检测规则。这个技术条件将用客观的参数与指标用于评价与规定。该技术条件不依赖、也不规定任何特定的UPS技术,实际上是完全通用的,能够适应于任何特定UPS技术,如工频机、高频机、塔式机、模块化机等。
此次修订标准将从广泛通用的角度,给出信息技术设备使用的UPS的适用要求,主要包括;不间断电源的分类;不间断电源的主要性能要求;不间断电源的试验方法;不间断电源的检验规则;不间断电源的标志、包装、运输、贮存。
该项标准的制定已于近日启动,编写组由有实际使用经验的用户、有实力的生产企业、科学研究单位等各方面的专家组成,并开始技术分析和调研工作。
中国人民银行清算总中心 王力坚
……
今生遭遇挑战
固态存储介质
终将一统天下
(续上期)
1. 历史“轮回”
外置存储控制器的前世形态其实是插在服务器里的RAID卡,那么,之后为何会发展成为独立的“存储系统”呢?其中有多种因素,性能和空间为主要因素。另外,用于多主机共享存储也是因素之一,不过,这个因素目前看来有点“鸡肋”,到底有多少主机需要与其他主机共享空间呢?它们只是在“共享同一个设备”。真正需要共享空间的有两种情况,一种是特殊应用,比如视频领域、Web Server集群、HPC集群等,而这些场景毕竟有限;其次则是最近几年热起来的精简配置(Thin Provision)概念,确实可以做到全局空间动态分配回收,但又有多少人能真正用到它?从这一点上看,“多主机共享存储”这个因素不会阻止底层技术发展所导致的上层形态的变革。所以,共享同一个设备或同一个空间,只是为技术的发展所创造的一个噱头。而笔者相信,当存储形态重新轮回后,又会有新的噱头被创造出来。
所谓“轮回”,具体是指由于固态存储介质成本的不断下降、性能和容量的不断提升,以及体积的不断减小,在一台服务器中集成高密度、大容量、超高性能的Flash介质无疑还是最方便的存储形态。
想想看,你不再需要购买什么FC HBA、SAS HBA、Infiniband HBA,也不需要理会什么iSCSI、FC、SAS协议,部署时不需要连接一大堆线缆,更不需要购置什么所谓的“存储交换机”。而导致当年RAID卡进化为外置控制器的第一个问题,也就是服务器空间、容量和性能的问题,就这么轻易地被Flash固态介质解决了,而且解决得非常彻底。
至于第二个问题,也就是数据共享访问,上文已经说明了,其应用环境有限,有点鸡肋。但是,如果确实需要共享访问怎么办?也好办,外部网络带宽正飞速发展,多个独立服务器节点完全可以通过外部网络,将各自的存储介质通过某种分布式卷管理系统或分布式文件系统联合起来,形成一个大的共享存储池,这些技术已经比较成熟,尤其是云架构热起来之后,这些问题在技术上根本不是问题。
这就是“轮回”,外置存储控制器在出来“溜达”了一圈之后,最终遇上了Flash挡道,不得不乖乖地又“投胎”于前世的RAID卡,重回服务器机箱中,这是历史发展的规律。
2. 为什么要用SAN?
最近与企业IT管理员交流时,有人提出了类似“我为什么要使用SAN?”等问题,如果在几年前,我或许会直接回答“SAN可以消除孤岛,使数据共享”,等等。但今天,我不会再拿着这些当初被忽悠的词句去误导别人了,至少回答之前要问清楚其目前的业务类型、数据量以及后续需求等。
有人会问,数据如果不集中存放的话,备份怎么办呢?还可以集中备份和LAN-Free吗?其实,如果搞清楚备份数据流就无需担心这一问题。当前,就算是所谓“LAN-Free”也一样需要数据先从SAN阵列中读数据到主机,然后再从主机写到备份介质。笔者在另一篇文章《乱七八糟的“Free”》中对这些名词有详细的解释。而对于DAS模式下的备份,数据只是从每个服务器本地盘读出来,然后写到备份介质中,与SAN备份没有本质区别,甚至速度可以比SAN备份更快。至于所谓“集中备份”,除非使用NDMP设备到设备直接备份模式,那么这个“集中备份”也没有意义,现在数据先从主机读出再写到备份介质,依然是主流的备份方式,这与DAS下的备份数据流没有区别。
再来看看DAS模式下的容灾。在SAN模式下,直接通过两地的阵列做集中的数据远程复制与接收,确实比DAS模式下每个节点单独做复制要方便得多。但回头想想,如果这些节点是处于云中的,由两个云之间来做容灾,那么又会被统一起来。而且目前仍有非常多的系统采用的是基于应用层的数据复制,而不是底层存储层,比如Oracle DataGuard、DB2的HADR等。这类复制能够保证数据的一致性且可回放,底层存储有时并不能完全信任,10次中有2次会产生应用无法启动的数据不一致问题。
另外,SAN的另一个噱头,即“集中管理”。如果整个数据中心只有少数几台集中存储设备,那管理起来确实比较方便,尤其是对一个尚没有完善的自动化运维体系的数据中心来讲。在配置存储空间时,如果有一套比较好的管理软件,那么在一个全DAS环境中配置起来也不见得比配置集中存储来得复杂。但对于后期的维护操作,全DAS存储环境确实会增加不少复杂度,这就需要一套完善的自动化运维工具和体系来应对这个问题。
至于各种外置存储所提供的快照、重复数据删除(简称删重)、精简配置等数据管理特性,随着芯片性能的不断提升,在RAID卡上直接集成这些功能,将不再是难事。
总之,基于上述种种原因,最终会将目前的传统外置存储系统逼上绝路。
3. VTL成备份软件厂商的傀儡
VTL作为一种外置存储系统,已经存在很长时间了。其幕后始作俑者其实是一些主流的备份软件厂商。这些厂商在操控各种物理带库、磁带机和机械手方面拥有大量技术积累,一般厂商较难掌握,因此,他们要保留这套接口,哪怕介质从磁带换成了硬盘。对物理带库体系的操控、对上层应用的数据接口以及备份之后数据生命周期管理,这三大“法宝”就是这些厂商的生存根基,他们不想失去任何一个。
而少数创新型的备份软件厂商或初创不久的厂商则热衷于推广纯D2D备份,更专注上层的数据备份与恢复管理。这些厂商在物理带库、机械手等方面基本没有积累,因此,他们努力要使VTL彻底退位。
而后续低规格大容量的Flash作为备份介质是必然结果,如果那时候的数据和操控接口依然沿用传统物理带库的SCSI流式指令以及机械手控制指令,就说不过去了。由于Flash可以随机寻址,控制Flash选择和读写的是片选器(Chip Enabler)以及ASIC芯片,这些都是电子器件,何来机械手?
VTL接口被替代之后,下一步就需要数据记录格式的替代,让备份之后的数据直接可以看到,直接可以从备份介质中恢复到源端,而不是使用物理磁带的格式去读写和存放。
所以,传统物理磁带以及VTL备份介质体系也即将走向终结。
云计算架构终
将“埋没”存储
既然传统的存储外置盒子或将枯萎,那么是否可以寻找其他出路,比如虚拟化、数据迁移等数据管理方面的“智能一些的盒子”或者方案呢?很不幸的是,这条路可能也将会被堵住了。
1. 阵列能做的,云几乎都能做
什么是云存储或者存储云?笔者认为,传统外置存储就是用几个控制器挂上后端的磁盘扩展柜,然后对外提供存储空间;而存储云就是用一堆服务器上面跑的软件当做控制器,挂上后端一堆异构厂商的各种存储介质,包括JOBD、双控或者多控阵列、NAS、VTL、带库等,并向外提供各种不同访问方式的存储空间。服务器集群上跑的是某种分布式卷和/或分布式文件系统,这种系统具有原生的异构支持,不管底层使用哪家的阵列,都可以被收纳为存储资源。存储云还需要做各种数据管理功能,比如容错、快照、精简配置、删重、动态分级、克隆、迁移、远程复制、容灾等。这些特性,在一个分布式文件系统或者卷管理系统上是完全可以做的,但是一些比较耗费计算资源的,比如删重,则可以下放给底层设备来做。
云为何不信任,或者说不能够信任底层设备上原配的这些功能呢?答案很简单,就是对异构的支持。存储云中不可能只有一家设备厂商的设备,而不同厂商设备之间的这些特性又是不兼容的,所以只有在上面的虚拟化层,也就是分布式数据管理层来处理这些特性,此时,外置存储系统就是彻彻底底的一块大硬盘,不管你是EMC Symmetrix还是HDS VSP/USP,还是JOBD,甚至是服务器本地磁盘,是否是Scale-Out架构甚至都已经没有意义,因为上层的虚拟化层自己可以Scale-Out。对于云来讲,或许只有磁盘有意义,其他比如JBOD、控制器、Scale-Out架构之类,云统统不在乎。
2. 观VMware动作,体会后续趋势
如今VMware已经是云架构中的核心角色。既然成为核心,那么,它就有权利发布一系列接口让别人来适配它,从第一个比较系统的VAAI,到第二个VASA,再到将来会发布的第三代API。
在第一代VAAI中,VMware只是将一些原本由Hypervisor做的数据操作工作下放给了外部存储系统来做,以提高效率。从其全名vStorage APIs for Array Integration就可以隐隐领会出VMware还是比较看重外置存储的,能够将重要任务交给它们。
而在第二代VASA(vStorage APIs for Storage Awareness)中,显然可以看出VMware进一步控制外部存储的欲望,VMware需要了解到更多的外部存储的信息。做过底层存储开发的人都知道,硬盘驱动程序会探知控制器后面所挂的硬盘的各种信息,包括容量、是否支持WriteBack模式缓存及具体类型、是否支持队列、最大传输单元等。而VMware这套VASA接口分明就是做了硬盘驱动的工作,以便后续更好地对外置存储进行控制。显然,外置存储对于VMware来说,就相当于一块大硬盘。
在今年的VMworld大会上,VMware的动作则已经显露无疑,VMware计划将vSphere环境中的存储管理和精简配置进行“根本性的”改变,无需再设置LUN、RAID组合NAS挂载点,VMware工程师Satyam Vaghani称新版API将使用工具,如I/O Demultiplexer、Capacity Pool以及VM Volume。对于第三代存储API的细节目前尚不知,但从字面上来看,第三代API将会对外部存储实现彻底的大统一,任何存储厂商在VSphere下都会被同质化,谁也别想冒出来,那些传统的特性对于VMware存储虚拟层来讲,都是“小儿科”。
各厂商在新产品的宣传噱头上,除了硬件规格之外(其实硬件规格大家都差不多),就是对固态存储介质的应用方案,再就是与云搭上边,也就是Thin以及VMware API支持。
因此,外置存储系统在经历了从服务器内置到外部独立控制器的进化过程之后,在虚拟服务器的召唤之下,其地位又回到了原点。
未来 前途渺茫?
这场残酷的严冬,对于国内外置存储厂商来讲,将会是一个异常难熬的过程。而那些专注于硬件上层功能、方案的存储厂商不会受到太大影响。比如备份容灾等,不管底层采用什么介质、什么架构,用户对备份和容灾的投入将是持续的。而且当机械操控协议彻底被废止,也就是VTL真正被淘汰之后,备份软件厂商就会更加专注于对数据的管理,且门槛会降低很多,从而催生更多的竞争者进入,而不再是几家在机械操控协议和兼容性方面有多年积累的厂商垄断市场。当然,这些厂商不能只在备份容灾方面发展,“存储”这个词不仅仅是硬件盒子+备份容灾,还有数据管理、应用存储优化等。
那些做盒子的传统外置存储厂商怎么办?这类厂商生存在IT生态链最底层,铺开大摊子,拼规格、拼价格、拼量,备货、物流、维护,好不热闹,可是这一层却是利润最低的。而现在其死敌——固态存储介质正在茁壮成长,IT大架构也在向着云方面发展,对此,它们只能望洋兴叹了。
因此,传统存储厂商转型迫在眉睫,尤其是那些专注于生产存储产品的厂商,要么做成全球最大的存储盒子加工厂,以量取胜,要么就往上走,让存储设备直接体现业务价值。而要往生态链高层迁徙的话,就必须脱离做盒子的老思想,盒子里面的东西能解决用户的问题,才是最重要的。
而如果想“傍”着云来做些东西的话,存储+云就是所谓的“云存储”吗?“云存储”其实并不存在,任何形式的存储都是云存储,包括单块硬盘。存在的只有存储云。前者是依然想以存储为中心,而这可以说是逆势而为。而存储云则是以云为中心,也就是以将任何形式的异构存储空间整合利用的云虚拟化层为中心。如果对这一点理解存在偏差,认为做云存储就是去做一款新形态的分布式存储硬件,那基本上还是走老路。
但是如果去做存储云,也就是专注于虚拟化整合,那么这与存储硬件就基本脱离关系了,而完全转向了数据中心管理软件,也就是网管领域,或者说自动化运维领域。
最后,不得不说一下赛门铁克的Storage Foundation(SF)产品,它可以适配任何异构存储,将底层存储空间虚拟化成大的统一存储池。但之前SF貌似生错了年代,太超前了。而今天,当云架构有这个诉求的时候,机会就摆在眼前了。赛门铁克已经拥有了多厂商支持的平台,那么对于它来讲,开发一个用于云底层的大统一的存储基础架构,从而为各种虚拟机Hypervisor提供底层资源是水到渠成的事情,我们静观其变吧。
后方被固态存储介质追杀,前方则遭遇云架构的围堵,传统外置存储,将会走进一条窄巷子,需要外置存储的场景将会仅限在少数行业的少数系统中,仅有少数厂商在这一市场挣扎存活,并等待着新技术革命时代的到来,甚至单纯的存储厂商或被IT巨鳄们收购也不是没可能。而我们这些所谓“做存储的”,出路又在何方?
特约撰稿 张冬
面对Flash,存储厂商众生相
既然Flash被看做是传统存储的死敌,那么,目前一些存储厂商对Flash是什么态度呢?
最早痛恨Flash的专业存储厂商是NetApp。笔者曾在文章《引领潮流、随波逐流、最后追赶潮流——在荆棘中挣扎前进的NetApp》中就WAFL与Flash之间的恩怨做过分析。但是不知道当初NetApp反对Flash是不是也有更深一层的担忧,即Flash或将革掉自己的命。但是大势不可挡,如今所有主流存储厂商都针对固态介质推出了产品,比如各种动态分级或缓存技术。NetApp的PAM加速卡就是一张插在其FAS阵列中的PCIe Flash卡,其被用做WAFL文件系统的缓存,而不是直接承载WAFL主体数据。NetApp也曾经说过,将来存储系统中只有两种介质:SSD+SATA,但至少目前看来,NetApp最新的FAS阵列依然是支持SAS与FC磁盘。
EMC对待固态介质的态度一向都是积极的,它知道固态介质势不可挡,逃避是没有用的,也曾经大有信心地说SSD将取代FC盘,并且从FAST 1.0到FAST 2.0再到FAST VP,一直不遗余力地让SSD在阵列上发挥着最大价值。其他厂商则基本都是追随者、支持SSD,包括开发动态数据分级/缓存方案,以及在内核中针对Flash介质特有的IO特性做各方面的优化。
Fusion-io是一家专做PCIe Flash卡的尖兵厂商,在互联网后端这个细分市场占据了不少市场份额。互联网企业IT系统的前端和后端是当今最流行的IT技术的发源地,从这里也可以对后续IT领域的发展趋势窥探一二。Fusion-io的卡,说白了就是一种DAS(Direct Attached Storage)方式,但你能说它相对于SAN方式是一种倒退么?肯定不是,与其说是倒退,不如说是轮回。能在服务器本地满足IO性能,又何必去花大价钱买个高端存储且性能还不够?
面对Fusion-io,EMC能不有所动吗?这不,EMC今年5月发布了所谓“闪电计划”,也开始搞插在服务器上的PCIe Flash卡,作为阵列的前置缓存,然而EMC真正想销售的还是其阵列。所以“闪电计划”的最终目的其实是EMC想通过服务器主机端的PCIe卡产生一个链带,后端还是要购买EMC的存储阵列,这样看来,在互联网后端,“闪电计划”肯定不被看好,而又不能眼看“金子”被别人挖走,于是收购GreenPlum就是一步棋。
PCIe Flash是所有传统存储厂商的对手,虽然有厂商,如NetApp,将PCIe Flash卡用到自己阵列里给自己加速,但是敌人永远是敌人。
固态存储介质让传统外置存储难受其实还有另外一个原因。传统外置存储控制器一般为每台设备双控制器,这台设备后端如果挂太多的SSD,由于固态介质响应时间和IOPS“过高”,则会无法发挥出这些SSD的性能,可能在20块左右就可以饱和一台中端存储的性能。如果后续SSD真的全面取代旋转硬盘,那么,外置存储控制器就会成为大瓶颈,陷入不利环境。从这一点上来看,传统外置存储走向Scale-Out分布式,增加CPU/RAM与盘数的比例,是支撑全SSD的一个必要条件。(文/张冬)
作者简介
张冬,资深存储专家,《大话存储》及《大话存储2》的作者。多年来一直从事存储技术的设计、研发及传授,拥有3项技术专利。现任职于某知名厂商,负责存储产品/方案的设计与开发工作。
UPS国家标准即将修订
国家标准GB14715《信息技术设备用不间断电源通用技术条件》是由原机械电子工业部提出,机械电子工业部电子标准化研究所等单位起草,根据国家标准编制计划(计划代号GB6001)编制而成的,并于1993年正式发布。该标准属产品标准,国际上尚无相关标准与之对照,标准的技术水平属国际上20世纪90年代初期水平。
标准发布后,对我国不间断电源(UPS)的生产、使用起到了积极的作用。迄今为止,国家质量技术监督局对UPS产品进行专项监督抽查、中央政府采购UPS技术条件的设定及司法部门的量裁依据,都是引用该项标准。
但是,十几年过去了,UPS的性能指标、制造技术、使用方式及信息技术设备的环境要求都有了很大的变化,一些新式的不间断电源系统在原标准中也尚未规定。原标准编写时,在信息系统应用中,小功率的UPS产量多、数量大,处于市场的主体地位,如今随着数据中心规模的发展,大功率、多机并机的使用方式已成流行趋势。
为了适应这些变化,更准确地评价UPS的技术水平,更好地为信息技术设备的使用服务,急需对原标准进行修订。
2008年,中国电子技术标准化研究所提出了修订申请,国家标准化委员会下达了修订计划,技术归口由全国信息技术标准化技术委员会负责。此次修订标准的主要目的是提出一个满足信息技术设备使用的UPS通用技术条件,主要适用于信息技术设备用UPS,其他场合使用的UPS可参照本标准,是制定型号产品标准的依据。此次修订标准中将规范UPS产品的技术要求、试验方法、检验规则等,对促进我国的信息技术的发展将起到积极的作用。
此次修订标准主要规定在信息领域中所使用UPS所应具备的技术条件,并为评价这些技术条件提供一个标准的性能指标要求、试验方法和检测规则。这个技术条件将用客观的参数与指标用于评价与规定。该技术条件不依赖、也不规定任何特定的UPS技术,实际上是完全通用的,能够适应于任何特定UPS技术,如工频机、高频机、塔式机、模块化机等。
此次修订标准将从广泛通用的角度,给出信息技术设备使用的UPS的适用要求,主要包括;不间断电源的分类;不间断电源的主要性能要求;不间断电源的试验方法;不间断电源的检验规则;不间断电源的标志、包装、运输、贮存。
该项标准的制定已于近日启动,编写组由有实际使用经验的用户、有实力的生产企业、科学研究单位等各方面的专家组成,并开始技术分析和调研工作。
中国人民银行清算总中心 王力坚
