云计算·十年
- 来源:中国信息化周报 smarty:if $article.tag?>
- 关键字:云计算,亚马逊,虚拟化技术,小米 smarty:/if?>
- 发布时间:2016-06-23 11:27
从2006年至今,云计算的十年经历了概念探索期、技术落地期和应用繁荣期;接下来,它更将呈现应用领域化、资源泛在化和系统平台化;而未来,它还得直面开源、混合云、安全等问题。
工业和信息化部统计数据显示,“十二五”期间,国内云计算产业年均增长率超过30%,2015年已达1500亿元,2018年有望达8000亿元产值规模。2006年是云计算的元年,亚马逊利用虚拟化技术开创了硬件即服务的商业模式,要让计算资源可以像水电一样提供给公众使用。过去十年中,不论何种规模的公司,从福布斯500强巨头到小小夫妻店都使用云计算来实现了一定功能。
云历程
这个十年 三化一提升
“2006年是云计算的元年,亚马逊利用虚拟化技术开创了硬件即服务的商业模式,要让计算资源可以像水电一样提供给公众使用,可以说是云计算时代的开始。”5月18日,在第八届中国云计算大会上,《中国信息化周报》记者聆听了上海交通大学副校长、中国科学院院士梅宏回顾云计算的十年发展之路。
在梅宏看来,回顾过去十年,云计算的发展可以分为三个阶段:
第一阶段是概念探索期,人们在争论“云到底是什么”。从2007年到2010年,云计算硬件即服务的商业模式得到广泛认可,硬件资源虚拟化以及其管理技术迎来繁荣发展,同时这期间云基础设施开始采用开源。
第二阶段是技术落地期,共识基本形成,开始大众化。从2010年到2015年,OpenStark开始成为云服务和管理的重要技术手段。对涵盖计算存储网络的全硬件资源进行软件定义成为基本共识。云资源管理全面走向软件定义,对规模化资源进行高效管理,包括软件定义计算、软件定义网络、软件定义的存储。
第三阶段是应用繁荣期。从2015年开始呈现云计算应用繁荣景象,如何应对复杂多样的应用需求成为云计算重要的关注点,也是API经济的起点。2015年云计算开始考虑大数据处理,按相关统计,基于云的大数据投入增长速度是基于企业自建的大数据投资的三倍,大数据成为云计算的重要应用。
在这十年里,国家发布了一系列推动云计算及相关发展政策,各部委、各地方发起了各种云活动、云计划、云项目,大量企业也进行有效云实践,推动了我国云计算的发展。
对于未来云计算发展趋势以及展望,梅宏用“三化一提升”来概括。
应用领域化 应用领域化是指面向不同领域的各种应用需求的云不断出现。比如电力云、医疗云、交通云等。能不能提供面向不同领域的按需开发,提供支持云开发运行的API解决方案,从而支撑更多应用,是未来云发展在应用繁荣方面面临的重要挑战。
在这方面,云感知软件服务正成为一种新形态。软件即是服务概念已经提出很久,以前信息系统都是紧耦合、一体化的,而SOA出现之后带来了松耦合的分布式应用。现在,越来越多的应用运行在云中,通过基于云的服务或者微服务进行构建,充分利用各种API感知云环境中各种资源的变化。
资源泛在化 从桌面到后台,从客户端到服务器端,新型的计算机构让云和端融合形成新的架构,两边的软件资源、硬件资源、能耗资源可以合理分布,数据可以在两端合理分布并有效共享。这样,云端不仅可以支撑包括智能手机在内的移动端,甚至可以包括各种物联网设备。
在这种态势之下存在一个挑战就是泛在化环境下对新硬件、新介质的虚拟化管理,以及它们与原有系统资源的无缝管理。
在泛在化云资源下,云呈现出多种模式,包括公有云、私有云、混合云。怎样通过云计算将各种资源联合管理起来,从单云到多云,云之间的开放协作,多方云的深度合作,怎样方便定制云服务、获取云价值也是一种挑战,同时也是泛在的重要内容。
系统平台化 现在的云操作系统还没有到达我们所期望的形态和态势。操作系统是什么?目前云操作系统主要管理云的资源,上面支撑各种操作系统运行,而未来云操作系统除了管理云资源之外,还要管理云上面各种各样的作业,包括各种应用容器、中间件来支撑各类云服务,从而达到向下无限管理所有云端、终端的所有资源,向上对多种多样的资源应用按照需求提供相关的API服务。
云操作系统面临一系列挑战:一是复杂多样的应用需求与传统应用如何实现无缝云化,支持基于互联网多终端的交互,实现云内海量资源的管理;二是如何支持新的编程语言、新的编程方式、新的技术体系,云作业如何统一调度和管理跨云资源,服务协同的相关模式等。
所以,在新资源定制方面,软件定义是重要途径,要透过软件定义的方式完成深度定制,管理各种资源,实现分布式资源高效融合。
服务质量的提升 服务质量的提升用三个词语概括来讲,就是“更高、更快、更强壮”。“更高”意味着支持高吞吐,聚合大规模资源提供海量处理能力实现高吞吐并发访问,比如阿里巴巴双“十一”的交易,12306网站高峰时候的点击,还有其他各种大规模社交网络的访问等。
在高吞吐前提之下,同时还要“更快”做到快速响应,形成新的用户体验,提升服务质量。
“更强壮”体现在可靠可用上。通过各种技术方案来实现高可靠和高可用的云计算系统,比如非意识的存储机、内存数据处理、分布式UPS保证电源供给、数据并行、虚拟机容器动态迁移、冗余技术等。
云实践
小米多角度云端迁移
提到云计算一般会涉及两个方面的问题,一个是数据存储,另一个就是计算。谈及小米云平台存储技术,小米首席架构师、云平台负责人崔宝秋说:“小米云平台基于HBase、SDS、FDS,当然还有EMQ、Talos。其中EMQ有点像服务化的HDFS,随后是基于公有云和私有云的技术等。为什么要有自己的FDS和SDS,有两种原因,首先小米有国内和国际业务,会接入不同的公有云服务,基于成本的考虑需要有自己的私有云,在最顶层设置一个统一的接入层,把不同的私有云和公有云服务,通过小米内部互联网业务屏蔽掉。第二个方面当然也有灵活性和成本的考虑。”在小米私有云中,技术人员通过HFDS和FBase,可以做出很好的平衡。
小米云的存储技术层次多样,那计算技术又如何?崔宝秋总结道,从团队大小来讲,云计算团队和云存储团队是旗鼓相当的;从复杂度以及多元性来讲,云计算团队可能会更加多样化。通过这些开源的组件以及技术,团队能够很好地搭建出一个在线计算、实时计算的引入。例如EMR,这是小米大数据应用非常广泛的一个服务。
小米云之特色
谈到小米云平台的整体架构特殊性,不可不谈的是小米内部云。其中分了三个部分:第一部分是小米内部研发和测试、运维方面需要虚拟化的技术与资源;第二部分是所有小米互联网业务后台支撑,这个可以简单概括为两亿MIUI用户,智能手机所有的互联网服务,或者从云到端到端到云以及后台云的服务,甚至是大数据、搜索和其它互联网业务都可以在内部云来实现;第三部分也是小米内部云最主要方面,即小米云的大数据平台。
“小米内部云大数据团队也是我们非常重要的一个部门,提供了小米的数据管理、数据挖掘、数据服务。其中各种各样的数据都被我们打通了数据链接,消除了数据孤岛,涉及到统一的数据采集、数据上传、数据保护、隐私保护等。讲到大数据,不得不提安全和隐私,小米内部云提供了一整套的数据安全与隐私保护措施,从最初级的数据接入、数据上传、数据在内存再到磁盘中的存储,采用了很多对个人数据的保护与加密的措施。”崔宝秋补充道。
另外小米生态云也是小米云平台较为重要的组成部分,虽然成立时间不长,但是它的作用是把小米生态链的所有互联网业务、云端服务一站式搬到云端,为生态链合作伙伴、生态链企业提供一站式的云服务。例如,小米目前为止已经投资了50多家生态链企业,其中有20多家有云端业务,具备自身的后台服务,做到与用户相关的互联网连接以及后台到云端的智能支撑,其中包括一些数据保护、数据安全的问题,通过小米生态云提供一整套标准化的服务。
崔宝秋这样比喻,一站式的云服务就像创立一个创业园,其中有各式各样的楼层,里面分有小房间以及办公区域等。所有的生态链合作伙伴可以“拎包入住”,在几个小时内部署在小米生态云上。“大家有的会对这个产品比较了解,截至目前,小米已经成功接入27家生态云的服务,有的生态企业因为没有互联网的需求,所以就没有必要开展这项活动,但是有的企业涉及到智能设备,是需要后端云端的支持,所以大部分企业还是有生态云的需求。”崔宝秋强调。
长时间以来,小米都非常注重开源。云平台的搭建要追溯到三四年之前,最初以梳理服务器为主,再过渡到小米运维;随后很快就成立小米云平台,以开源技术为存储方式搭建云存储,快速满足了小米互联网的发展需要以及业界对大数据的迫切需求,如今小米开发和运维测试的需求全部通过hadoop来为其实现。
除此之外,小米融合云是最新的云端触发点。小米作为一个比较特殊的企业,通常会接入多家的公有云服务,也会有自己或者同其他企业合作的私有机房,在这种情况下,底层的存储与计算就会呈现多重来源的特征。如何把这些底层的云服务技术非常透明地提供给自己,尤其是对MIUI团队各种各样的互联网应用?以此为出发点,在所有的公有云和私有云上搭建一个小米融合云的产品,就会显得十分重要。小米融合云的目标是把底层的公有云服务、存储计算服务产品化、统一化,提供统一的API,让应用层、业务层实现他们的业务逻辑,不用担心下层应用的是金山云还是亚马逊云,更不用担心部署在国内还是在国外,这就是小米云计算。
业务脱壳 与时俱进
随着小米业务的发展,这几年不断实现了机房脱壳式的前进,但会面临这样的问题:一年前评估的存储量和带宽等需求往往很快就不能满足实际业务的发展需求。小米在过去几年中,从小到大淘汰一个个小的机房,不断需要容量更多的机房。随着国际业务的发展,业界对容灾要求的不断提升,小米也有了容灾的需求,基于Hbase多机房的设计有存储和备份,而异地备份主要是通过容灾来同步。
另外,小米云平台还可以搭建大数据平台,是小米云平台上更加靠近应用层技术性的软件服务和数据服务,小米大数据团队最开始由对内的数据服务逐渐向外提供数据服务。从底层的数据收集、数据存储,上层的管理、统计与展示,以至于挖掘算法、统一的架构平台、可视化等,一系列的大数据平台架构都是基于开源软件,基于小米云平台基础服务而成的。
目前小米的大数据应用有一系列的场景,包括搜索和推荐。搜索和推荐团队是小米云平台一个重要的偏业务团队,另外还有广告、精准运营,甚至是风控。小米有自己防黄牛、防盗号系统还有防止恶意入侵的设置,对于如何识别异常登录也可以通过大数据。如何挖掘信息,为用户提供科技化的服务,也是一个应用场景,相信未来小米的云端之路会更加宽阔畅通。
云实践
中国移动 云端的美妙之旅
日前,中国移动苏州研发中心总经理兼首席技术官孙少陵表示,未来整个通信系统以及IT系统将会辅助人进行思考,而云计算、大数据将在其中扮演非常重要的角色。
“中国移动在云计算方面入手较早,我们沿着云计算道路不断充实学习,在产业和技术研究上有非常好的启示。”中国移动政企客户负责人刘松华说。
移动云思想 特立独行
移动云是中国移动基于自己定位,向政府、企业、公众提供的公有云平台,现在业务活动涵盖了SaaS三个层次的产品。从中国移动的移动云架构中我们可以看到移动云“5+X”的服务,“5”代表全国的五个资源池,其中包括广州南方基地、国际信息港、哈尔滨、湖南长沙、呼和浩特,资源池均满足大体量的客户需求。
“X”代表边缘节点,是指中国移动30多个省以及各地资源池也都会纳入这个体系中,通过“5+X”的方式能够满足北上广热点地区的需求以及个性化的需求,同时能够更好地满足客户多地部署、异地容灾、备份的需求,统一满足客户的备份需要,仅仅通过一个平台来满足这些。由于中国移动各地资源池的技术架构各不相同,这样统一资源池的管理并接入统一的运营管理平台,就可以方便通过平台对外提供服务,给客户一套界面、一个服务、一个标准。
另外,移动云的产品体系涵盖了三个层面,在AS层面又涵盖了五个产品体系,其中在PaaS方面比较广,可以提供APaaS、应用云PaaS、数据PaaS等。“移动云的产品包括两类,一类是数据库,另一类是大数据服务。中国移动还提供LaaS,将特色云能力、流量能力对外开放,这是第二层PaaS层的产品。最上层SaaS,我们做了一个开放云的市场,这方面与合作伙伴一起推进给企业客户,给其提供SaaS的应用。”刘松华介绍说。
云端产品 异彩纷呈
中国移动约有20类云端产品,涉及行业计算、行业存储等多个领域,同时还有大数据、大数据开放、云数据库等,这被誉为是能力的开放市场。首先提及云主机,众所周知云主机是一个非常“标准”的产品,原因在于没有哪个云服务商不用云主机,这就好比没有服务商不提供手机卡一样。
其实云主机有很多功能,云主机的产品更是丰富多样。客户在购买云主机的时候最关心的是什么?首先客户最关心的是稳定性,其次是安全,第三是云主机的弹性情况,最后就是应用性。在稳定性方面中国移动提供了99%的可能性等级,可能性或许还可以更高。
刘松华指出:“在安全方面,中国移动在移动云的云主机的安全性方面,大概打造了八项云安全的产品,例如DDoS防御、Web应用防护等。对于中国移动来说八大类安全产品全部基于原有的云主机产品提供云服务。”
在云主机的伸缩性方面会涉及两个层面,第一个是云主机随时升级,另一个就是横向伸缩,可从一个变成多个等级,还有云主机的规格,在应用方面给客户提供一键分配,提供产品使用情况和产品资源消费情况等。
第二个产品是云硬盘,人们通常在亚马逊上叫Web存储。SD是很重要的一部分,只要有了SD,迈向云端会更加踏实,像云数据库这样的业务才能绑定云上,这是中国移动往前推进云端业务的一个最大的推动力。
第三个产品是云存储。“我觉得云存储面向海量的存储,对于劳动密集型的产品要做很多工作,企业还是寄希望和精力于做技术密集的产品。客户最关注的云存储就是成本、价格,当然还有它的功能,云服务商更关注自己的价格。如今,我们正在研究上网的技术,在产品中已经实验成功,并在下一个版本中做到对客户进行开放。”刘松华强调。
第四个产品是虚拟私有云,也可以叫做VPC。在没有VPC之前整个云端呈现是零,但是在原来的各个机房网络是有层级的。如果没有VPC,中国移动的业务就要迁移到云上做很多的改造,这种改造幅度很大。有了VPC,相关改造就会很好地解决,在云上也可以自定义。中国移动提供这样的产品,带给业界进行多方面、多渠道、多角度的合作,来提供最先进的VPC方面的服务,构建VPC通向网络云的产品。
第五个产品就是时下势头火热的大数据,大数据最有兴趣的着眼点之一其实就是大数据的工具性,其中很重要的数据就是用户的数据。众所周知,中国移动有大量的网络用户数据,在充分保护隐私的前提下提供一些服务。刘松华补充道:“我们在云上构建大数据的工具,这些工具包括大数据的存储、大数据的分析能力以及大数据的处理能力等。例如,首先在特征分析方面,分析某些地方发生的大事,就会实时得到一个数据图,可能包括这个地方打电话的情况,电话热线的情况等。除此之外,我们对整个事件关注的情况会得到可视化的服务,提供给决策层或者企业高层来进行决策。我们根据用户的数据以及行为来进行画像,给相关企业提供精准营销的数据分析,给银行的工作提供支撑。”基于对于开放云的市场,中国移动将运营商、系统集成商聚集在一起,共享线上线下的渠道,以及资源渠道、销售渠道。可想而知,未来中国移动会继续秉承云端特立独行的思想,在云端开发方面会有更多的创造之举。
云思考
下个十年 挑战是什么
工业和信息化部统计数据显示,“十二五”期间,国内云计算产业年均增长率超过30%,2015年已达1500亿元,2018年有望达8000亿元产值规模。
中国云计算产业飞速发展,在促进互联网和实体经济深度融合,以信息流带动技术流、资金流、人才流、物资流,促进产业结构调整、经济发展方式转变方面作用显著。与此同时,其发展面临的问题也不容忽视。
应用需进一步繁荣
从概念提出到技术落地再到应用繁荣,经过十年发展的云计算服务已经开始进入中小型企业甚至大中型行业用户乃至政府部门的“采购清单”。在陕西省西咸新区,云计算作为特色服务产业,已成为城市发展核心战略之一。“沣西是云计算服务发展示范城市,也是全国唯一大数据方向国家新型数据化产业示范基地。”陕西省西咸新区沣西新城党委书记、管委会主任刘宇斌表示,“通过三步走战略,建设西咸新区政府数据开放平台,让数据、应用一步登云;搭建大数据云计算服务,上线安全云、民生云、环保云、中小企业云等,通过云端整合服务资源实现云来云往;底层构建服务全省的大数据共享平台,通过开放式混合云方式,实现计算资源云端化、数据迁移无缝化、应用服务一体化、数据应用国际化,最终实现漫步云端。”
以云服务为核心的沣西特色智慧城市资源配置体系打通了市民、企业驶入信息高速公路的入口,是积极倡导公有云服务模式应用的有效之举。但金融、公安等更多关系国计民生的行业用户对采购公有云服务还存在一定顾虑,同时也面临着政策、技术、标准等障碍。
正如华三(H3C)云计算产品线总裁吴健所言,每个企业级用户心中都有一朵理想的云。“企业级用户更关注可控、适配、可运营。”
借力开源?
从云服务能力来看,目前我国云计算企业规模整体偏小,服务种类有限,云计算产业总体能力相比国际水平还有一定差距。
第一,作为推动云计算发展的重要技术力量,越来越多的云服务企业开始使用开源云平台,并积极参与开源云社区的建设。对于用户而言,部署开源云系统的优势在于灵活、无厂商锁定、节约成本、可管控和开放API、可移植,但也存在一定劣势,如缺乏专业运维支持、隐性成本不可忽略等。此外,开源云平台建设是否与企业当前IT理念一致,以及开源技术路线选择可能对IT从业者职业发展方向的影响也在左右着开源云平台未来的发展。
在开源云计算管理平台(CMP)市场中,一个单一CMP无法满足所有用户的需求,我们将会看到一个有着多个产品的开源云计算市场,而各种产品都注重于不同的环境或行业。这是一种自然进化。目前主流的四个开源工具OpenNebula、Eucalyptus、OpenStack、CloudStack将同生共存,而在某些情况下,他们将在一个广泛的开发云计算生态系统中携手合作。
在某种程度上,这种合作已经开始了:一些公司正在混合企业云计算和内部云计算服务。当计算资源容量需求激增时,他们就实施一个Cloudbursting架构,它可实现从OpenNebula企业云计算到基于OpenStack云计算或基于Eucalyptus云计算的改变。
另外一些企业正在使用来自于不同项目的组件来构建他们的云。OpenNebula的整合功能可实现它在数据中心中与OpenStack Swift或OpenStack Quantum的分别整合,以实现对象/块存储和网络管理功能。
未来我们会看到更多共同协作的开源CMP,而同时他们也会在他们各自的云计算市场中想方设法地体现他们的与众不同。
混合云的挑战
混合云将成为云服务业态的重要方向。对于混合云,不同公司有不同考量,主要有四方面:一是多个公有云混合使用,二是企业私有云和公有云混合使用,三是基于PaaS实现自身私有云、公有云或混合云的统一发布,四是在物理、虚拟机以及容器里实现混合使用。
无论哪种场景,混合云未来存在诸多技术挑战。一是需要实现资源的灵活定义,二要具备混合计算管理能力,三要确保广域网连接和传输的稳定,四要实现应用环境可迁移,五要实现统一运维管理,六要实现细粒度的计量计费,七是平台要具备开放性,在公有云上建立合作生态,进一步延伸至企业云中。
无疑,混合云模式已将公有云和私有云的优点融为一体,众多大型企业在信息化的建设过程中需要实现在私有云和公有云之间的对接和切换,这为混合云的发展带来了巨大空间。
安全 必须老调重弹
人工智能的兴起,与云计算发展、大数据应用关系密切,大数据为云计算创造了一种应用模式,为量化分析推动人工智能发展提供有效载体,也为机器人、无人系统应用于智能工厂,推动工业互联网发展开辟前所未有的机会。中国工程院院士李德毅说,云计算、大数据助推并成就了人工智能。
香港科技大学教授杨强提到,人工智能的红火归因于大数据积累,计算能力的突飞猛进,还有深度学习等算法的进步。而云计算、大数据、人工智能不仅要发展,也要让每个人都获利。
一方面,云计算是大数据的基础,大数据的处理需要云计算提供计算存储、网络资源的支撑;另一方面,大数据价值和规律能够推动云计算和行业应用结合并发挥更大的作用。未来,应积极推动云计算与大数据的深度融合,积极探索应用模式和商业模式的创新。
另外,还应在重点领域推广云计算应用,一方面支持企业构建私有云服务平台,面向云平台开展信息系统的迁移,实现信息共享和协同创新;另外一方面搭建行业云服务平台,探索模型库、知识库等设计创新资源的集成共享,推动以云计算为代表的信息技术和各行业的深度融合。
同时,云计算发展也应以安全可靠为前提。要打造云计算环境下的安全保障体系,支持企业研发云安全技术和产品,增强安全技术支撑和服务能力,不断健全安全防护体系,切实保障云计算信息安全。
■中国工程院院士 李德毅
云计算、大数据助推并成就了人工智能。大数据为云计算创造了一种应用模式,为量化分析推动人工智能发展提供有效载体,也为机器人、无人系统应用发展开辟了前所未有的机会。
■上海交通大学副校长、中国科学院院士 梅宏
回顾云计算十年来的发展,经过了概念摸索期、技术落地期和应用繁荣期,接下来将呈现应用领域化、资源泛在化和系统平台化趋势。
■香港科技大学教授 杨强
人工智能的红火归因于大数据的积累、计算能力的突飞猛进和深度学习等算法的进步。云计算、大数据、人工智能互相促进发展,要让每个人都获利。
■陕西省西咸新区沣西新城党委书记、管委会主任 刘宇斌
三步走战略,建设政府数据开放平台,让数据、应用一步登云;通过云端整合服务资源实现云来云往;通过开放式混合云方式,最终实现漫步云端。
对云计算的10个认识
■云计算确实管用。
过去十年中,不论何种规模的公司,从福布斯500强巨头到小小夫妻店都使用云计算来实现了一定功能。
■云计算只是将工作移到网上。
云计算并不是什么充满未知风险的新型计算方法,它只是意味着将数据处理过程、数据系统以及常用数据搬到网上,而不是楼下房间的服务器。
■云计算服务是相对安全的。
云端服务并不像你想象的那么不安全,不论是依靠内部团队处理数据还是借助外力,企业都应为自己的系统与数据安全负责。
■仍在探索云端数据的所有权。
当一个企业的数据生成与数据维护工作都是由云计算服务供应商来完成的时候,那我们就很难厘清到底是谁拥有使用这些数据的权利并对这些数据负责。
■云计算服务中止让人焦虑。
云计算服务商总是会承诺你与其合作会存在很大的灵活性。当你的业务深陷于云计算服务供应商所提供的互相联系的环境中,那么一旦想要停用该服务就会特别的痛苦。
■需要解决供应商锁定问题。
一旦使用了某一家供应商的云计算服务,想要再换成别家就相当困难。
■有了云计算,仍然需专业能力。
使用云计算服务不代表着你的公司就可以完全摆脱编程、集成与系统配置的工作。你的企业仍然需要具备完成这些工作的能力,并且要确保工作表现和能力能够维持公司的正常运转。
■云计算并不一定更便宜。
节省开支并不是使用云计算服务的最好理由。
■云计算并没抢走IT人员饭碗。
从另一个角度来看,云计算创造了新的就业机会。在选择何种技术去服务内外部的顾客时,IT专业人员仍然需要帮助企业拿主意。
■云计算提升了IT人员在组织中的地位。
很多IT部门的领导都已进入高管行列。IT人员现在公司中的角色更倾向于是技术顾问或者是内部咨询师,他们能够提供高水平的业务指导,并因此地位更重要。
■本报记者 霍娜 刘晶晶 洪蕾