智慧之城:曙光2013年大数据创新应用盘点

  • 来源:中国计算机报
  • 关键字:智慧之城,曙光,大数据
  • 发布时间:2013-12-19 16:06

  向上,大数据正在成为智慧城市落地的支点;向下,大数据汇聚的各项创新应用已经创造出巨大的商业价值、经济价值和社会价值。作为高性能计算领导者和云计算领先企业、中国行业大数据的先行者和解决方案提供商,2013年曙光信息产业(北京)有限公司(简称曙光)在“平台一体,智汇应用”的行业大数据战略指引下,通过XData大数据一体机、XData-Hadoop大数据处理软件等自主可控的创新产品,从数据收集、数据存储、数据分析、数据应用等方面全方位构建了完整的大数据生态环境,在大数据“元年”共享硕果。

  大数据技术使诸多用户受益

  信息社会的不断进步让政府部门越来越依赖数据的分析进行决策,而在大数据“试水”中的某安全部门,通过曙光大数据解决方案构建的舆情分析系统,采用社会化行为分析技术实现了大规模群体信息的统计分析、趋势研判。通过XData对海量文本、图片、视音频等数字化内容进行集中存储和智能检索,实现公安业务信息数据的深层次挖掘。另外,利用大数据技术的碰撞比对、频率分析、语义分析、多维融合、深度挖掘等创新特性,传统情报分析中的逻辑推理、综合统计、比较联系、特征解释等相对落后的技术得到改进,实现了各要素之间的深度关联和智能判断。

  在安全领域,还有某大型信息安全中心监控系统在曙光产品和解决方案的支持下,实现了快速分析和第一时间的安全预警。该中心的信息安全监控系统当前运行规模超过600TB,每天负责收集分析数十亿条短信息。这在当前人口大流动,跨省市、跨地区之间的流窜犯罪活跃的情况下,曙光大数据解决方案发挥了自身的速度优势,第一时间预警,成为了提升破案效率和维护国家安全稳定的关键支点。

  之前,中国某大型银行运营多年累积下的数据量早已经过PB级,但规划的存储量则是500TB,在传统架构下只能直接将数据备份到磁带库,数据的价值无法体现。为此,基于XData-Hadoop构建的大数据处理平台,曙光为该行提供了海量记录快速查询能力,完成了历史数据查询系统的应用落地。在利用XData替代了传统数据仓库架构之后,成功实现了历史数据从TB向PB级的跨越式发展,而其海量数据分析能力更支撑了该银行反洗钱系统的成功应用。

  基于曙光XData大数据一体机,中国银联离线数据分析系统的数据保存时限提升一倍,实现了大数据的“毫秒级”查询。据了解,中国银联之前的关系型数据库存储能力非常有限,只能保存三个月的数据,造成大量历史数据堆积且管理困难。面对刷卡交易量激增、商户评分、持卡用户兴趣分析等新业务需求,银联构建了50台双路x86服务器规模的XData大数据一体机,打造了高并发、高可靠的网络传输和存储层,并将数据保存时限提升了一倍。另外,该系统还支撑了350TB原始刷卡信息存储容量、实现了50万每秒的记录稳定导入速度,以及随机单条记录“毫秒级”返回。

  对于运营商来说,流量分析可谓至关重要,近几年来国内运营商在创新的路上也走出了自己的特色。在以OLTP(联机事务处理)为核心的传统架构中,河南移动在创新业务推进过程中的技术难题不断涌现:系统分散建设,难以实现资源和应用共享;数据分散存储,标准化程度低;大部分业务只对内提供服务,未能有效地进行规模化商业利用。为此,河南移动与曙光公司合作进行的经分系统和流量经营分析工程,采用基于IB网的XData-Hadoop分布式计算平台的方案。该系统实现了以太网(Ethernet)、光纤信道(FibreChannel)、无线带宽(Infiniband)三网融合,最大可能地满足Xdata-Hadoop集群和数据库处理平台的高速通信需要。

  在曙光的支持下,某热点信息监控系统构建了大数据生态环境。据悉,该系统负责数十万个热点的同时监控,借助曙光云平台和大数据产品形成了数据分析、数据存储、数据检索“三位一体”的大数据生态环镜,并利用XData-Hadoop索引器将Heritrix爬虫器、Solr/Lucence查询器对关键信息进行聚集,实现了安全、个性、高效、智能的查询功能。

  同济大学也是曙光的受益者之一,在XData-Hadoop的支持下,其大数据柔性处理平台实现了教育资源整合。该平台涵盖三个服务分区和一个共享存储中心,即网络信息服务、交通信息分析、医疗数据分析和存储中心。同济大学以数据为中心,利用XData-Hadoop分析集群和集中存储系统来搭建IT系统,消除了资源孤岛,各点按照业务强度均衡互联,同时其可伸缩性使其能够随着数据膨胀而随需扩展,达到真正柔性计算平台的标准。另外,由于它实现了数据网和业务网的分离,进而达到了数据通信和业务通信运行时互不影响的建设目标。

  行业应用日渐成熟智慧之城触手可及

  随着中国的行业用户信息化水平不断攀升,人们面对着大量的沉积数据,继续寻找一条挖掘数据价值的捷径,而曙光的行业大数据战略则抓住了这个契机,为以上这些用户的大数据价值挖掘提供了产品和需求的接口。其次,政府、金融等与民生息息相关的重要行业在2013年更将采购方向调整到了自主可控的创新产品上,而曙光大数据解决方案凭借对客户需求的深度剖析和专业、便捷、安全、高效的品牌表现,赢得了众多客户的认可和信赖。

  在大数据时代,行业大数据应用已然构建出一张四通八达的智慧网络,并赋予城市建设和管理者拥有大规模数据存储、活性,以及解释、运用数据的能力。中国的大数据不仅需要继续支撑智慧的民生,更有责任成为城市的守护者。而曙光的大数据技术不但帮助用户完成了信息系统架构的演变,更以行业大数据的应用效果作为支撑点,在“智能终端———云———大数据”的新应用格局下,让智慧之城触手可及。

  向云服务商迈进

  自成立以来,曙光公司始终倡导“自主创新服务中国”的品牌理念,以全面、专业、增值的服务为广大中国用户提供良好的应用体验。如今,曙光公司的硬件产品、解决方案、云计算服务已被广泛应用于教育、气象、医疗、能源、互联网及公共事业等多个领域,并且连续四年在中国高性能计算机TOP100中市场总份额位居第一,更进一步确立了曙光公司在中国高性能计算领域的领导者地位。

  凭借多年在高端计算领域的技术积累,曙光公司正在逐步从“硬件提供商”向“云计算服务提供商”迈进。近几年,曙光公司“潜心”规划布局全国云计算的宏伟蓝图,目前已在我国西南、华南、华中、东北等地成功实现了“城市云”布局,筹建了成都、无锡、南京、包头等十个城市云计算中心,并计划未来三年内完成云计算战略布局,为快速高效地提升区域经济建设水平,丰富人们日常生活所需信息资源提供了坚实的科技保障。

……
关注读览天下微信, 100万篇深度好文, 等你来看……
阅读完整内容请先登录:
帐户:
密码: