人人用得起HPC
- 来源:计算机世界
- 关键字:用得起,HPC
- 发布时间:2010-07-27 14:12
编者按：在2010 年6 月新发布的HPC Top500 榜单上，中国生产的两套超级计算机分列第二位和第七位。据悉，这两台“大家伙”将会部署在国家超算深圳中心和天津滨海新区。加上原有的上海超算中心，以及不久的将来有可能落户山东的另一台千万亿次超级计算机，中国超级计算力量的“四大方面军”有望正式组建完成。
面对超强的计算资源，如何有效应用，仍旧是中国超级计算应用中公认的问题。数据显示，美国橡树岭国家实验室科学计算作业中，运行在3 万个CPU 核以上的任务占到了50%，而在上海超算中心，60% 的科学计算运作都是在16 个核以下。因此多年来，上海超算中心也是在为不断提升用户超算应用水平而绞尽脑汁。从2009 年开始，上海超算中心专门发起了一个科学应用规模倍增活动，希望通过自身的实际行动打造一个良好的高性能计算“生态环境”，以此推广大规模计算在中国HPC 领域中的应用。
在当前中国科研力量应用超级计算的能力仍旧有待提高的现状下，作为超级计算的另外一大部分用户——企业用户而言，绝大多数的应用水平更是不敢恭维。虽然有奇瑞汽车这样的探索者，勇于将超级计算作为创新的动力，但是对于大批需要寻找创新力的中国企业，可以说还没有摸到超级计算的“门”。
本期“应用调查”专门编译了美国《Computerworld》的最新文章，介绍了国外的一些超级计算中心及相关服务机构是如何帮助小型企业用户实现按需应用超级计算服务， 从而帮助它们削减成本、改进生产为其自身服务的，希望能为中国超级计算的用户带来某些借鉴。
如果你所在的公司需要高性能计算（HPC）能力来提高自己的生产力和创新能力，但此时你又囊中羞涩买不起价格昂贵的硬件、支付不起额外的电力和冷却费用以及负责运行这些系统的专职IT 人员所需要的成本，不要紧，这个时候，你也许就需要按需超级计算服务了。
按需超算不是梦
Woodward 公司位于美国科罗拉多州柯林斯堡，是一家专门制造喷气式飞机发动机的燃油喷嘴等零件的公司，从创办开始，它一直以传统的方式来设计生产自己的产品，从在纸上起草图纸开始，然后再建造真实材料模型，最后通过各项测试后，生产出各种零配件。
以往，从最初的设计开始，到最终拿出燃油喷嘴可行的设计方案，需要Woodward 花费几个星期的时间。而现在，这个过程只需要几个小时了。难道是现在的设计人员有了什么魔法？答案显然是否定的，由于从传统的手工设计改而利用性能强大的基于云的超级计算机，来运行那些复杂的设计、建模软件，Woodward 得以迅速制作及评估可直接投入生产的设计方案，减少了过去制作实物原型所需的步骤，将整个喷嘴设计从制作到生产的流程加快了80%，并且每年能为该公司节省约50 万美元的设计费用。
Robert Graybill 是Nimbis 服务公司的首席执行官兼总裁，他所在的这家公司专门帮助那些需要更多计算能力的企业，联系能够按照需要、以按需付费方式提供计算能力的高性能计算服务提供商。
在过去的几个月时间内，Graybill 一直在帮助Woodward为该公司寻找合适的按需超级计算服务。Graybill 介绍说：“虽然Woodward 内部有几台性能相当不错的工作站电脑被用来进行设计制作工作，但是这些设备还没有强大到足以运行大型模拟程序。”
Woodward用了将近10 个星期的时间来寻找适合自己的按需超级计算服务，同时开展了相关的测试工作。Nimbis 公司则帮助Woodward 来进行后续的评估工作，以确定Woodward 是否可以在将来使用按需超级计算，并且明确该具体如何使用。
Gabriel 咨询集团公司的分析师Dan Olds 表示，按需超级计算已经成为一个方兴未艾的概念。它特别适合那些有时需要超级计算能力，但自己又买不起高性能计算设备的企业。
Olds 说：“ 虽然说用户可以利用现有的性能一般的设备来自行处理某些需要密集计算能力的工作，但这样也许就要花好几年的时间来完成。另外一方面，用户也可以自行简化自己需要解决的问题，那样就能在买得起的系统上运行，但这样可能就无法得到他们当初所设定的目标。按需超级计算恰恰能够解除这些用户的困境，预算还不会超支。”
Pund-IT 公司的首席分析师Charles King 表示，按需超级计算服务的市场在过去相当有限，但是由于经历了疲软、动荡的金融环境，按需服务收费所具有的价格优势和相比购置及维护专门的超级计算机或集群的高成本，实在太诱人了。
Woodward 公司最初开始使用按需超级计算，就是因为收到了南加州大学信息科学研究所（ISI）的邀请，去参加一个试点项目，而Graybill 就在该研究所担任创新主管。
这项试点得到了美国国防部高级研究计划局（DARPA）367万美元的资金支持，项目的初衷就是研究Woodward 这样的装备制造商们如何利用高性能计算的云计算服务，改善工业设计和建模流程。
Woodward 最初是通过IBM 公司位于纽约州波基普西市的按需计算（Computing OnDemand）中心来获得它所需要的高性能计算服务的。据IBM声称，该中心由256 台x3550 服务器和128 台x3450 服务器（单台内存总量16GB）组成了一个超级计算的集群，能够提供每秒超过19 万亿次（TFLOPS） 的计算能力。
Woodward 试点项目只是DARPA 在过去几年间资助的四个类似项目之一，其他三个项目是： 加州托兰斯市ACEClearwater Enterprise 的虚拟金属成形项目； 加州长滩市AlphaSTAR 公司的底板重量减轻项目；俄亥俄州哥伦布市AltaSim Technologies 公司的电磁干扰特征分析项目。
到目前为止，高性能计算已帮助Woodward 大大提高了设计新式飞机发动机燃油喷嘴的效率。根据试点项目得到的数据显示，设计中产生的废料也比原先减少了50%。特别是在使用了超级计算机来代替原先的实物建模后，每年平均到每个工程师可以减少成本275，000 美元。
“ 使用基于云的超级计算服务， 确确实实地改变了Woodward 固有的设计产品的方式，它给加快产品上市时间和保证产品质量都带来了积极的影响。” Graybill 表示，而且因为只有需要时才购买高性能计算服务，Woodward 就没有必要在内部部署价格高昂的高性能计算集群，不但能节省因此会带来的能源成本，而且不用增添IT管理员来维护。
云服务门户网站应运而生
据悉，目前一些类似的公共/ 私有高性能计算项目已通过俄亥俄州超级计算机中心（OSC）来开展。俄亥俄州的公司企业都能使用这些高性能计算能力，同时还能得到OSC 相关专家的帮助。
OSC 的临时联合主任AshokKrishnamurthy 说：“ 我们一直在帮助促进俄亥俄州的经济发展，让大大小小的企业可以使用超级计算资源。”
目前直接参与OSC 蓝领计算（Blue Collar Computing） 项目的企业已超过25 家，这些企业过去压根都没有考虑过要使用超级计算机。
Ashok Krishnamurthy 表示，除了蓝领计算项目外，还有超过250 家的小规模公司，通过爱迪生焊接研究所（EWI） 这样的相关组织，来获取按需超级计算服务。
EWI 是由从事焊接行业的多家公司组成的成员制组织；该组织与OSC 合作，让成员公司可以登录到高性能计算云服务门户网站E-Weld Predictor， 在进行实际的焊接工作之前，先使用超级计算机来模拟那些特别复杂的焊接工作。“它可以模拟一些大型项目的模型，从而把设计焊接流程所需的时间从六个月缩短到两个星期。”AshokKrishnamurthy 说。
EWI 的首席技术官兼技术创新副总裁Chris Conrardy 对于这个云服务门户网站评价非常高，“这个门户网站作用巨大，因为它缩减了落实焊接程序所用的时间。它让你可以优化焊接，减少由于焊接不好而带来的风险。”
Chris Conrardy 解释，焊接过程不是线性的，整个过程中有许多可变因素，因此以前很难在计算机上建立模型，而且材料属性在焊接过程中也会受到多种因素的影响。因此，典型的工作站不具备相应的处理计算能力。而E-Weld Predictor门户网站的独特之处就是，它只需要让用户输入所要焊接材料的详细规格、特性和其他必要信息；几分钟后，系统就会生成一篇PDF 文档，详细表明如何成功地完成焊接。“这基本上是一份报告，列出了有关焊接的预测、程序和结果。”
网站开通后的头一个月内，就有大约100 家EWI 成员公司使用了E-Weld Predictor。据了解，E-Weld Predictor 充分利用了OSC 的一台包括1650 个节点的超级计算机，这台超级计算机提供的计算峰值性能超过75 万亿次每秒。
Ashok Krishnamurthy 表示，OSC 所提供的这种服务，让那些小规模的公司在竞争对手如云的市场上大大提升了实力。尤其是那些需要为了争夺合同而尽快造出样品的公司来说，使用超级计算系统能够大大节省时间的优点就显得特别抢眼。
Ashok Krishnamurthy 还透露，OSC 还与DARPA 合作，开展专门项目帮助为美国国防部服务的多家小型公司来使用超级计算机。其中一家公司专门为美国海军设计电源控制系统，这家公司过去由于缺少进行部件测试所需的计算资源，常常满足不了严格的投标文件，所以往往会自动弃权。OSC 和合作伙伴之一AltaSim Technologies 公司帮助了这家公司，让他们开始使用异地超级计算机，用以模拟超大电源控制系统的性能和构造。
AltaSim 公司的负责人JeffreyCrompton 表示，OSC 给予的援助帮助这家公司在开发电源系统原型方面节省了高达100 万美元的费用。要是未来零部件最终投入生产，超级计算机还能帮助企业节省更多的费用，与传统的测试、建立原型和制造相比，最多可以省下1 亿美元甚至更多。
留心软件和安全问题
Robert Graybill 表示， 如果按需超级计算市场能够形成气候，那么亚马逊公司功不可没。正是它从2006 年开始提供的EC2 云计算服务才掀起了这场按需超计算服务的革命。不过，他也解释道，亚马逊所提供的服务与按需高性能计算还不完全相同，专门的高性能计算系统在处理器节点和内存之间可提供性能更好、速度更快的互连体系，这意味着它们提供的性能比亚马逊及其他服务提供商提供的普通的处理架构出色得多，两者是满足不同需求的不同系统。
那什么是当前按需超级计算所面临的最大问题？ CharlesKing 认为，最大的挑战来自软件，与硬件无关。众所周知，很多使用高性能计算的用户都会自行开发或优化相应的应用软件，以便适合自己的使用。所以，按需超级计算服务提供商如何与客户合作，以便运行客户的现有软件，就成了一个关键问题。
另一方面，Gabriel 咨询集团的分析师Dan Olds 表示，云环境超级计算还需要注意的一个地方是就是数据的安全如何保障。用于高性能计算的数据，往往都是用户的核心机密，竞争对手往往很想获得这样的数据。因此对于用户而言，他们必须确认自己的专有数据，是由高性能计算服务提供商安全地存储、运行及进行分析的。为了实现这个目标，客户就要事先了解自己数据的保护要求，并向提供商提出，确保自己的数据在处理时得到了所需的安全保障。“要是客户对于自己数据的安全性不放心，应选择比较知名的提供商。”Dan Olds 说。
……
面对超强的计算资源，如何有效应用，仍旧是中国超级计算应用中公认的问题。数据显示，美国橡树岭国家实验室科学计算作业中，运行在3 万个CPU 核以上的任务占到了50%，而在上海超算中心，60% 的科学计算运作都是在16 个核以下。因此多年来，上海超算中心也是在为不断提升用户超算应用水平而绞尽脑汁。从2009 年开始，上海超算中心专门发起了一个科学应用规模倍增活动，希望通过自身的实际行动打造一个良好的高性能计算“生态环境”，以此推广大规模计算在中国HPC 领域中的应用。
在当前中国科研力量应用超级计算的能力仍旧有待提高的现状下，作为超级计算的另外一大部分用户——企业用户而言，绝大多数的应用水平更是不敢恭维。虽然有奇瑞汽车这样的探索者，勇于将超级计算作为创新的动力，但是对于大批需要寻找创新力的中国企业，可以说还没有摸到超级计算的“门”。
本期“应用调查”专门编译了美国《Computerworld》的最新文章，介绍了国外的一些超级计算中心及相关服务机构是如何帮助小型企业用户实现按需应用超级计算服务， 从而帮助它们削减成本、改进生产为其自身服务的，希望能为中国超级计算的用户带来某些借鉴。
如果你所在的公司需要高性能计算（HPC）能力来提高自己的生产力和创新能力，但此时你又囊中羞涩买不起价格昂贵的硬件、支付不起额外的电力和冷却费用以及负责运行这些系统的专职IT 人员所需要的成本，不要紧，这个时候，你也许就需要按需超级计算服务了。
按需超算不是梦
Woodward 公司位于美国科罗拉多州柯林斯堡，是一家专门制造喷气式飞机发动机的燃油喷嘴等零件的公司，从创办开始，它一直以传统的方式来设计生产自己的产品，从在纸上起草图纸开始，然后再建造真实材料模型，最后通过各项测试后，生产出各种零配件。
以往，从最初的设计开始，到最终拿出燃油喷嘴可行的设计方案，需要Woodward 花费几个星期的时间。而现在，这个过程只需要几个小时了。难道是现在的设计人员有了什么魔法？答案显然是否定的，由于从传统的手工设计改而利用性能强大的基于云的超级计算机，来运行那些复杂的设计、建模软件，Woodward 得以迅速制作及评估可直接投入生产的设计方案，减少了过去制作实物原型所需的步骤，将整个喷嘴设计从制作到生产的流程加快了80%，并且每年能为该公司节省约50 万美元的设计费用。
Robert Graybill 是Nimbis 服务公司的首席执行官兼总裁，他所在的这家公司专门帮助那些需要更多计算能力的企业，联系能够按照需要、以按需付费方式提供计算能力的高性能计算服务提供商。
在过去的几个月时间内，Graybill 一直在帮助Woodward为该公司寻找合适的按需超级计算服务。Graybill 介绍说：“虽然Woodward 内部有几台性能相当不错的工作站电脑被用来进行设计制作工作，但是这些设备还没有强大到足以运行大型模拟程序。”
Woodward用了将近10 个星期的时间来寻找适合自己的按需超级计算服务，同时开展了相关的测试工作。Nimbis 公司则帮助Woodward 来进行后续的评估工作，以确定Woodward 是否可以在将来使用按需超级计算，并且明确该具体如何使用。
Gabriel 咨询集团公司的分析师Dan Olds 表示，按需超级计算已经成为一个方兴未艾的概念。它特别适合那些有时需要超级计算能力，但自己又买不起高性能计算设备的企业。
Olds 说：“ 虽然说用户可以利用现有的性能一般的设备来自行处理某些需要密集计算能力的工作，但这样也许就要花好几年的时间来完成。另外一方面，用户也可以自行简化自己需要解决的问题，那样就能在买得起的系统上运行，但这样可能就无法得到他们当初所设定的目标。按需超级计算恰恰能够解除这些用户的困境，预算还不会超支。”
Pund-IT 公司的首席分析师Charles King 表示，按需超级计算服务的市场在过去相当有限，但是由于经历了疲软、动荡的金融环境，按需服务收费所具有的价格优势和相比购置及维护专门的超级计算机或集群的高成本，实在太诱人了。
Woodward 公司最初开始使用按需超级计算，就是因为收到了南加州大学信息科学研究所（ISI）的邀请，去参加一个试点项目，而Graybill 就在该研究所担任创新主管。
这项试点得到了美国国防部高级研究计划局（DARPA）367万美元的资金支持，项目的初衷就是研究Woodward 这样的装备制造商们如何利用高性能计算的云计算服务，改善工业设计和建模流程。
Woodward 最初是通过IBM 公司位于纽约州波基普西市的按需计算（Computing OnDemand）中心来获得它所需要的高性能计算服务的。据IBM声称，该中心由256 台x3550 服务器和128 台x3450 服务器（单台内存总量16GB）组成了一个超级计算的集群，能够提供每秒超过19 万亿次（TFLOPS） 的计算能力。
Woodward 试点项目只是DARPA 在过去几年间资助的四个类似项目之一，其他三个项目是： 加州托兰斯市ACEClearwater Enterprise 的虚拟金属成形项目； 加州长滩市AlphaSTAR 公司的底板重量减轻项目；俄亥俄州哥伦布市AltaSim Technologies 公司的电磁干扰特征分析项目。
到目前为止，高性能计算已帮助Woodward 大大提高了设计新式飞机发动机燃油喷嘴的效率。根据试点项目得到的数据显示，设计中产生的废料也比原先减少了50%。特别是在使用了超级计算机来代替原先的实物建模后，每年平均到每个工程师可以减少成本275，000 美元。
“ 使用基于云的超级计算服务， 确确实实地改变了Woodward 固有的设计产品的方式，它给加快产品上市时间和保证产品质量都带来了积极的影响。” Graybill 表示，而且因为只有需要时才购买高性能计算服务，Woodward 就没有必要在内部部署价格高昂的高性能计算集群，不但能节省因此会带来的能源成本，而且不用增添IT管理员来维护。
云服务门户网站应运而生
据悉，目前一些类似的公共/ 私有高性能计算项目已通过俄亥俄州超级计算机中心（OSC）来开展。俄亥俄州的公司企业都能使用这些高性能计算能力，同时还能得到OSC 相关专家的帮助。
OSC 的临时联合主任AshokKrishnamurthy 说：“ 我们一直在帮助促进俄亥俄州的经济发展，让大大小小的企业可以使用超级计算资源。”
目前直接参与OSC 蓝领计算（Blue Collar Computing） 项目的企业已超过25 家，这些企业过去压根都没有考虑过要使用超级计算机。
Ashok Krishnamurthy 表示，除了蓝领计算项目外，还有超过250 家的小规模公司，通过爱迪生焊接研究所（EWI） 这样的相关组织，来获取按需超级计算服务。
EWI 是由从事焊接行业的多家公司组成的成员制组织；该组织与OSC 合作，让成员公司可以登录到高性能计算云服务门户网站E-Weld Predictor， 在进行实际的焊接工作之前，先使用超级计算机来模拟那些特别复杂的焊接工作。“它可以模拟一些大型项目的模型，从而把设计焊接流程所需的时间从六个月缩短到两个星期。”AshokKrishnamurthy 说。
EWI 的首席技术官兼技术创新副总裁Chris Conrardy 对于这个云服务门户网站评价非常高，“这个门户网站作用巨大，因为它缩减了落实焊接程序所用的时间。它让你可以优化焊接，减少由于焊接不好而带来的风险。”
Chris Conrardy 解释，焊接过程不是线性的，整个过程中有许多可变因素，因此以前很难在计算机上建立模型，而且材料属性在焊接过程中也会受到多种因素的影响。因此，典型的工作站不具备相应的处理计算能力。而E-Weld Predictor门户网站的独特之处就是，它只需要让用户输入所要焊接材料的详细规格、特性和其他必要信息；几分钟后，系统就会生成一篇PDF 文档，详细表明如何成功地完成焊接。“这基本上是一份报告，列出了有关焊接的预测、程序和结果。”
网站开通后的头一个月内，就有大约100 家EWI 成员公司使用了E-Weld Predictor。据了解，E-Weld Predictor 充分利用了OSC 的一台包括1650 个节点的超级计算机，这台超级计算机提供的计算峰值性能超过75 万亿次每秒。
Ashok Krishnamurthy 表示，OSC 所提供的这种服务，让那些小规模的公司在竞争对手如云的市场上大大提升了实力。尤其是那些需要为了争夺合同而尽快造出样品的公司来说，使用超级计算系统能够大大节省时间的优点就显得特别抢眼。
Ashok Krishnamurthy 还透露，OSC 还与DARPA 合作，开展专门项目帮助为美国国防部服务的多家小型公司来使用超级计算机。其中一家公司专门为美国海军设计电源控制系统，这家公司过去由于缺少进行部件测试所需的计算资源，常常满足不了严格的投标文件，所以往往会自动弃权。OSC 和合作伙伴之一AltaSim Technologies 公司帮助了这家公司，让他们开始使用异地超级计算机，用以模拟超大电源控制系统的性能和构造。
AltaSim 公司的负责人JeffreyCrompton 表示，OSC 给予的援助帮助这家公司在开发电源系统原型方面节省了高达100 万美元的费用。要是未来零部件最终投入生产，超级计算机还能帮助企业节省更多的费用，与传统的测试、建立原型和制造相比，最多可以省下1 亿美元甚至更多。
留心软件和安全问题
Robert Graybill 表示， 如果按需超级计算市场能够形成气候，那么亚马逊公司功不可没。正是它从2006 年开始提供的EC2 云计算服务才掀起了这场按需超计算服务的革命。不过，他也解释道，亚马逊所提供的服务与按需高性能计算还不完全相同，专门的高性能计算系统在处理器节点和内存之间可提供性能更好、速度更快的互连体系，这意味着它们提供的性能比亚马逊及其他服务提供商提供的普通的处理架构出色得多，两者是满足不同需求的不同系统。
那什么是当前按需超级计算所面临的最大问题？ CharlesKing 认为，最大的挑战来自软件，与硬件无关。众所周知，很多使用高性能计算的用户都会自行开发或优化相应的应用软件，以便适合自己的使用。所以，按需超级计算服务提供商如何与客户合作，以便运行客户的现有软件，就成了一个关键问题。
另一方面，Gabriel 咨询集团的分析师Dan Olds 表示，云环境超级计算还需要注意的一个地方是就是数据的安全如何保障。用于高性能计算的数据，往往都是用户的核心机密，竞争对手往往很想获得这样的数据。因此对于用户而言，他们必须确认自己的专有数据，是由高性能计算服务提供商安全地存储、运行及进行分析的。为了实现这个目标，客户就要事先了解自己数据的保护要求，并向提供商提出，确保自己的数据在处理时得到了所需的安全保障。“要是客户对于自己数据的安全性不放心，应选择比较知名的提供商。”Dan Olds 说。
关注读览天下微信，
100万篇深度好文，
等你来看……