实现SAN环境下文件共享与归档的捷径
- 来源:中国计算机报
- 关键字:StorNext,十一五,航遥中心,平台
- 发布时间:2011-08-24 10:48
中国国土资源航空物探遥感中心（以下简称航遥中心）已将异构文件共享及自动数据归档系统用于其核心应用系统，包括遥感影像数据库、全国矿产资源开发多目标遥感调查和监测信息系统、全国省级国土资源遥感综合调查信息系统、青藏高原地质信息系统、航遥中心资料服务系统等的安全保障。
航遥中心数据存储及处理系统采用昆腾StorNext并行共享文件及数据归档系统3.1版本作为SAN 存储环境下的数据并行计算存储管理架构，同时集成60TB的惠普XP24000 SAN 存储系统以及昆腾Scalari2000高性能磁带库。这套并行共享文件及数据归档系统具有处理效率高、系统配置优、技术先进、文件共享性能优越等优点，能够满足航遥中心遥感数据存储、管理、分发等多种应用需求。
变分散为集中
在“十一五”期间，航遥中心在遥感探测方面就已经意识到了压力的存在，比如探测的对象越来越复杂，遥感采集的数据量成倍增长等。那么，如何才能提高数据的共享效果，加快数据处理的流程，实现数据容灾呢？航遥中心在建和已完成建设的遥感数据库和专业应用系统都处于分散存储的状态，这不利于数据的整合与共享，更无法满足新业务环境对数据处理的要求。航遥中心需要一个集中的基于数据库管理系统的存储解决方案。
经过技术调研和方案论证，在硬件平台上，航遥中心决定采用基于IA 架构的高性能服务器集群系统。航遥中心采用的高性能刀片服务器集群，通过StorNext并行共享文件及数据归档系统来共享惠普XP24000 SAN存储系统，使得服务器集群可以更加有效而经济地进行文件分享及数据归档，从而大大降低存储成本，提高工作效率。这套并行共享文件及数据归档系统在航空摄影数据暂存及在线应用、历史资料的集中存储管理，特别是遥感数据库及专业应用系统中得到了很好的应用，进一步提高了航遥中心遥感数据存储、管理和分发的效率。
系统配置方案优中选优
本着系统配套、结构合理、技术先进和高效的原则，根据航遥数据处理的实际需求以及数字摄影测量系统软件对硬件运行环境的技术要求，航遥中心选择了包括最新的CPU 技术、网络技术、光纤技术和StorNext 并行共享文件及数据归档系统在内的数据保护方案，并辅以开放的遵循工业标准的高性能计算解决方案和高容量物理磁带库。
1援文件共享及数据归档系统方案文件共享及数据归档系统是本解决方案的核心之一，它具有可用性好、性价比高、可管理性强等特点，可以实现自动的数据容灾。在本方案中，航遥中心将两台StorNext MDC 服务器及3 台StorNext SAN客户端作为I/O 节点，使得作业服务器集群的计算节点既可以通过Windows 上的CIFS服务共享StorNext文件系统，又可以按照预先制定的500TB数据迁移归档策略实现SAN 存储空间的节省，此外还可以对资料进行自动归档。
航遥中心配置了两台Scalar i2000 物理磁带库，并通过光纤线缆将磁带库连接到核心的SAN 交换机上。在StorNextSNMS 的集中管理和统一策略调度下，被迁移的数据会自动存储到两台物理磁带库中，从而实现关键数据的自动镜像保护。
2援服务器集群航空遥感资料处理系统配置作业服务器系统采用刀片服务器架构。整个系统由常规应用节点、数据库服务器、I/O节点、核心交换网络和磁带库系统组成，并且安装了Redhat Linux AS 4.1操作系统等系统软件。其中，常规应用节点采用6 台HP ProLiant BL460C 刀片服务器，并通过千兆网络端口进行直连。数据库服务器采用两台IBM 3650 服务器，主要负责文件的定位查询和处理。I/O节点采用3台HP DL580G5 服务器，并通过光纤交换机与SAN 存储系统相连接。StorNext元数据控制服务器使用的是HP DL580G5服务器，采用双机热备配置方式，其上安装Linux 操作系统，作为整个文件系统及数据迁移归档系统的系统管理平台服务器。
为实现数据迁移和自动容灾，航遥中心采用了两台Scalar i2000 企业级物理磁带库。每台磁带库配置了240TB可用容量以及6个LTO-4高性能磁带驱动器。磁带库通过SAN 网络连接到核心光纤交换机上，在StorNext SNMS 的统一管理下，可实现关键数据的自动迁移和数据异步容灾。
实现数据自动迁移
数据迁移的最高境界是无人职守的自动迁移。StorNext SNSM迁移软件不断对磁盘阵列的存储空间进行监控。当磁盘空间达到预定的饱和度时，StorNext SNSM就开始将不常使用的文件转移到磁带库中。数据转移持续进行，直至磁盘的占用率达到预定的比例时才停止。如果管理员预计在特定时间内将有大量新的数据迁入，也可以手工方式启动数据转移过程。被转移的源文件被很小的占位文件所替代，而占位文件将指向源文件转移后所处的新位置。
占位文件实际上是真实文件的索引头，而文件数据体已经被迁移到物理磁带库中。
StorNext SNSM 管理员可以通过大量参数来确定可转移的文件，例如以文件的被访问时间或文件大小等作为参数。
StorNext SNSM 会在磁盘上留下一个占位文件。该文件对于应用和用户来说是可见的。一旦StorNext SNSM 接收到转移文件的请求，就会通过最快捷的途径进行检索，以透明的方式恢复该文件。假设用户要访问某些文件，而这些文件已经被迁移到了磁带库上，那么StorNext SNSM 会立刻触发磁带库，自动将数据从磁带库回迁到磁盘阵列上，供业务主机访问。航遥中心使用惠普企业级磁盘阵列作为主存储设备，磁带库作为近线存储设备。系统在自动将数据从磁盘阵列迁移到磁带库的同时，还能将数据的两份副本保存在两台磁带库中，从而提高了数据的安全性。
姻中国国土资源航空物探遥感中心对地观测实验室黄炜周伟张渊
……
航遥中心数据存储及处理系统采用昆腾StorNext并行共享文件及数据归档系统3.1版本作为SAN 存储环境下的数据并行计算存储管理架构，同时集成60TB的惠普XP24000 SAN 存储系统以及昆腾Scalari2000高性能磁带库。这套并行共享文件及数据归档系统具有处理效率高、系统配置优、技术先进、文件共享性能优越等优点，能够满足航遥中心遥感数据存储、管理、分发等多种应用需求。
变分散为集中
在“十一五”期间，航遥中心在遥感探测方面就已经意识到了压力的存在，比如探测的对象越来越复杂，遥感采集的数据量成倍增长等。那么，如何才能提高数据的共享效果，加快数据处理的流程，实现数据容灾呢？航遥中心在建和已完成建设的遥感数据库和专业应用系统都处于分散存储的状态，这不利于数据的整合与共享，更无法满足新业务环境对数据处理的要求。航遥中心需要一个集中的基于数据库管理系统的存储解决方案。
经过技术调研和方案论证，在硬件平台上，航遥中心决定采用基于IA 架构的高性能服务器集群系统。航遥中心采用的高性能刀片服务器集群，通过StorNext并行共享文件及数据归档系统来共享惠普XP24000 SAN存储系统，使得服务器集群可以更加有效而经济地进行文件分享及数据归档，从而大大降低存储成本，提高工作效率。这套并行共享文件及数据归档系统在航空摄影数据暂存及在线应用、历史资料的集中存储管理，特别是遥感数据库及专业应用系统中得到了很好的应用，进一步提高了航遥中心遥感数据存储、管理和分发的效率。
系统配置方案优中选优
本着系统配套、结构合理、技术先进和高效的原则，根据航遥数据处理的实际需求以及数字摄影测量系统软件对硬件运行环境的技术要求，航遥中心选择了包括最新的CPU 技术、网络技术、光纤技术和StorNext 并行共享文件及数据归档系统在内的数据保护方案，并辅以开放的遵循工业标准的高性能计算解决方案和高容量物理磁带库。
1援文件共享及数据归档系统方案文件共享及数据归档系统是本解决方案的核心之一，它具有可用性好、性价比高、可管理性强等特点，可以实现自动的数据容灾。在本方案中，航遥中心将两台StorNext MDC 服务器及3 台StorNext SAN客户端作为I/O 节点，使得作业服务器集群的计算节点既可以通过Windows 上的CIFS服务共享StorNext文件系统，又可以按照预先制定的500TB数据迁移归档策略实现SAN 存储空间的节省，此外还可以对资料进行自动归档。
航遥中心配置了两台Scalar i2000 物理磁带库，并通过光纤线缆将磁带库连接到核心的SAN 交换机上。在StorNextSNMS 的集中管理和统一策略调度下，被迁移的数据会自动存储到两台物理磁带库中，从而实现关键数据的自动镜像保护。
2援服务器集群航空遥感资料处理系统配置作业服务器系统采用刀片服务器架构。整个系统由常规应用节点、数据库服务器、I/O节点、核心交换网络和磁带库系统组成，并且安装了Redhat Linux AS 4.1操作系统等系统软件。其中，常规应用节点采用6 台HP ProLiant BL460C 刀片服务器，并通过千兆网络端口进行直连。数据库服务器采用两台IBM 3650 服务器，主要负责文件的定位查询和处理。I/O节点采用3台HP DL580G5 服务器，并通过光纤交换机与SAN 存储系统相连接。StorNext元数据控制服务器使用的是HP DL580G5服务器，采用双机热备配置方式，其上安装Linux 操作系统，作为整个文件系统及数据迁移归档系统的系统管理平台服务器。
为实现数据迁移和自动容灾，航遥中心采用了两台Scalar i2000 企业级物理磁带库。每台磁带库配置了240TB可用容量以及6个LTO-4高性能磁带驱动器。磁带库通过SAN 网络连接到核心光纤交换机上，在StorNext SNMS 的统一管理下，可实现关键数据的自动迁移和数据异步容灾。
实现数据自动迁移
数据迁移的最高境界是无人职守的自动迁移。StorNext SNSM迁移软件不断对磁盘阵列的存储空间进行监控。当磁盘空间达到预定的饱和度时，StorNext SNSM就开始将不常使用的文件转移到磁带库中。数据转移持续进行，直至磁盘的占用率达到预定的比例时才停止。如果管理员预计在特定时间内将有大量新的数据迁入，也可以手工方式启动数据转移过程。被转移的源文件被很小的占位文件所替代，而占位文件将指向源文件转移后所处的新位置。
占位文件实际上是真实文件的索引头，而文件数据体已经被迁移到物理磁带库中。
StorNext SNSM 管理员可以通过大量参数来确定可转移的文件，例如以文件的被访问时间或文件大小等作为参数。
StorNext SNSM 会在磁盘上留下一个占位文件。该文件对于应用和用户来说是可见的。一旦StorNext SNSM 接收到转移文件的请求，就会通过最快捷的途径进行检索，以透明的方式恢复该文件。假设用户要访问某些文件，而这些文件已经被迁移到了磁带库上，那么StorNext SNSM 会立刻触发磁带库，自动将数据从磁带库回迁到磁盘阵列上，供业务主机访问。航遥中心使用惠普企业级磁盘阵列作为主存储设备，磁带库作为近线存储设备。系统在自动将数据从磁盘阵列迁移到磁带库的同时，还能将数据的两份副本保存在两台磁带库中，从而提高了数据的安全性。
姻中国国土资源航空物探遥感中心对地观测实验室黄炜周伟张渊
关注读览天下微信，
100万篇深度好文，
等你来看……
