“数字黄河”工程数据存储与管理系统建设
目录
1 数据存储与管理系统的层次
1.1 数据中心与分中心的设置与职能
1.2 数据中心与分中心的关系
2 数据存储与管理系统中数据库的建设
3 数据存储与管理平台
关 键 词:建设;数据存储;数据管理;
“数字黄河”工程 数据的高效存储和访问已成为“数字黄河”工程所要首先解决的焦点问题。对作为信息提供源的数据存储系统而言,迫切需要建设一系列先进的、具有开放的标准和极强扩展性的数据存储平台,通过采用日益成熟的网络存储技术,建立网络数据存储管理体系。数据存储管理体系的建立,将打破信息垄断和条块分割的状况,加快“数字黄河”工程资源共享和标准统一的步伐。因此,数据存储与管理系统建设是保证“数字黄河”工程生命力的必要途径。
1 数据存储与管理系统的层次
本着权威部门提供权威数据以及数据的更新维护应由直接拥有者负责的基本原则,根据数据隶属关系,按数据中心、数据分中心的层次建立黄委数据存储与管理体系。
1.1 数据中心与分中心的设置与职能
在考虑数据在网上的分布方案时,数据的安全性和一致性是首先要保证的,其次便是这个数据分布方案要能够满足数据的高效使用和全网信息共享的目的。根据黄委机构设置及业务特点,在委机关大楼信息中心设置黄河数据中心,在水文局、山东黄河河务局、河南黄河河务局、水资源保护局、设计院、水科院、上中游管理局设置7个专业数据分中心。
数据中心建设数据中心首先要建立数据逻辑模型,这是实现数据共享、提高数据服务质量的基础。所采用的技术主要有数据建模技术、网络区域存储与管理技术、数据仓库与数据挖掘技术、以数据共享和应用集成为目的的中间件技术以及元数据技术等。(1)黄河数据中心。黄河数据中心为一级数据中心,需要为多种不同的应用系统提供数据服务。其中最主要的应用系统是综合决策系统、防汛指挥系统和水量调度系统,这些系统具有更新快和数据量大等特点。黄河数据中心接受各数据分中心提供的数据,并通过统一的平台和接口为各项业务应用之间的数据共享和交换提供服务。数据中心的主要职能是:①负责黄河数据中心数据存储平台的建设管理与运行维护。②负责组织“数字黄河”各应用系统公共数据的整合、交换、存储及信息源开发。③承担有关数据库的建库、存储管理、数据处理、数据备份、数据存档和数据服务等工作。④负责提供决策支持系统及相关部门的数据服务。⑤负责为各分中心提供关键数据备份服务。⑥负责为委属各部门和有关单位提供数据库的存储、代管及托管服务。⑦协助有关部门向上级水利部门上报有关数据或同委外相关单位交流数据。⑧承担或参加有关基础数据标准的制定工作。⑨负责制定数据备份方案,包括数据远程灾难备份方案。⑩灾难性事故发生时,按规定要求快速启动数据备份系统,并负责恢复系统的正常运行。黄河数据中心的数据,小部分是由相应的应用系统直接更新、修改和维护,如防汛和水调业务数据;大部分数据则由各数据分中心遵照一定的规则和标准提供。黄河数据中心是数据交换和访问的中心,是连接分布式数据库的管理中心。(2)灾难备份中心。考虑到在特殊情况下要做到快速恢复数据,因此除了依靠黄河数据中心的备份机制进行快速恢复外,还要在异地建立远程灾难备份中心,用于保证在火灾、地震等不可抗拒的灾害破坏下黄河数据存储体系和应用系统的正常运行。灾难备份中心是针对黄河数据中心的容灾备份,二者都有各自独立的当地备份机制。黄河数据中心通过应用服务平台为各项业务应用间接提供服务,而备份中心平时只定期接受数据中心的备份数据,不提供数据服务。在黄河数据中心遭到破坏的情况下,数据灾难备份中心才提供临时数据服务。这时利用当地备份对黄河数据中心进行恢复,如果当地备份无法恢复,则利用备份数据中心进行远程数据恢复。
数据分中心数据分中心为二级数据中心,主要服务对象为相关业务应用系统。各数据分中心存放满足自身业务需要的数据,并由所在单位的专业部门来负责更新、维护和备份。同时负责为所在单位的专业部门提供数据库的存储、代管及托管服务。数据分中心的主要职能为:①负责数据分中心数据存储平台的建设管理与运行维护。②承担有关数据库的建库、存储管理、数据处理、数据备份、数据存档和数据服务等工作。③负责为在本单位运行的应用系统提供数据服务。④负责为下属单位提供数据库的存储、代管及托管服务。⑤按照委属有关业务部门的要求,向黄河数据中心提交有关数据并负责其更新和维护。⑥灾难性事故发生时,按规定要求快速启动本地数据备份系统。⑦在本地备份系统启动失败的情况下,运用黄河数据中心的备份系统恢复本地系统的正常运行。
1.2 数据中心与分中心的关系
(1)数据的更新与维护。通过各种方式采集的数据按照数据分中心、黄河数据中心的层次自下向上汇总。各数据中心之间的数据交换主要通过应用服务平台来完成。各数据分中心按照各自的职责向黄河数据中心提供所需要的数据,主要是实时观测数据、预测数据、历史数据以及基础数据。对于基础数据,数据分中心要按业务规定和要求定期对黄河数据中心的相关数据进行更新;对于实时观测数据,数据分中心要在得到基层报送的数据后立即转发到数据中心。各数据分中心除了建立、维护自己中心所存储的数据外,还负责更新、维护向上提供的数据,确保数据的真实性。原则上各级数据中心不能更改下级所报送的数据。(2)数据的备份与恢复。各级数据中心都应当有自己的本地备份机制,重要数据必须提交上级数据中心备份,必要时还须考虑异地、交叉备份以确保数据安全。当数据分中心数据发生丢失时,首先在本地恢复,如果不能完全恢复,则从黄河数据中心进行恢复;当黄河数据中心发生灾难时,首先利用本地备份进行恢复,如果不能完全恢复,则灾难备份中心将恢复全部数据。(3)数据的服务。各级数据中心的数据集原则上应保持适当冗余,它们通过应用服务平台以统一的共享访问机制为各级业务应用提供数据服务。黄河数据中心主要为委机关防汛减灾、水量调度、水土保持、工程管理、电子政务和综合决策等业务应用提供服务,数据分中心主要为本部门及其下属单位的生产运行提供服务。
2 数据存储与管理系统中数据库的建设
在“数字黄河”工程建设中,需要以统一的标准对现有的数据库进行整合,建设包括基础数据库、专业数据库、政务数据库在内的数据库系统,完善数据存储内容,实现黄河信息资源的完整性、一致性和共享性。基础数据库包括黄河水文数据库、流域基础地理信息数据库、遥感影像数据库、黄河防洪工程基础数据库和黄河经济社会数据库;专业数据库包括实时水(雨)情数据库、历史大洪水与凌情数据库、气象数据库、实时险情与工情数据库、旱情数据库、防汛物资数据库、引水退水数据库、水质数据库、工程建设与管理数据库、水保数据库、规划设计数据库、模型实验数据库、电子地图数据库和遥感影像数据库;政务数据库包括办公自动化数据库、新闻宣传出版综合数据库、档案馆综合数据库以及电子邮件与视频点播数据库。
3 数据存储与管理平台
黄河数据中心、7个分中心和1个灾难备份中心是黄河数据存储和备份管理体系的节点。各中心存储系统由其相应的存储、备份设备和软件以及相应的存储、备份管理机制构成。在黄河数据中心、灾难备份中心和数据分中心分别建立起数据存储系统和数据备份系统,并各自建立制度化的数据备份管理机制以确保本地数据的安全;统一采用先进的网络存储系统,确保可靠的在线存储,保证硬件设备与应用系统数据的高效、安全使用。黄河数据中心是用具有高传输速度的光通道协议直接连接方式连接中心内部各数据库服务器、网络存储和管理设备等的数据存储网络。它可以提供存储体系内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的局域网内。灾难备份中心的网络结构与存储设备与数据中心完全相同。考虑到各分中心所处理、存储的数据规模较黄河数据中心小,因此在网络存储、磁盘阵列、备份磁带库等设备的选用上应选择性能适合的产品。在“数字黄河”工程中,应用网络存储可以提高数据存储的可靠性、可用性和可扩展性,并可提高数据共享和集成的能力。例如在黄河数据中心、灾难备份中心和主要的数据分中心就采用了SAN(存储区域网络)和NAS(网络附加存储)相结合的技术。
4 结 语
以数据中心、数据分中心作为分布式数据存储的网络节点,已成为当前数据存储和交换的主要模式。数据存储局域网技术作为组建数据中心、存储海量数据、建立安全可靠的数据安全和备份管理平台的有效手段,得到了普遍应用。将数据相对集中起来管理是目前网上数据库的发展趋势,其优越性体现在:①充分保证了数据的完整性和一致性。②数据库维护更加方便。③能够真正实现数据资源的高效共享。④能够方便实现数据的异地容灾备份。⑤节省了在数据分散的情况下需要的人力和财力,降低了成本,同时解决了技术力量不足的问题。