浅析基于云计算的智能计量平台研发

1 系统需求

根据智能计量业ช务的需求，智能计量平台将基于云计算技术，使系统需要和营销管理系统、95598系统、生产管理系统、智能小区系统以及省网营销管理系统进行数据的交互，以实现计量业务与营销其他业务的双向互助支撑。此外，系统还需要整合现有的居民集抄系统、负荷控制系统及配电变压器监测系统，构建电力客户与电网管理部门的智能化和多样化互动服务平台。系☼统的物理架构。

可知，本系统的目的是将不同领域的单一监测系统进行整合，通过利用虚拟化平台对上述系统涉及到的服务器、存储设备以及网络设备的资源进行虚拟化，屏蔽了由于硬件资源的不同导致相互通信受阻问题，并以虚拟机为单位进行统一的资源管理，通过虚拟机将各类系统数据集中到主站或者通过统一的虚拟机将主站的指令发送到各监测终端，然后在主站端进行计量业务的综合应用分析和用电信息辅助决策。

2 核心技术介绍

Hadoop是分布式系统基础架构，是由开源组织Apache开发。基于Hadoop[9]的应用系统可以运行在廉价的硬件设施组成的集群上，通过Hadoop可以快速构建一个具有高可靠性和良好扩展性的分布式系统。系统主要由HDFS、MapReduce和HBase等组件组成，其中HDFS和MapReduce是Hadoop的两个核心组件，HDFS是Hadoop实现的一个高度容错的分布式文件系统，具有较强的可扩展性，同时HDFS也是Hadoop系统的基础层，负责数据的存储管理，并且能够提供高吞吐量的数据访问，适合处理大规模数据集的应用程序。而MapReduce[10]是一种并行计算模型，它能够有效合理地分割输入数据，进而并行处理，适合对海量数据的处理。Hadoop实现的MapReduce计算框架提供一种简单的编程模型，节省时间，可以快速实现分布式计算应用;HBase是一个分布式的、面向列的非关系型数据库，是云计算中的开源实现，支持高性能并发读写。

在本项目中， H a d o o p 集群局域网由1 台NameNode服务器、1台SecondaryNameNode服务器、1台JobTracker服务器和多台从服务器组成。NameNode服务器负责管理海量数据文件的分割、存储以及监控DataNode的运行情况。应用程序需要读取数据文件，首先访问NameNode服务器，获取数据文件在各DataNode上的分布，然后直接与DataNode通信。一旦发现某个DataNode宕机，NameNode将通知应用程序访问宕机节点各数据块的副本，并在其他DataNode上增加宕机节点各数据块的副本，以保证平台的可靠运行。SecondaryNameNode服务器用来监控HDFS状态，与NameNode进行通信，以便定期保存HDFS元数据的快照，若NameNode发生问题，其作为备用NameNode使用。JobTracker服务器负责管理计算任务的分解和汇总，负责监控各TaskTracker节点的运行情况，一旦某个任务失败，JobTracker自动重新启动这个任务。从服务器承担了DataNode和TaskTracker两种角色，分别负责数据块的存储和数据计算的map、reduce任务的运行。

3 平台框架结构

结合智能计量平台自身的特点， 智能计量云平台在设计上采用分布式、分层结构，可以划分为整个系统的实现由云设备、云平台、基础服务、高级应用及表现层五层构成，云设备层由主机设备、存储设备、网络设备及其他设备组成。在本系统软件设计中，采用VMware虚拟化平台管理技术，通过对上述设备进行操作系统虚拟化处理，实现了对硬件资源的虚拟化，并对上述虚拟化后的硬件采用虚拟机的管理方式，实现了资源抽象、资源监控、资源部署以及安全的管理。通过虚拟化技术的实施，不但保证了资源的利用效率，还使系统管理人员可以不受形式各异的硬件资源及操作系统的影响，而将工作重心全部投入到系统业务应用上。

云平台由数据存储、计算服务、负载管理、数据隔离和备份管理等服务组成。该平台以虚拟机为单位构建了数据库集群、应用集群、网关集群、采集集群、Web集群和接口服务器集群等基础平台运行环境，采用分布式文件系统、分布式数据库管理系统、数据管理和数据分析等先进的云计算技术，实现了海量数据的大规模存储，为后续的数据挖掘，高级数据应用提供了高性能的分布式计算环境。服务层由系统模型管理、数据中心管理、数据访问服务、消息服务、报表服务、通信管理、规约管理、系统维护及权限服务等组成，本层是业务系统的坚强基础，高级应用的每个模块都要求这些服ล务的支撑。该层采用MapReduce作为处理海量数据的并行编程模型和计算框架。对于大规模的数据集合操作，采用任务分解与结果汇总的方法。此外，通过采用高级数据流语言Pig实ษ现了简化MapReduce任务的开发过程。在系统模型管理提供了整个系统内在的基于IEC 61970/IEC 61968的数据结构，能够实现系统的互操作;数据中心管理及数据访问服务提供了ภ基础运行大数据的快速准确访问机制;通信管理提供整个系统通信信道及通信方式的选择机制;而规约管理提供了系统数据交换的模型格式。

应用层由能耗管理、运维管理、降损节能管理、设备状态评估、信息发布及数据接口等组成。能耗管理主要涉及异常用电、虚拟费控管理、有序用电管理、动能管理、分布式新能源管理及智能家居管理等;运维管理主要涉及计量校验数据移动接入、计量设备缺陷分析及移动处缺管理等;降损节能主要涉及到关系电网经济运行的损耗分析、电能质量各指标分析以及增值服务等;设备状态评估主要涉及到供电仿真分析、配电变压器状态评估及设备全生命周期管理等功能。表现层主要是整个系统的访问界面， 电力客户与供电部门可以通过计算机客户端、手持终端、LED大屏、触摸屏及多媒体电视等实现双向互动、用电信息的及时披露、异常供电的早通知及处缺管理的更加便利化。本层在设计时主要使用Flex技术来保证系统的易用性，并使用Swiz技术框架来实现模型-视图-控制器设计，并充分利用现有平台中的系统管理功能。

4 平台系统特点

与原计量平台相比，新型智能计量自动化平台具有下述优点：

1)在主站平台系统的设计上，底层系统采用云平台架构，整合主机设备、存储设备、网络设备及其他设备，在这些设备基础上进行操作系统虚拟化处理，提供数据存储、计算服务、负载管理、数据隔离及备份管理等服务，保障设备高效利用、上层服务及时响应，保障高级应用各模块能够负载均衡，且快速得到处理。

2)在系统内核设计上，采用统一数据中心建设模式，采用模块化设计方式，即：统一设备建模、统一业务管理、统一数据采集、统一分析计算、统一网络平台、统一告警及统一信息发布，避免重复建设，以便各种后续高级应用模块能够灵活配置，达到即插即用的目的。

3)在网络设计上，以计量自动化系统主站为基础，与厂站电能量遥测系统、大客户负荷管理系统、配变监测计量系统、低压集中抄表系统及智能小区系统统一组网，共享通信服务资源，共用相同的数据库服务系统，建设一体化主站系统。一体化主站系统中市局、县局、供电所、变电站、母线、主变压器要求、线路、大客户、台区、专用变压器、配电变压器、表计、终端和计量点等对象各自唯一编码，可满足采集模型和分析模型的构建。

4)在系统部署上，采用集中式部署方式。即：只在地市供电局部署主站，各县级供电局不单独建设主站，而以工作站的方式接入主站，所有的业务都必须在主站完成。

5)在接口设计上，系统不仅需要与表计终端进行通信交换运行信息，而且需要与诸如营销管理系统、生产管理系统及95598系统等外部接口，以获取诸如档案资料、缴费情况、购售电以及客户用电反馈信息等各种信息的支撑。