開(kāi)關(guān)電源廠(chǎng)家口若懸河講面向智能電網(wǎng)應用的電力大數據關(guān)鍵技術(shù)
大數據這個(gè)術(shù)語(yǔ)最早期的引用可追溯到Apache軟件基金會(huì )的開(kāi)源項目Nutch。當時(shí)，大數據用來(lái)描述為更新網(wǎng)絡(luò )搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數據集。
早在2008 年Nature就出版了專(zhuān)刊“Big Data”，從網(wǎng)絡(luò )經(jīng)濟學(xué)、超級計算、互聯(lián)網(wǎng)技術(shù)、生物醫藥、環(huán)境科學(xué)等多個(gè)方面介紹了海量數據帶來(lái)的挑戰；2011年Science推出數據處理的專(zhuān)刊“Dealing With Data”，深入討論了數據洪流(datadeluge，DD)所帶來(lái)的挑戰，并指出如果能夠更有效地組織和利用這些海量數據，人們將得到更多的機會(huì )發(fā)揮科學(xué)技術(shù)對推動(dòng)社會(huì )發(fā)展的巨大作用；2012年奧巴馬宣布美國政府投資2億美元啟動(dòng)“大數據研究和發(fā)展計劃”，將大數據比喻為“未來(lái)的新石油”，將對大數據的研究上升為國家意志，掀起了世界各國大數據的研究熱潮。
大數據的定義，業(yè)界雖然有一些共識，但是并未有統一的定義。麥肯錫認為“大數據是指其大小超出典型數據軟件抓取、儲存、管理和分析范圍的數據集合”；Gartner認為“大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長(cháng)率和多樣化的信息資產(chǎn)”。
在對大數據的定義中，比較有代表性的定義是3V定義，即規模性(Volume)，多樣性(Variety)和高速性(Velocity)，規模性是指數據量龐大，數據洪流已經(jīng)從GB、TB級上升到PB、EB、ZB級；多樣性是指數據類(lèi)型繁多，并且包含結構化、半結構化和非結構化的數據；高速性則是指數據以數據流的形態(tài)快速、動(dòng)態(tài)的產(chǎn)生，數據處理的速度也必須達到高速實(shí)時(shí)處理。
另外大數據第4V的討論并沒(méi)有取得一致的結論，國際數據公司(international data corporation， IDC)認為大數據應該具有價(jià)值性(Value)，且價(jià)值密度稀疏；IBM則認為大數據的第4V特性是真實(shí)性(Veracity)。大數據的這些特點(diǎn)決定了在大數據時(shí)代，傳統的數據處理技術(shù)必需有革命性的提升。
電力系統作為經(jīng)濟發(fā)展和人類(lèi)生活依賴(lài)的能量供給系統，也具有大數據的典型特征。電力系統是最復雜的人造系統之一，其具有地理位置分布廣泛、發(fā)電用電實(shí)時(shí)平衡、傳輸能量數量龐大、電能傳輸光速可達、通訊調度高度可靠、實(shí)時(shí)運行從不停止、重大故障瞬間擴大等特點(diǎn)，這些特點(diǎn)決定了電力系統運行時(shí)產(chǎn)生的數據數量龐大、增長(cháng)快速、類(lèi)型豐富，完全符合大數據的所有特征，是典型的大數據。
在智能電網(wǎng)深入推進(jìn)的形勢下，電力系統的數字化、信息化、智能化不斷發(fā)展，帶來(lái)了更多的數據源，例如智能電表從數以?xún)|計的家庭和企業(yè)終端帶來(lái)的數據，電力設備狀態(tài)監測系統從數以萬(wàn)計的發(fā)電機、變壓器、開(kāi)關(guān)設備、架空線(xiàn)路、高壓電纜等設備中獲取的高速增長(cháng)的監測數據，光伏和風(fēng)電功率預測所需的大量的歷史運行數據、氣象觀(guān)測數據等。
因此在電力系統數據爆炸式增長(cháng)的新形勢下，傳統的數據處理技術(shù)遇到瓶頸，不能滿(mǎn)足電力行業(yè)從海量數據中快速獲取知識與信息的分析需求，電力大數據技術(shù)的應用是電力行業(yè)信息化、智能化發(fā)展的必然要求。
中國電機工程學(xué)會(huì )信息化專(zhuān)委會(huì )在2013年3月發(fā)布了《中國電力大數據發(fā)展白皮書(shū)》，將2013 年定為“中國大數據元年”，掀起了電力大數據的研究熱潮。根據白皮書(shū)描述，電力大數據的特征可概括為3V和3E。3V為體量大(Volume)、速度快(Velocity)和類(lèi)型多(Variety) ； 3E 為數據即能量(Energy) 、數據即交互(Exchange)和數據即共情(Empathy)。
其3V的描述和其他行業(yè)的描述比較接近，3E的描述具有典型的電力行業(yè)特征，體現了大數據在電力系統應用中的巨大價(jià)值。數據即能量簡(jiǎn)而言之，就是指通過(guò)大數據分析達到節能的目的，電力大數據應用的過(guò)程，就是電力數據能量釋放的過(guò)程；數據即交互是指電力大數據與國民經(jīng)濟其他領(lǐng)域數據進(jìn)行交互融合，才能發(fā)揮其更大價(jià)值；數據即共情是指電力大數據緊密聯(lián)系千家萬(wàn)戶(hù)、廠(chǎng)礦企業(yè)，只有情系用電客戶(hù)，滿(mǎn)足客戶(hù)需求，電力企業(yè)方能以數據取勝。
電力大數據貫穿發(fā)、輸、變、配、用等電力生產(chǎn)及管理的各個(gè)環(huán)節，是能源變革中電力工業(yè)技術(shù)革新的必然過(guò)程，不僅是技術(shù)上的進(jìn)步，更是涉及電力系統管理體制、發(fā)展理念和技術(shù)路線(xiàn)等方面的重大變革，是下一代電力系統在大數據時(shí)代下價(jià)值形態(tài)的躍升。對建設堅強智能電網(wǎng)而言，亟需開(kāi)展大數據相關(guān)技術(shù)的研究，為電力大數據時(shí)代的到來(lái)奠定理論基礎和技術(shù)積累。
1 智能電網(wǎng)、云計算和大數據的關(guān)系
1.1 智能電網(wǎng)與大數據的關(guān)系
智能電網(wǎng)就是將信息技術(shù)、計算機技術(shù)、通信技術(shù)和原有輸、配電基礎設施高度集成而形成的新型電網(wǎng)，具有提高能源效率、提高供電安全性、減少環(huán)境影響、提高供電可靠性、減少輸電網(wǎng)電能損耗等優(yōu)點(diǎn)。
智能電網(wǎng)的理念是通過(guò)獲取更多的用戶(hù)如何用電、怎樣用電的信息，來(lái)優(yōu)化電的生產(chǎn)、分配及消耗，利用現代網(wǎng)絡(luò )、通信和信息技術(shù)進(jìn)行信息海量交互，來(lái)實(shí)現電網(wǎng)設備間信息交換，并自動(dòng)完成信息采集、測量、控制、保護、計量和監測等基本功能，可根據需要支持電網(wǎng)實(shí)時(shí)自動(dòng)化控制、智能調節、在線(xiàn)分析決策和協(xié)同互動(dòng)等高級功能，因此相關(guān)研究者指出：可以抽象的認為，智能電網(wǎng)就是大數據這個(gè)概念在電力行業(yè)中的應用。
1.2 大數據與云計算的關(guān)系
根據美國國家標準與技術(shù)研究院的定義，云計算是一種利用互聯(lián)網(wǎng)實(shí)現隨時(shí)、隨地、按需、便捷地訪(fǎng)問(wèn)共享資源池(如計算設施、應用程序、存儲設備等)的計算模式。
從技術(shù)上看，大數據根植于云計算，云計算的數據存儲、管理與分析方面的技術(shù)是大數據技術(shù)的基礎。利用云計算強大的計算能力，可以更加迅速地處理大數據，并更方便地提供服務(wù)；通過(guò)大數據的業(yè)務(wù)需求，可以為云計算的發(fā)展找到更多更好的實(shí)際應用。
云計算使大數據應用成為可能，但是沒(méi)有大數據的信息沉淀，云計算的功能將得不到完全發(fā)揮，所以從整體上看，大數據與云計算是相輔相成的。
云計算和大數據的側重點(diǎn)不同，因此也有較大的差別。大數據關(guān)注重心在于數據背后的信息沉淀與業(yè)務(wù)分析，因此其推動(dòng)力量來(lái)源于擁有大數據的企業(yè)和軟件廠(chǎng)商；云計算關(guān)注重心在于計算能力，偏重于技術(shù)解決方案，因此其推動(dòng)力量來(lái)自于計算資源和存儲資源的生產(chǎn)廠(chǎng)商。
云計算技術(shù)的發(fā)展早于大數據技術(shù)的發(fā)展，但是大數據的業(yè)務(wù)需求又為云計算技術(shù)的發(fā)展帶來(lái)新的機遇，一方面促進(jìn)了云計算技術(shù)向更加貼近用戶(hù)需求的方向發(fā)展，另一方面帶來(lái)了更高處理速度、更大存儲容量的要求。
1.3 智能電網(wǎng)、云計算、大數據的相互關(guān)系
云計算能夠整合智能電網(wǎng)系統內部計算處理和存儲資源，提高電網(wǎng)處理和交互能力，成為電網(wǎng)強有力的技術(shù)組成；大數據技術(shù)立足于業(yè)務(wù)服務(wù)需求，根植于云計算，以云計算技術(shù)為基礎；智能電網(wǎng)可以抽象的認為是大數據這個(gè)概念在電力中的應用，所以三者是彼此交互的關(guān)系。
智能電網(wǎng)、云計算、大數據三者之間的關(guān)系，從更加深層次來(lái)講，是電力系統發(fā)展到不同階段的產(chǎn)物，具有代紀傳承的特點(diǎn)。
智能電網(wǎng)是信息技術(shù)、計算機技術(shù)、人工智能技術(shù)等在傳統電網(wǎng)上應用沉淀的結果，滿(mǎn)足電網(wǎng)信息化、智能化、清潔化等高層次的運營(yíng)和管理需求，既是對傳統電網(wǎng)的繼承，也是對傳統電網(wǎng)的發(fā)揚，所以其發(fā)展必然與新技術(shù)同步。
來(lái)自于計算機和信息技術(shù)領(lǐng)域最前沿的云計算技術(shù)和大數據技術(shù)，正是其發(fā)展階段技術(shù)層面和應用層面兩個(gè)具有劃時(shí)代意義的新技術(shù)。云計算技術(shù)中的分布式存儲技術(shù)和并行計算技術(shù)，滿(mǎn)足了電網(wǎng)海量數據的存儲和計算需求，因此云計算技術(shù)推出不久，電力云的概念就提出來(lái)，云計算技術(shù)在電力系統中的應用也逐漸呈現出百花齊放的態(tài)勢，推動(dòng)了智能電網(wǎng)的發(fā)展。
大數據技術(shù)既是傳統數據分析與挖掘技術(shù)的延續，也是數據量級增長(cháng)到一定階段時(shí)知識挖掘與業(yè)務(wù)應用需求的必然產(chǎn)物，因此大數據技術(shù)的大部分應用都以云計算的關(guān)鍵技術(shù)或者與云計算類(lèi)似的分布式存儲和處理技術(shù)為基礎。電力大數據技術(shù)的發(fā)展從某種意義上講，可以看成是云計算技術(shù)在智能電網(wǎng)中，高級業(yè)務(wù)需求的實(shí)現過(guò)程。
2 電力大數據平臺的總體架構
Apache基金會(huì )開(kāi)源技術(shù)通用的大數據平臺整體架構具有較好的通用性，適用于電力企業(yè)大數據的規劃，其主要思想是利用基于Hadoop文件系統(Hadoopdistributed file system，HDFS)的分布式文件處理系統作為大數據的存儲框架，利用基于MapReduce的分布式計算技術(shù)作為大數據的處理框架。
以分布式文件處理技術(shù)為基礎，使PB、ZB級的數據存儲成為可能；以分布式計算技術(shù)為基礎，使得PB、ZB級數據的查詢(xún)分析成為可能。另外該框架中還包含商業(yè)智能應用、傳統的數據倉庫、大數據訪(fǎng)問(wèn)框架、大數據調度框架、網(wǎng)絡(luò )層、操作系統、服務(wù)器、備份和恢復、數據管理等模塊。
大數據存儲框架和大數據處理框架通常構建在通用的服務(wù)器、操作系統或者虛擬機上，使得該架構所需的硬件具有低成本和高擴展性的特點(diǎn)，標準的普通服務(wù)器或者PC機即可成為基于該架構的終端構成單元。
大數據存儲框架和大數據處理框架之上是通過(guò)網(wǎng)絡(luò )層連接的大數據訪(fǎng)問(wèn)框架，該訪(fǎng)問(wèn)框架包含并行計算機編程語(yǔ)言Pig、數據倉庫工具Hive、開(kāi)源數據傳遞工具Sqoop 等子模塊。
大數據調度框架包含基于列存儲的開(kāi)源非關(guān)系型數據庫Hbase、數據序列化格式與傳輸工具Avro、日志收集系統Flume、分布式鎖設施ZooKeeper等模塊。
大數據調度框架實(shí)現了對大數據的組織與調度，為數據分析提供了必要條件。在大數據調度框架之上是企業(yè)級商業(yè)智能應用系統，可以開(kāi)展查詢(xún)、分析、統計、報表等高級應用。大數據的管理、安全和備份恢復框架幫助進(jìn)行大數據的治理和保護。
該框架幾乎涵蓋了大數據技術(shù)的所有環(huán)節，值得指出的是，通過(guò)該訪(fǎng)問(wèn)框架不僅可以實(shí)現對分布式文件存儲系統的訪(fǎng)問(wèn)，而且通過(guò)大數據連接器和開(kāi)源數據傳遞工具Sqoop可以實(shí)現對傳統數據倉庫的訪(fǎng)問(wèn)。
大數據的處理流程可以定義為在合適工具的輔助下，對廣泛異構的數據源進(jìn)行抽取和集成，按照統一的標準對結果進(jìn)行存儲，利用恰當的數據分析技術(shù)對存儲的數據進(jìn)行分析，達到從中提取出有價(jià)值的知識的目的，并用合適的方式將結果展現給終端用戶(hù)。
對電力企業(yè)來(lái)講，電力大數據的基本處理流程與傳統數據處理流程并無(wú)太大差異，主要區別在于：電力大數據需要處理大量、非結構的數據，所以在各個(gè)環(huán)節都可以采用MapReduce等方式進(jìn)行并行處理。
電力系統是一種高維非線(xiàn)性的復雜系統，其內部的數據流包含電力流、信息流、業(yè)務(wù)流、故障流、氣象流等不同的數據流向。
對這些電力系統的子信息源而言，一方面可以單獨應用大數據技術(shù)，提升其產(chǎn)業(yè)價(jià)值，例如電力設備在線(xiàn)監測系統本身就是一個(gè)大數據系統，另一方面可以融合不同的子信息源，在更高的層面上構件大數據平臺，例如融合電能計量系統、SCADA系統、MIS系統、負荷控制系統，可以構建基于大數據平臺的網(wǎng)損分析系統，實(shí)現網(wǎng)損的自動(dòng)統計與分析。
基于該網(wǎng)損分析大數據平臺，還可開(kāi)展基于自動(dòng)網(wǎng)損統計的用戶(hù)竊電行為挖掘，實(shí)現更深層次的應用。
3 電力大數據關(guān)鍵技術(shù)
3.1 電力大數據的集成管理技術(shù)
電力企業(yè)數據集成管理技術(shù)是合并來(lái)自2個(gè)或者多個(gè)應用系統的數據，創(chuàng )建一個(gè)具有更多功能的企業(yè)應用的過(guò)程。從集成的角度來(lái)說(shuō)，就是把不同來(lái)源、格式、特點(diǎn)、性質(zhì)的數據在邏輯上或者存儲介質(zhì)上有機地集中，為系統存儲一系列面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，從而為系統提供全面的數據共享。電力企業(yè)集成管理技術(shù)就是為解決電力企業(yè)內部各系統間的數據冗余和信息孤島而產(chǎn)生的。
電力大數據的數據集成管理技術(shù)，包含關(guān)系型和非關(guān)系型數據庫技術(shù)、數據融合和集成技術(shù)、數據抽取技術(shù)、過(guò)濾技術(shù)和數據清洗等。大數據的一個(gè)重要特點(diǎn)就是多樣性，這就意味著(zhù)數據來(lái)源極其廣泛，數據類(lèi)型極為繁雜，這種復雜的數據環(huán)境給大數據的處理帶來(lái)極大的挑戰，要想處理大數據，首先必須對數據源的數據進(jìn)行抽取和集成，從中提取出實(shí)體和關(guān)系，經(jīng)過(guò)關(guān)聯(lián)和聚合之后采用統一的結構來(lái)存儲這些數據，在數據集成和提取時(shí)需要對數據進(jìn)行清洗，保證數據質(zhì)量及可靠性。
大數據存儲管理中一個(gè)重要的技術(shù)是NoSQL數據庫技術(shù)，它采用分布式數據存儲方式，去掉了關(guān)系型數據庫的關(guān)系型特性，數據存儲被簡(jiǎn)化且更加靈活，具有良好的可擴展性，解決了海量數據的存儲難題。有代表性的NoSQL 數據庫技術(shù)有Google的BigTable和Amazon的Dynamo等。
3.2 電力大數據的數據分析技術(shù)
大數據技術(shù)的根本驅動(dòng)力是將信號轉化為數據，將數據分析為信息，將信息提煉為知識，以知識促成決策和行動(dòng)。借助電力大數據的分析技術(shù)可以從電力系統的海量數據中找出潛在的模態(tài)與規律，為決策人員提供決策支持。
麥肯錫認為可用于大數據分析的關(guān)鍵技術(shù)源于統計學(xué)和計算機科學(xué)等學(xué)科，包含關(guān)聯(lián)分析、機器學(xué)習、數據挖掘、模式識別、神經(jīng)網(wǎng)絡(luò )、時(shí)間序列預測模型、遺傳算法等多種不同的方法。
大數據研究不同于傳統的邏輯推理研究，是對巨大數量的數據做統計性的搜索、分類(lèi)、比較、聚類(lèi)等的分析和歸納，因此繼承了統計科學(xué)的一些特點(diǎn)，如統計學(xué)關(guān)注的數據相關(guān)性或稱(chēng)關(guān)聯(lián)性，所謂“相關(guān)性”是指2個(gè)或2個(gè)以上變量的取值之間存在某種規律性[7]�！跋嚓P(guān)分析”的目的是找出數據集里隱藏的關(guān)系網(wǎng)，一般用支持度、可信度、興趣度等參數反映相關(guān)性。
牛津大學(xué)網(wǎng)絡(luò )學(xué)院教授維克多在他的著(zhù)作《大數據時(shí)代》中指出：在大數據時(shí)代，相關(guān)關(guān)系分析法將大放異彩，通過(guò)找到一個(gè)良好現象的關(guān)聯(lián)物，相關(guān)關(guān)系分析可以捕獲現在和預測未來(lái)。大數據相關(guān)關(guān)系分析法，建立在海量樣本的基礎上，不采用隨機分析法這樣的捷徑，而采用分析所有數據的方法；大數據的簡(jiǎn)單算法比小數據的復雜算法更有效，其結果更快、更準確而且不易受到干擾，因此他指出建立在相關(guān)關(guān)系分析法基礎上的預測是大數據的核心。
大數據這種不注重因果關(guān)系側重于相關(guān)關(guān)系的分析方法，帶來(lái)了科學(xué)研究思維方式的重大轉變，已故圖靈獎得主吉姆&dot；格雷提出的數據密集型科研“第四范式”，將大數據科研從前3 種范式(理論科學(xué)、計算科學(xué)、實(shí)驗科學(xué))中分離出來(lái)，單獨作為一種科研范式，正是因為其研究方式不同于基于數學(xué)模型的傳統研究方式。
電力大數據分析技術(shù)，從根本上講，屬于傳統數據挖掘技術(shù)在海量數據挖掘下的新發(fā)展，但由于大數據海量、高速增長(cháng)、多樣性的特點(diǎn)，并且不僅包含結構化數據，還含半結構化和非機構化數據，因此傳統的很多處理小數據的數據挖掘方法已經(jīng)不再實(shí)用。
大數據環(huán)境下的數據挖掘與機器學(xué)習算法，可以從3個(gè)方面著(zhù)手：1)從大數據的治理與抽樣、特征選擇的角度入手，將大數據小數據化；2)開(kāi)展大數據下的聚類(lèi)、分類(lèi)算法研究，例如基于共軛度的最小二乘支持向量機(least squares support vector machine，LS-SVM)]，隨機可擴展FuzzyC-Means (FCM)等；3)開(kāi)展大數據的并行算法，將傳統的數據挖掘方法通過(guò)并行化，應用到大數據的知識挖掘中，例如基于MapReduce的機器學(xué)習與知識挖掘。
3.3 電力大數據的數據處理技術(shù)
電力大數據的數據處理技術(shù)包括分布式計算技術(shù)，內存計算技術(shù)，流處理技術(shù)等。分布式計算技術(shù)是為了解決大規模數據的分布式存儲與處理。內存計算技術(shù)是為了解決數據的高效讀取和處理在線(xiàn)的實(shí)時(shí)計算。流處理技術(shù)則是為了處理實(shí)時(shí)到達的、速度和規模不受控制的數據。
分布式計算是一種新的計算方式，研究如何將一個(gè)需要強大計算能力才能解決的問(wèn)題分解為許多小的部分，然后再將這些部分分給多個(gè)計算機處理，最后把結果綜合起來(lái)得到最終結果。
分布式計算的一個(gè)典型代表是Google公司提出的MapReduce編程模型，該模型先將待處理的數據進(jìn)行分塊，交給不同的Map任務(wù)區處理，并按鍵值存儲到本地硬盤(pán)，再用Reduce任務(wù)按照鍵值將結果匯總并輸出最終結果。分布式技術(shù)適用于電力系統信息采集領(lǐng)域的大規模分散數據源。
內存計算技術(shù)是將數據全部放在內層中進(jìn)行操作的計算技術(shù)，該技術(shù)克服了對磁盤(pán)讀寫(xiě)操作時(shí)的大量時(shí)間消耗，計算速度得到幾個(gè)數量級的大幅提升。內層計算技術(shù)伴隨著(zhù)大數據浪潮的來(lái)臨和內存價(jià)格的下降得到快速的發(fā)展和廣泛的應用，EMC、甲骨文、SAT都推出了內存計算的解決方案，將客戶(hù)以前需要以天作為時(shí)間計算單位的業(yè)務(wù)降低為以秒作為時(shí)間計算單位，解決了大數據實(shí)時(shí)分析和知識挖掘的難題。
流處理的處理模型是將源源不斷的數據組視為流，當新的數據到來(lái)時(shí)就立即處理并返回結果，其基本理念是數據的價(jià)值會(huì )隨著(zhù)時(shí)間的流逝而不斷減少，因此盡可能快地對最新的數據做出分析并給出結果，其應用場(chǎng)景主要有網(wǎng)頁(yè)點(diǎn)擊的實(shí)時(shí)統計、傳感器網(wǎng)絡(luò )、金融中的高頻交易等[8]。
隨著(zhù)電力事業(yè)的發(fā)展，電力系統數據量不斷增長(cháng)，對實(shí)時(shí)性的要求也越來(lái)越高，將數據流技術(shù)應用于電力系統可以為決策者提供即時(shí)依據，滿(mǎn)足實(shí)時(shí)在線(xiàn)分析需求。
3.4 電力大數據的數據展現技術(shù)
電力大數據的數據展現技術(shù)包括可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等�？梢暬夹g(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)從3個(gè)不同的方面詮釋了電力大數據展現技術(shù)的豐富內涵。借助電力大數據的數據展現技術(shù)可幫助管理人員更直觀(guān)、準確地理解電力系統數據表達的意義，了解電力系統的運行狀態(tài)。
可視化技術(shù)廣泛應用于電網(wǎng)狀態(tài)的實(shí)時(shí)監控，顯著(zhù)提高了電力系統的自動(dòng)化水平。未來(lái)電力系統可視化還可結合復雜網(wǎng)絡(luò )中的相關(guān)理論在電網(wǎng)自動(dòng)分層分區、自動(dòng)布點(diǎn)等方面展開(kāi)深入研究，發(fā)掘電網(wǎng)更深層次的規律和聯(lián)系。
空間信息流展示技術(shù)主要體現在電網(wǎng)參數與已有地理信息系統的結合上，包含變電站三維展示、虛擬現實(shí)等技術(shù)。將電力配電設備管理與地理信息系統緊密結合起來(lái)，有利于電網(wǎng)管理人員直觀(guān)地了解設備情況，從而為其決策提供最新的地理信息。在變電站工程設計中用空間信息流展示技術(shù)可以節約時(shí)間、資源、成本，為電力企業(yè)帶來(lái)巨大的效益。
歷史流展示技術(shù)體現在對電網(wǎng)歷史數據的管理與展示上。在電力系統中，深層次的應用分析往往以歷史數據為基礎。對生產(chǎn)現場(chǎng)的實(shí)時(shí)監測數據、電網(wǎng)的規劃數據和負荷預測數據，通過(guò)歷史流展示技術(shù)，可以繪制出數據的發(fā)展趨勢并預測出未來(lái)的數據走勢；通過(guò)歷史流回放展示技術(shù)，可以模擬歷史重大事件發(fā)生、演變，挖掘歷史事件潛在的知識與規律。
4 大數據在智能電網(wǎng)中的應用
電力大數據的應用場(chǎng)合涵蓋發(fā)、輸、變、配、用、調等電力行業(yè)的各個(gè)環(huán)節，在風(fēng)電場(chǎng)選址、降低網(wǎng)損、風(fēng)電并網(wǎng)、電網(wǎng)安全監測、大災難預警、電力企業(yè)精細化運營(yíng)、電力設備狀態(tài)監測等領(lǐng)域有非常強的可實(shí)現性。
5 結論與展望
本文探討了大數據、云計算、智能電網(wǎng)三者之間的相互關(guān)系，并給出電力大數據的總體可執行框架，對電力企業(yè)大數據平臺的搭建具有參考價(jià)值。
本文闡述了電力大數據平臺中4個(gè)核心的關(guān)鍵技術(shù)，即集成管理技術(shù)、分析技術(shù)、處理技術(shù)、展現技術(shù)。大數據的集成管理技術(shù)應該考慮關(guān)系型和非關(guān)系型數據庫技術(shù)的綜合應用，并重點(diǎn)考慮NoSQL數據庫技術(shù)；大數據的分析技術(shù)應從大數據的治理與抽樣、大數據特征選擇、大數據小數據化、大數據的分類(lèi)算法、大數據挖掘并行化等方面開(kāi)展研究；大數據的處理技術(shù)應根據具體的應用需求考慮分布式計算、內存計算、流處理等技術(shù)；電力大數據的數據展現技術(shù)可考慮可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等。
大數據技術(shù)在商業(yè)領(lǐng)域已經(jīng)獲得較為廣泛的應用并創(chuàng )造出巨大的商業(yè)價(jià)值，但是在電力系統中的應用才剛剛起步，因此結合大數據的技術(shù)優(yōu)勢和電力系統的應用需求，發(fā)揮電力大數據的價(jià)值，將為智能電網(wǎng)的建設帶來(lái)新的發(fā)展契機。
電力企業(yè)應該牢牢抓住這個(gè)契機，從數據政策、人才培養、關(guān)鍵技術(shù)研發(fā)等層面，全面促成電力大數據技術(shù)的發(fā)展。
保定市四北電子有限公司具有卓越的產(chǎn)品性能、優(yōu)良的品質(zhì)、高可靠的電源設計，并提供定制開(kāi)關(guān)電源服務(wù)�，F已形成幾大系列產(chǎn)品：開(kāi)關(guān)電源系列、逆變電源系列、充電電源系列、備用電源系列等產(chǎn)品。提供AC/DC、DC/DC、DC/AC基板式、模塊式、嵌入式等各種形式專(zhuān)用電源。
主要電源類(lèi)別有：電力自動(dòng)化設備專(zhuān)用電源；通訊領(lǐng)域專(zhuān)用電源；電力測試儀器專(zhuān)用電源；機車(chē)控制系統電源：高壓激光電源；浮充電電源；UPS電源；伺服式交流穩壓電源；ZDD系列20W∽3KW逆變電源。http://www.opencoinira.com
早在2008 年Nature就出版了專(zhuān)刊“Big Data”，從網(wǎng)絡(luò )經(jīng)濟學(xué)、超級計算、互聯(lián)網(wǎng)技術(shù)、生物醫藥、環(huán)境科學(xué)等多個(gè)方面介紹了海量數據帶來(lái)的挑戰；2011年Science推出數據處理的專(zhuān)刊“Dealing With Data”，深入討論了數據洪流(datadeluge，DD)所帶來(lái)的挑戰，并指出如果能夠更有效地組織和利用這些海量數據，人們將得到更多的機會(huì )發(fā)揮科學(xué)技術(shù)對推動(dòng)社會(huì )發(fā)展的巨大作用；2012年奧巴馬宣布美國政府投資2億美元啟動(dòng)“大數據研究和發(fā)展計劃”，將大數據比喻為“未來(lái)的新石油”，將對大數據的研究上升為國家意志，掀起了世界各國大數據的研究熱潮。
大數據的定義，業(yè)界雖然有一些共識，但是并未有統一的定義。麥肯錫認為“大數據是指其大小超出典型數據軟件抓取、儲存、管理和分析范圍的數據集合”；Gartner認為“大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長(cháng)率和多樣化的信息資產(chǎn)”。
在對大數據的定義中，比較有代表性的定義是3V定義，即規模性(Volume)，多樣性(Variety)和高速性(Velocity)，規模性是指數據量龐大，數據洪流已經(jīng)從GB、TB級上升到PB、EB、ZB級；多樣性是指數據類(lèi)型繁多，并且包含結構化、半結構化和非結構化的數據；高速性則是指數據以數據流的形態(tài)快速、動(dòng)態(tài)的產(chǎn)生，數據處理的速度也必須達到高速實(shí)時(shí)處理。
另外大數據第4V的討論并沒(méi)有取得一致的結論，國際數據公司(international data corporation， IDC)認為大數據應該具有價(jià)值性(Value)，且價(jià)值密度稀疏；IBM則認為大數據的第4V特性是真實(shí)性(Veracity)。大數據的這些特點(diǎn)決定了在大數據時(shí)代，傳統的數據處理技術(shù)必需有革命性的提升。
電力系統作為經(jīng)濟發(fā)展和人類(lèi)生活依賴(lài)的能量供給系統，也具有大數據的典型特征。電力系統是最復雜的人造系統之一，其具有地理位置分布廣泛、發(fā)電用電實(shí)時(shí)平衡、傳輸能量數量龐大、電能傳輸光速可達、通訊調度高度可靠、實(shí)時(shí)運行從不停止、重大故障瞬間擴大等特點(diǎn)，這些特點(diǎn)決定了電力系統運行時(shí)產(chǎn)生的數據數量龐大、增長(cháng)快速、類(lèi)型豐富，完全符合大數據的所有特征，是典型的大數據。
在智能電網(wǎng)深入推進(jìn)的形勢下，電力系統的數字化、信息化、智能化不斷發(fā)展，帶來(lái)了更多的數據源，例如智能電表從數以?xún)|計的家庭和企業(yè)終端帶來(lái)的數據，電力設備狀態(tài)監測系統從數以萬(wàn)計的發(fā)電機、變壓器、開(kāi)關(guān)設備、架空線(xiàn)路、高壓電纜等設備中獲取的高速增長(cháng)的監測數據，光伏和風(fēng)電功率預測所需的大量的歷史運行數據、氣象觀(guān)測數據等。
因此在電力系統數據爆炸式增長(cháng)的新形勢下，傳統的數據處理技術(shù)遇到瓶頸，不能滿(mǎn)足電力行業(yè)從海量數據中快速獲取知識與信息的分析需求，電力大數據技術(shù)的應用是電力行業(yè)信息化、智能化發(fā)展的必然要求。
中國電機工程學(xué)會(huì )信息化專(zhuān)委會(huì )在2013年3月發(fā)布了《中國電力大數據發(fā)展白皮書(shū)》，將2013 年定為“中國大數據元年”，掀起了電力大數據的研究熱潮。根據白皮書(shū)描述，電力大數據的特征可概括為3V和3E。3V為體量大(Volume)、速度快(Velocity)和類(lèi)型多(Variety) ； 3E 為數據即能量(Energy) 、數據即交互(Exchange)和數據即共情(Empathy)。
其3V的描述和其他行業(yè)的描述比較接近，3E的描述具有典型的電力行業(yè)特征，體現了大數據在電力系統應用中的巨大價(jià)值。數據即能量簡(jiǎn)而言之，就是指通過(guò)大數據分析達到節能的目的，電力大數據應用的過(guò)程，就是電力數據能量釋放的過(guò)程；數據即交互是指電力大數據與國民經(jīng)濟其他領(lǐng)域數據進(jìn)行交互融合，才能發(fā)揮其更大價(jià)值；數據即共情是指電力大數據緊密聯(lián)系千家萬(wàn)戶(hù)、廠(chǎng)礦企業(yè)，只有情系用電客戶(hù)，滿(mǎn)足客戶(hù)需求，電力企業(yè)方能以數據取勝。
電力大數據貫穿發(fā)、輸、變、配、用等電力生產(chǎn)及管理的各個(gè)環(huán)節，是能源變革中電力工業(yè)技術(shù)革新的必然過(guò)程，不僅是技術(shù)上的進(jìn)步，更是涉及電力系統管理體制、發(fā)展理念和技術(shù)路線(xiàn)等方面的重大變革，是下一代電力系統在大數據時(shí)代下價(jià)值形態(tài)的躍升。對建設堅強智能電網(wǎng)而言，亟需開(kāi)展大數據相關(guān)技術(shù)的研究，為電力大數據時(shí)代的到來(lái)奠定理論基礎和技術(shù)積累。
1 智能電網(wǎng)、云計算和大數據的關(guān)系
1.1 智能電網(wǎng)與大數據的關(guān)系
智能電網(wǎng)就是將信息技術(shù)、計算機技術(shù)、通信技術(shù)和原有輸、配電基礎設施高度集成而形成的新型電網(wǎng)，具有提高能源效率、提高供電安全性、減少環(huán)境影響、提高供電可靠性、減少輸電網(wǎng)電能損耗等優(yōu)點(diǎn)。
智能電網(wǎng)的理念是通過(guò)獲取更多的用戶(hù)如何用電、怎樣用電的信息，來(lái)優(yōu)化電的生產(chǎn)、分配及消耗，利用現代網(wǎng)絡(luò )、通信和信息技術(shù)進(jìn)行信息海量交互，來(lái)實(shí)現電網(wǎng)設備間信息交換，并自動(dòng)完成信息采集、測量、控制、保護、計量和監測等基本功能，可根據需要支持電網(wǎng)實(shí)時(shí)自動(dòng)化控制、智能調節、在線(xiàn)分析決策和協(xié)同互動(dòng)等高級功能，因此相關(guān)研究者指出：可以抽象的認為，智能電網(wǎng)就是大數據這個(gè)概念在電力行業(yè)中的應用。
1.2 大數據與云計算的關(guān)系
根據美國國家標準與技術(shù)研究院的定義，云計算是一種利用互聯(lián)網(wǎng)實(shí)現隨時(shí)、隨地、按需、便捷地訪(fǎng)問(wèn)共享資源池(如計算設施、應用程序、存儲設備等)的計算模式。
從技術(shù)上看，大數據根植于云計算，云計算的數據存儲、管理與分析方面的技術(shù)是大數據技術(shù)的基礎。利用云計算強大的計算能力，可以更加迅速地處理大數據，并更方便地提供服務(wù)；通過(guò)大數據的業(yè)務(wù)需求，可以為云計算的發(fā)展找到更多更好的實(shí)際應用。
云計算使大數據應用成為可能，但是沒(méi)有大數據的信息沉淀，云計算的功能將得不到完全發(fā)揮，所以從整體上看，大數據與云計算是相輔相成的。
云計算和大數據的側重點(diǎn)不同，因此也有較大的差別。大數據關(guān)注重心在于數據背后的信息沉淀與業(yè)務(wù)分析，因此其推動(dòng)力量來(lái)源于擁有大數據的企業(yè)和軟件廠(chǎng)商；云計算關(guān)注重心在于計算能力，偏重于技術(shù)解決方案，因此其推動(dòng)力量來(lái)自于計算資源和存儲資源的生產(chǎn)廠(chǎng)商。
云計算技術(shù)的發(fā)展早于大數據技術(shù)的發(fā)展，但是大數據的業(yè)務(wù)需求又為云計算技術(shù)的發(fā)展帶來(lái)新的機遇，一方面促進(jìn)了云計算技術(shù)向更加貼近用戶(hù)需求的方向發(fā)展，另一方面帶來(lái)了更高處理速度、更大存儲容量的要求。
1.3 智能電網(wǎng)、云計算、大數據的相互關(guān)系
云計算能夠整合智能電網(wǎng)系統內部計算處理和存儲資源，提高電網(wǎng)處理和交互能力，成為電網(wǎng)強有力的技術(shù)組成；大數據技術(shù)立足于業(yè)務(wù)服務(wù)需求，根植于云計算，以云計算技術(shù)為基礎；智能電網(wǎng)可以抽象的認為是大數據這個(gè)概念在電力中的應用，所以三者是彼此交互的關(guān)系。
智能電網(wǎng)、云計算、大數據三者之間的關(guān)系，從更加深層次來(lái)講，是電力系統發(fā)展到不同階段的產(chǎn)物，具有代紀傳承的特點(diǎn)。
智能電網(wǎng)是信息技術(shù)、計算機技術(shù)、人工智能技術(shù)等在傳統電網(wǎng)上應用沉淀的結果，滿(mǎn)足電網(wǎng)信息化、智能化、清潔化等高層次的運營(yíng)和管理需求，既是對傳統電網(wǎng)的繼承，也是對傳統電網(wǎng)的發(fā)揚，所以其發(fā)展必然與新技術(shù)同步。
來(lái)自于計算機和信息技術(shù)領(lǐng)域最前沿的云計算技術(shù)和大數據技術(shù)，正是其發(fā)展階段技術(shù)層面和應用層面兩個(gè)具有劃時(shí)代意義的新技術(shù)。云計算技術(shù)中的分布式存儲技術(shù)和并行計算技術(shù)，滿(mǎn)足了電網(wǎng)海量數據的存儲和計算需求，因此云計算技術(shù)推出不久，電力云的概念就提出來(lái)，云計算技術(shù)在電力系統中的應用也逐漸呈現出百花齊放的態(tài)勢，推動(dòng)了智能電網(wǎng)的發(fā)展。
大數據技術(shù)既是傳統數據分析與挖掘技術(shù)的延續，也是數據量級增長(cháng)到一定階段時(shí)知識挖掘與業(yè)務(wù)應用需求的必然產(chǎn)物，因此大數據技術(shù)的大部分應用都以云計算的關(guān)鍵技術(shù)或者與云計算類(lèi)似的分布式存儲和處理技術(shù)為基礎。電力大數據技術(shù)的發(fā)展從某種意義上講，可以看成是云計算技術(shù)在智能電網(wǎng)中，高級業(yè)務(wù)需求的實(shí)現過(guò)程。
2 電力大數據平臺的總體架構
Apache基金會(huì )開(kāi)源技術(shù)通用的大數據平臺整體架構具有較好的通用性，適用于電力企業(yè)大數據的規劃，其主要思想是利用基于Hadoop文件系統(Hadoopdistributed file system，HDFS)的分布式文件處理系統作為大數據的存儲框架，利用基于MapReduce的分布式計算技術(shù)作為大數據的處理框架。
以分布式文件處理技術(shù)為基礎，使PB、ZB級的數據存儲成為可能；以分布式計算技術(shù)為基礎，使得PB、ZB級數據的查詢(xún)分析成為可能。另外該框架中還包含商業(yè)智能應用、傳統的數據倉庫、大數據訪(fǎng)問(wèn)框架、大數據調度框架、網(wǎng)絡(luò )層、操作系統、服務(wù)器、備份和恢復、數據管理等模塊。
大數據存儲框架和大數據處理框架通常構建在通用的服務(wù)器、操作系統或者虛擬機上，使得該架構所需的硬件具有低成本和高擴展性的特點(diǎn)，標準的普通服務(wù)器或者PC機即可成為基于該架構的終端構成單元。
大數據存儲框架和大數據處理框架之上是通過(guò)網(wǎng)絡(luò )層連接的大數據訪(fǎng)問(wèn)框架，該訪(fǎng)問(wèn)框架包含并行計算機編程語(yǔ)言Pig、數據倉庫工具Hive、開(kāi)源數據傳遞工具Sqoop 等子模塊。
大數據調度框架包含基于列存儲的開(kāi)源非關(guān)系型數據庫Hbase、數據序列化格式與傳輸工具Avro、日志收集系統Flume、分布式鎖設施ZooKeeper等模塊。
大數據調度框架實(shí)現了對大數據的組織與調度，為數據分析提供了必要條件。在大數據調度框架之上是企業(yè)級商業(yè)智能應用系統，可以開(kāi)展查詢(xún)、分析、統計、報表等高級應用。大數據的管理、安全和備份恢復框架幫助進(jìn)行大數據的治理和保護。
該框架幾乎涵蓋了大數據技術(shù)的所有環(huán)節，值得指出的是，通過(guò)該訪(fǎng)問(wèn)框架不僅可以實(shí)現對分布式文件存儲系統的訪(fǎng)問(wèn)，而且通過(guò)大數據連接器和開(kāi)源數據傳遞工具Sqoop可以實(shí)現對傳統數據倉庫的訪(fǎng)問(wèn)。
大數據的處理流程可以定義為在合適工具的輔助下，對廣泛異構的數據源進(jìn)行抽取和集成，按照統一的標準對結果進(jìn)行存儲，利用恰當的數據分析技術(shù)對存儲的數據進(jìn)行分析，達到從中提取出有價(jià)值的知識的目的，并用合適的方式將結果展現給終端用戶(hù)。
對電力企業(yè)來(lái)講，電力大數據的基本處理流程與傳統數據處理流程并無(wú)太大差異，主要區別在于：電力大數據需要處理大量、非結構的數據，所以在各個(gè)環(huán)節都可以采用MapReduce等方式進(jìn)行并行處理。
電力系統是一種高維非線(xiàn)性的復雜系統，其內部的數據流包含電力流、信息流、業(yè)務(wù)流、故障流、氣象流等不同的數據流向。
對這些電力系統的子信息源而言，一方面可以單獨應用大數據技術(shù)，提升其產(chǎn)業(yè)價(jià)值，例如電力設備在線(xiàn)監測系統本身就是一個(gè)大數據系統，另一方面可以融合不同的子信息源，在更高的層面上構件大數據平臺，例如融合電能計量系統、SCADA系統、MIS系統、負荷控制系統，可以構建基于大數據平臺的網(wǎng)損分析系統，實(shí)現網(wǎng)損的自動(dòng)統計與分析。
基于該網(wǎng)損分析大數據平臺，還可開(kāi)展基于自動(dòng)網(wǎng)損統計的用戶(hù)竊電行為挖掘，實(shí)現更深層次的應用。
3 電力大數據關(guān)鍵技術(shù)
3.1 電力大數據的集成管理技術(shù)
電力企業(yè)數據集成管理技術(shù)是合并來(lái)自2個(gè)或者多個(gè)應用系統的數據，創(chuàng )建一個(gè)具有更多功能的企業(yè)應用的過(guò)程。從集成的角度來(lái)說(shuō)，就是把不同來(lái)源、格式、特點(diǎn)、性質(zhì)的數據在邏輯上或者存儲介質(zhì)上有機地集中，為系統存儲一系列面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，從而為系統提供全面的數據共享。電力企業(yè)集成管理技術(shù)就是為解決電力企業(yè)內部各系統間的數據冗余和信息孤島而產(chǎn)生的。
電力大數據的數據集成管理技術(shù)，包含關(guān)系型和非關(guān)系型數據庫技術(shù)、數據融合和集成技術(shù)、數據抽取技術(shù)、過(guò)濾技術(shù)和數據清洗等。大數據的一個(gè)重要特點(diǎn)就是多樣性，這就意味著(zhù)數據來(lái)源極其廣泛，數據類(lèi)型極為繁雜，這種復雜的數據環(huán)境給大數據的處理帶來(lái)極大的挑戰，要想處理大數據，首先必須對數據源的數據進(jìn)行抽取和集成，從中提取出實(shí)體和關(guān)系，經(jīng)過(guò)關(guān)聯(lián)和聚合之后采用統一的結構來(lái)存儲這些數據，在數據集成和提取時(shí)需要對數據進(jìn)行清洗，保證數據質(zhì)量及可靠性。
大數據存儲管理中一個(gè)重要的技術(shù)是NoSQL數據庫技術(shù)，它采用分布式數據存儲方式，去掉了關(guān)系型數據庫的關(guān)系型特性，數據存儲被簡(jiǎn)化且更加靈活，具有良好的可擴展性，解決了海量數據的存儲難題。有代表性的NoSQL 數據庫技術(shù)有Google的BigTable和Amazon的Dynamo等。
3.2 電力大數據的數據分析技術(shù)
大數據技術(shù)的根本驅動(dòng)力是將信號轉化為數據，將數據分析為信息，將信息提煉為知識，以知識促成決策和行動(dòng)。借助電力大數據的分析技術(shù)可以從電力系統的海量數據中找出潛在的模態(tài)與規律，為決策人員提供決策支持。
麥肯錫認為可用于大數據分析的關(guān)鍵技術(shù)源于統計學(xué)和計算機科學(xué)等學(xué)科，包含關(guān)聯(lián)分析、機器學(xué)習、數據挖掘、模式識別、神經(jīng)網(wǎng)絡(luò )、時(shí)間序列預測模型、遺傳算法等多種不同的方法。
大數據研究不同于傳統的邏輯推理研究，是對巨大數量的數據做統計性的搜索、分類(lèi)、比較、聚類(lèi)等的分析和歸納，因此繼承了統計科學(xué)的一些特點(diǎn)，如統計學(xué)關(guān)注的數據相關(guān)性或稱(chēng)關(guān)聯(lián)性，所謂“相關(guān)性”是指2個(gè)或2個(gè)以上變量的取值之間存在某種規律性[7]�！跋嚓P(guān)分析”的目的是找出數據集里隱藏的關(guān)系網(wǎng)，一般用支持度、可信度、興趣度等參數反映相關(guān)性。
牛津大學(xué)網(wǎng)絡(luò )學(xué)院教授維克多在他的著(zhù)作《大數據時(shí)代》中指出：在大數據時(shí)代，相關(guān)關(guān)系分析法將大放異彩，通過(guò)找到一個(gè)良好現象的關(guān)聯(lián)物，相關(guān)關(guān)系分析可以捕獲現在和預測未來(lái)。大數據相關(guān)關(guān)系分析法，建立在海量樣本的基礎上，不采用隨機分析法這樣的捷徑，而采用分析所有數據的方法；大數據的簡(jiǎn)單算法比小數據的復雜算法更有效，其結果更快、更準確而且不易受到干擾，因此他指出建立在相關(guān)關(guān)系分析法基礎上的預測是大數據的核心。
大數據這種不注重因果關(guān)系側重于相關(guān)關(guān)系的分析方法，帶來(lái)了科學(xué)研究思維方式的重大轉變，已故圖靈獎得主吉姆&dot；格雷提出的數據密集型科研“第四范式”，將大數據科研從前3 種范式(理論科學(xué)、計算科學(xué)、實(shí)驗科學(xué))中分離出來(lái)，單獨作為一種科研范式，正是因為其研究方式不同于基于數學(xué)模型的傳統研究方式。
電力大數據分析技術(shù)，從根本上講，屬于傳統數據挖掘技術(shù)在海量數據挖掘下的新發(fā)展，但由于大數據海量、高速增長(cháng)、多樣性的特點(diǎn)，并且不僅包含結構化數據，還含半結構化和非機構化數據，因此傳統的很多處理小數據的數據挖掘方法已經(jīng)不再實(shí)用。
大數據環(huán)境下的數據挖掘與機器學(xué)習算法，可以從3個(gè)方面著(zhù)手：1)從大數據的治理與抽樣、特征選擇的角度入手，將大數據小數據化；2)開(kāi)展大數據下的聚類(lèi)、分類(lèi)算法研究，例如基于共軛度的最小二乘支持向量機(least squares support vector machine，LS-SVM)]，隨機可擴展FuzzyC-Means (FCM)等；3)開(kāi)展大數據的并行算法，將傳統的數據挖掘方法通過(guò)并行化，應用到大數據的知識挖掘中，例如基于MapReduce的機器學(xué)習與知識挖掘。
3.3 電力大數據的數據處理技術(shù)
電力大數據的數據處理技術(shù)包括分布式計算技術(shù)，內存計算技術(shù)，流處理技術(shù)等。分布式計算技術(shù)是為了解決大規模數據的分布式存儲與處理。內存計算技術(shù)是為了解決數據的高效讀取和處理在線(xiàn)的實(shí)時(shí)計算。流處理技術(shù)則是為了處理實(shí)時(shí)到達的、速度和規模不受控制的數據。
分布式計算是一種新的計算方式，研究如何將一個(gè)需要強大計算能力才能解決的問(wèn)題分解為許多小的部分，然后再將這些部分分給多個(gè)計算機處理，最后把結果綜合起來(lái)得到最終結果。
分布式計算的一個(gè)典型代表是Google公司提出的MapReduce編程模型，該模型先將待處理的數據進(jìn)行分塊，交給不同的Map任務(wù)區處理，并按鍵值存儲到本地硬盤(pán)，再用Reduce任務(wù)按照鍵值將結果匯總并輸出最終結果。分布式技術(shù)適用于電力系統信息采集領(lǐng)域的大規模分散數據源。
內存計算技術(shù)是將數據全部放在內層中進(jìn)行操作的計算技術(shù)，該技術(shù)克服了對磁盤(pán)讀寫(xiě)操作時(shí)的大量時(shí)間消耗，計算速度得到幾個(gè)數量級的大幅提升。內層計算技術(shù)伴隨著(zhù)大數據浪潮的來(lái)臨和內存價(jià)格的下降得到快速的發(fā)展和廣泛的應用，EMC、甲骨文、SAT都推出了內存計算的解決方案，將客戶(hù)以前需要以天作為時(shí)間計算單位的業(yè)務(wù)降低為以秒作為時(shí)間計算單位，解決了大數據實(shí)時(shí)分析和知識挖掘的難題。
流處理的處理模型是將源源不斷的數據組視為流，當新的數據到來(lái)時(shí)就立即處理并返回結果，其基本理念是數據的價(jià)值會(huì )隨著(zhù)時(shí)間的流逝而不斷減少，因此盡可能快地對最新的數據做出分析并給出結果，其應用場(chǎng)景主要有網(wǎng)頁(yè)點(diǎn)擊的實(shí)時(shí)統計、傳感器網(wǎng)絡(luò )、金融中的高頻交易等[8]。
隨著(zhù)電力事業(yè)的發(fā)展，電力系統數據量不斷增長(cháng)，對實(shí)時(shí)性的要求也越來(lái)越高，將數據流技術(shù)應用于電力系統可以為決策者提供即時(shí)依據，滿(mǎn)足實(shí)時(shí)在線(xiàn)分析需求。
3.4 電力大數據的數據展現技術(shù)
電力大數據的數據展現技術(shù)包括可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等�？梢暬夹g(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)從3個(gè)不同的方面詮釋了電力大數據展現技術(shù)的豐富內涵。借助電力大數據的數據展現技術(shù)可幫助管理人員更直觀(guān)、準確地理解電力系統數據表達的意義，了解電力系統的運行狀態(tài)。
可視化技術(shù)廣泛應用于電網(wǎng)狀態(tài)的實(shí)時(shí)監控，顯著(zhù)提高了電力系統的自動(dòng)化水平。未來(lái)電力系統可視化還可結合復雜網(wǎng)絡(luò )中的相關(guān)理論在電網(wǎng)自動(dòng)分層分區、自動(dòng)布點(diǎn)等方面展開(kāi)深入研究，發(fā)掘電網(wǎng)更深層次的規律和聯(lián)系。
空間信息流展示技術(shù)主要體現在電網(wǎng)參數與已有地理信息系統的結合上，包含變電站三維展示、虛擬現實(shí)等技術(shù)。將電力配電設備管理與地理信息系統緊密結合起來(lái)，有利于電網(wǎng)管理人員直觀(guān)地了解設備情況，從而為其決策提供最新的地理信息。在變電站工程設計中用空間信息流展示技術(shù)可以節約時(shí)間、資源、成本，為電力企業(yè)帶來(lái)巨大的效益。
歷史流展示技術(shù)體現在對電網(wǎng)歷史數據的管理與展示上。在電力系統中，深層次的應用分析往往以歷史數據為基礎。對生產(chǎn)現場(chǎng)的實(shí)時(shí)監測數據、電網(wǎng)的規劃數據和負荷預測數據，通過(guò)歷史流展示技術(shù)，可以繪制出數據的發(fā)展趨勢并預測出未來(lái)的數據走勢；通過(guò)歷史流回放展示技術(shù)，可以模擬歷史重大事件發(fā)生、演變，挖掘歷史事件潛在的知識與規律。
4 大數據在智能電網(wǎng)中的應用
電力大數據的應用場(chǎng)合涵蓋發(fā)、輸、變、配、用、調等電力行業(yè)的各個(gè)環(huán)節，在風(fēng)電場(chǎng)選址、降低網(wǎng)損、風(fēng)電并網(wǎng)、電網(wǎng)安全監測、大災難預警、電力企業(yè)精細化運營(yíng)、電力設備狀態(tài)監測等領(lǐng)域有非常強的可實(shí)現性。
5 結論與展望
本文探討了大數據、云計算、智能電網(wǎng)三者之間的相互關(guān)系，并給出電力大數據的總體可執行框架，對電力企業(yè)大數據平臺的搭建具有參考價(jià)值。
本文闡述了電力大數據平臺中4個(gè)核心的關(guān)鍵技術(shù)，即集成管理技術(shù)、分析技術(shù)、處理技術(shù)、展現技術(shù)。大數據的集成管理技術(shù)應該考慮關(guān)系型和非關(guān)系型數據庫技術(shù)的綜合應用，并重點(diǎn)考慮NoSQL數據庫技術(shù)；大數據的分析技術(shù)應從大數據的治理與抽樣、大數據特征選擇、大數據小數據化、大數據的分類(lèi)算法、大數據挖掘并行化等方面開(kāi)展研究；大數據的處理技術(shù)應根據具體的應用需求考慮分布式計算、內存計算、流處理等技術(shù)；電力大數據的數據展現技術(shù)可考慮可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等。
大數據技術(shù)在商業(yè)領(lǐng)域已經(jīng)獲得較為廣泛的應用并創(chuàng )造出巨大的商業(yè)價(jià)值，但是在電力系統中的應用才剛剛起步，因此結合大數據的技術(shù)優(yōu)勢和電力系統的應用需求，發(fā)揮電力大數據的價(jià)值，將為智能電網(wǎng)的建設帶來(lái)新的發(fā)展契機。
電力企業(yè)應該牢牢抓住這個(gè)契機，從數據政策、人才培養、關(guān)鍵技術(shù)研發(fā)等層面，全面促成電力大數據技術(shù)的發(fā)展。
保定市四北電子有限公司具有卓越的產(chǎn)品性能、優(yōu)良的品質(zhì)、高可靠的電源設計，并提供定制開(kāi)關(guān)電源服務(wù)�，F已形成幾大系列產(chǎn)品：開(kāi)關(guān)電源系列、逆變電源系列、充電電源系列、備用電源系列等產(chǎn)品。提供AC/DC、DC/DC、DC/AC基板式、模塊式、嵌入式等各種形式專(zhuān)用電源。
主要電源類(lèi)別有：電力自動(dòng)化設備專(zhuān)用電源；通訊領(lǐng)域專(zhuān)用電源；電力測試儀器專(zhuān)用電源；機車(chē)控制系統電源：高壓激光電源；浮充電電源；UPS電源；伺服式交流穩壓電源；ZDD系列20W∽3KW逆變電源。http://www.opencoinira.com
| 【上一個(gè)】 開(kāi)關(guān)電源廠(chǎng)家簡(jiǎn)說(shuō)逆變器對于提升電網(wǎng)品質(zhì)的幫助 | 【下一個(gè)】 四北電子公司介紹如何設計高效小型化開(kāi)關(guān)電源 |
| ^ 開(kāi)關(guān)電源廠(chǎng)家口若懸河講面向智能電網(wǎng)應用的電力大數據關(guān)鍵技術(shù) |