2001年，高德納(Gartner)公司的一份研究報告首次出現“大數據(Big Data)”概念的提法。時至今日，雖然對“大數據”一詞的定義說法不一，但越來越多的研究機構和網絡媒體開始關注它。大數據正成為繼云計算(Cloud Computing)之后新的熱詞。同云計算一樣，大數據雖然也看不見摸不到，卻與今日的信息技術發(fā)展如影隨形，并潛行于當前的信息生產、加工、交換過程之中。這些數據絕大多數是“非結構化數據”，通常不能為傳統的數據庫所用，但隨著自然語言處理、模式識別和機器學習等人工智能技術的發(fā)展，這些龐大的數據“寶藏”將成為未來世界的新“石油”。

    如同高德納公司的報告里提到的那樣，業(yè)界普遍認同所謂“大數據”具有明顯的“3V特征”：量級(Volume)，速度(Velocity)和多樣性(Variety)。大數據普遍具有量級大，要求處理速度快，數據本身具有豐富的多樣性。在甲骨文公司和中國移動研究院的相關研究文檔里，都追加了第四個V——Value，價值，而IBM在其相關文檔中給出的第四個“V”則是真實性(Veracity) ?；诖?，大數據可以被定義為：以新數據處理技術為手段，在海量、結構復雜、內容多樣的數據集中，以較快速度解析出規(guī)律性或根本性的判斷、趨勢或預見。更為簡單地說，是數據集太大以至于傳統數據庫軟件無法處理，所以稱為“大數據技術”。
    大數據的提出是為了解決現有數據技術無法滿足快速增多、日益復雜化的數據集合，因此基于大數據的技術涉及層面較廣，至少包括如下一些現有技術的綜合運用。關聯規(guī)則學習、分類、分組分析、眾包技術、數據異構與同構、機器學習、自然語言處理、神經網絡、模式識別、預測模型、情態(tài)分析、信號處理、時序分析和可視化處理等。
    大數據的具體化、實例化的應用離不開Apache Hadoop項目，一種開源、可擴展、分布式的應用計算架構。它包括Common、DistributedFile System、MapReduce三個組件部分。Hadoop的 Map/Reduce 框架是一種主/從架構，機群中有單一的主服務器以及若干個從服務器，在每個節(jié)點都有一個從服務器，這些分布式的節(jié)點協同工作，共同完成一個整體的大數據處理任務。
    大數據風暴帶來種種利好，著名市場研究機構IDC 數據預測：大數據市場規(guī)模將從2010 年的32 億美元成長到2015 年的169 億美元，2020 年新增的數字信息成長幅度將是2009 年的近45 倍。其中，傳統的標準化、結構化數據只占15%左右，85%的數據來源于企業(yè)內各種信息活動、電子商務、物聯網或外界社交網絡等領域中的半結構化與非結構化數據。在現代服務業(yè)科技發(fā)展“十二五”專項規(guī)劃上，把信息處理技術作為4 項關鍵技術創(chuàng)新工程之一提出來，其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析，這都是大數據的重要組成部分。而另外3 項關鍵技術創(chuàng)新工程，包括信息感知技術、信息傳輸技術、信息安全技術，也都與大數據密切相關。

    1 大數據與電力信息化的關系

    電力工業(yè)作為國家基礎性能源設施，與社會發(fā)展和人民生活息息相關，是國民經濟社會健康穩(wěn)定持續(xù)發(fā)展的重要條件。積極應用大數據技術，推動中國電力電力信息化大數據事業(yè)發(fā)展，對實現中國電力工業(yè)科學發(fā)展具有極大的現實意義。中國電機工程學會電力信息化專委會擬編制發(fā)布《中國電力大數據發(fā)展白皮書(2013)》，這將是我國首次就電力大數據問題發(fā)布白皮書。白皮書第一次提出了電力大數據的定義，并同時指出重塑電力核心價值和轉變電力發(fā)展方式是中國電力大數據的兩條核心主線。白皮書還第一次提出了電力大數據的特征即3V、3E，“3V”是指體量大(Volume)、類型多(Variety)和速度快(Velocity)，“3E”指數據即能量(Energy)、數據即交互(Exchange)、數據即共情(Empathy)。
    電力企業(yè)是不是符合大數據應用的企業(yè)?隨著電力工業(yè)與信息化的深度融合，電力信息化對電力企業(yè)的決策、運營、銷售的價值不斷增強，這種價值的躍升將使電力企業(yè)具有大數據的時代特征。電力信息化將突破傳統運維，產生更多的增值服務，甚至催生新的管理模式創(chuàng)新。數據中心將被賦予更多的職能，比如強大的數據挖掘、數據分析和決策能力。電力企業(yè)業(yè)務數據主要來自生產數據和運營管理數據。電力企業(yè)生產數據既包括發(fā)電量、電壓穩(wěn)定性等實時采集的數據，也包括物聯網、云計算、新能源并網等技術帶來的新數據業(yè)務。電力企業(yè)運營管理數據，則包括ERP、一體化平臺、協同辦公等方面的數據。如能充分利用這些基于電力生產、使用等實際數據，對其進行深入分析，便可以提供大量的高附加值服務。這些增值服務將有利于電廠生產安全檢測與控制，電力企業(yè)決策分析與管理流程控制，電力企業(yè)精細化運營管理等，實現更科學的電力需求側管理。
    電力行業(yè)應當在大力推廣信息化建設的同時，認識到數據背后的價值，搞好數據治理，并積極投入到數據挖掘與分析運用工作中，實踐大數據戰(zhàn)略，挖掘數據價值，為電力行業(yè)發(fā)、輸、配、變、用電各環(huán)節(jié)建設，以及電力營銷等業(yè)務發(fā)展提供科學指導，及有效解決方案，重視提升電力行業(yè)信息化系統輔助決策能力。

    2 電力信息建設在大數據時代的思考與探索

    大數據不僅僅是一門技術，同時也是一種全新的商業(yè)模式，它與云計算共同構成了下一代經濟的生態(tài)系統，大數據對于電力信息化建設的影響已經發(fā)生并將繼續(xù)深入。對應現在已經建立健全的信息系統，電力企業(yè)應該在技術上做好哪些準備工作?越來越多的大數據出現在電力企業(yè)面前時，電力信息化建設應如何應對?電力信息化建設將做哪些工作提高大數據時代的信息安全性?電力信息化建設將如何將大數據變成利潤增長點?這些問題都是大數據時代帶個電力信息建設的思考和探索。
   建設如果接受大數據變革，要建立合適的數據規(guī)則，中國的發(fā)電企業(yè)多以集團化運營，分子公司遍布全國甚至海外，發(fā)電形式多樣。要實現集團內大數據處理首先要通過詳盡調研、研討后根據不同類型電廠制定統一的、標準化的數據結構。每一個電力企業(yè)根據自身發(fā)展、管理、運營的需要信息化建設在決策層發(fā)揮的作用與實現的方式都存在而且應該存在差異。而從電廠生產設備、管理運營方式、集團管理制度的方向出發(fā)，同一發(fā)電集團公司內的同種類型電廠信息化系統可利用數據結構相同度要遠大于差異度，甚至不可能在同一個數量級中。在梳理數據結構整個過程包括涵蓋業(yè)務的梳理與理解、數據構成的理解、數據結構的準備、建立相對應的數據挖掘模型、評估和部署六個步驟。
    在做這項工作前，應該對發(fā)電企業(yè)的業(yè)務有詳盡的了解，根據業(yè)務需求明確需要進行梳理的數據結構的意義、要求和最終目的。再明確業(yè)務需求后則可對原始數據進行可利用評估，從發(fā)電集團公司到電廠根據實際決策需要確定各層級需要的數據，并對原始數據進行匯總、清理、集成、變換、分析等一系列收集和預處理工作;在搞好數據準備工作后可通過建設手段針對不同單位的業(yè)務需要各自研發(fā)或集中研發(fā)適合的信息系統和數字化產品;利用統一的數據結構利用不同技術將企業(yè)需要的數據可視化的呈現出來。
    電力企業(yè)所要做的就是切實利用和推廣好信息系統，以便在相對統一的數據收集框架下開展數據收集工作和需求調研工作。在結合實際工作中，要深入認識各數據產生企業(yè)的差異性，存在的數據冗余、缺失、錯誤、更新不及時等不同問題，針對發(fā)現的問題不斷合理優(yōu)化數據取舍與收集標準，并利用數據預處理技術提高和確保數據質量。因為高質量、規(guī)范化、格式統一的數據結構是進行數據挖掘工作的基礎。
    在成功進行數據結構規(guī)范工作后，生產數據的企業(yè)在研發(fā)信息系統時只需要按照規(guī)范數據結構進行開發(fā)。上級管理單位在實施集中開發(fā)時只需要關注新研發(fā)系統對不同數據來源的容錯能力和優(yōu)化能力，而不再關注數據是如何產生的、一個數據字段到底代表了什么含義等繁瑣、錯誤率高的工作。統一的數據標準在不改變生產數據企業(yè)的工作量的同時有效降低上級企業(yè)信息系統開發(fā)的難度。
    提升大數據的使用能力。存在牢固和一致的數據基礎，便要考慮如何利用好大數據。當前電力企業(yè)信息系統存在業(yè)務單一、類型多樣，基本都局限在處理單一業(yè)務層需求，僅實現單一需求報表和業(yè)務圖標的功能。企業(yè)管理與決策者僅能通過一個系統獲得有限的靜態(tài)業(yè)務信息，往往利用信息決策要訪問多個信息系統，且信息系統之間相互獨立，缺乏關聯，孤島現象一直存在與電力信息系統中，導致系統使用者要自己判斷數據的準確性和指導性。面對龐大的企業(yè)組織架構和復雜的業(yè)務體系，以及不斷變化的資源與經濟形勢，僅將大量數據靜態(tài)呈現是遠不能滿足企業(yè)決策需要的。因此，在電力信息建設踐行大數據戰(zhàn)略過程中，首先要利用云計算技術或數據挖掘相關技術建立數據孤島之間的聯系，放棄探尋數據間的因果關系，注重數據的關聯關系，探尋數據與人、生產、政策、利潤間，數據與業(yè)務間的各種關聯性，為企業(yè)決策提供全面的、準確的、更具實際意義的預測與輔助決策。

    3 大數據對電力信息化發(fā)展的應用和價值

    電力是大數據理念、技術和方法在電力行業(yè)的實踐。電力大數據涉及到發(fā)電、輸電、變電、配電、用電、調度各環(huán)節(jié)，是跨單位、跨專業(yè)、跨業(yè)務數據分析與挖掘，以及數據可視化。
    電力大數據的應用一方面是與宏觀經濟、人民生活、社會保障信息融合，促進經濟社會發(fā)展;另一方面，是電力行業(yè)或企業(yè)內部，跨專業(yè)、跨單位、跨部門的數據融合，提升行業(yè)、企業(yè)管理水平和經濟效益。
    為打造“美麗中國”貢獻力量，電力企業(yè)投產清潔能源項目越來越多，光伏發(fā)電、風力發(fā)電都對地形地貌、環(huán)境特征有很高的要求和條件。針對于清潔能源項目建設的要求可借助電力生產MIS系統與地理信息GIS系統中大量的數據，結合環(huán)境采集數據等，綜合考量不同地域電力生產水平、地形優(yōu)勢與資源分布。利用大數據的數據挖掘技術提供給規(guī)劃人員支撐電站建設布局的決策數據，實現項目建設的科學調配。也可通過綜合分析影響風力發(fā)電、光伏發(fā)電機組運行的諸多環(huán)境因素，例如：溫度、光照、濕度、風力等數據，預測氣候模式，從而規(guī)劃處最佳的機組運行方案。通過這種方式，可有效降低生產成本和提高產出效益。
    通過建立分布式數據中心，處理廠級監(jiān)控系統sis系統數據，共享電力行業(yè)內的設備運行狀況、生產數據和維護方式，通過數據中心服務器整合分析，機器自主學習生產出現問題時的相關數據狀態(tài)，形成基于大數據的自動預警值，實現對潛在問題的評估預測，建立前瞻性的設備維護體系，建立可預測的設備維護方案。通過海量基礎數據分析建立每個設備的“維護生命周期”，依數據為依據決定哪些設備、在什么時間進行維護，并通過多家電廠的共享大數據中提供相應設備的維護方案。
    通過建立各生產系統數據互通，依靠不同種類生產系統，對傳統發(fā)電企業(yè)和清潔能源發(fā)電企業(yè)都會給與數據層面的決策性預測。在基礎數據不斷積累的前提下，分析電廠或發(fā)電設備周圍環(huán)境變化和氣候變化，掌握不同時期煤炭儲備量和煤炭消耗量的關系。都可對于全國范圍的季節(jié)性來水與機組負荷下降等因素影響的機組停備工作進行有效預測和數據支持。通過大數據分析決策能力，提供生產設備狀態(tài)數據，開展機組停備檢修工作，加強設備管理，強化員工培訓。
    電力信息化建設利用大數據技術，在企業(yè)數據共享的平臺下獲取電力企業(yè)生產數據、管理數據、地形地貌數據、煤炭資源檢測數據、水資源數據等有效數據中提煉準確的、有價值的數據都將成為管理效益、決策能力提升的有效臂膀，甚至可通過大數據的積累將數據打包銷售或共享給金融機構、科研院所、政府機構等，成為新的經濟效益與社會效益增長點。

    4 重視大數據時代的信息安全體系建設

    信息安全在任何信息發(fā)展階段都占有不可忽視的重要地位，在對大數據發(fā)展規(guī)劃的同時，應該加大對大數據安全形勢的宣傳力度，明確其為重點的保障對象，加強對敏感和要害數據的監(jiān)管，制定設備特別是移動設備安全使用規(guī)程，規(guī)范大數據的使用方法和流程。加快面向大數據的信息安全技術的研究，推動基于大數據的安全技術研發(fā)，研究基于大數據的網絡攻擊追蹤方法，搶占發(fā)展基于大數據的安全技術的先機。培養(yǎng)大數據安全的專業(yè)人才，建立完善大數據信息安全體系。

    5 結語

    大數據技術是未來信息社會發(fā)展的一個大方向，它為人類全面、深刻地認識世界、認識自身提供了新的方式、新視角，這在此前的時代是無法辦到的，大數據是未來技術發(fā)展的一片藍海。大量的數據處理無疑給現在的信息技術提出了新的挑戰(zhàn)，而這一問題在信息化程度不斷提高的電力企業(yè)中同樣正在凸顯出來。隨著信息技術的推進和發(fā)展，電力企業(yè)的數據也會成爆炸式增長。大數據不是洪水猛獸，而是可供利用的信息資產。如何使用好大數據，充分活化企業(yè)數據資產，更好地服務電力事業(yè)發(fā)展和廣大電力客戶將成為擺在電力企業(yè)面前值得思考的課題。