1.1 大數據的興起與發(fā)展

“大數據”概念的提出可以追溯至20世紀90年代，最初只是對一些在一定時間內無法用傳統(tǒng)方法進行抓取、管理和處理的數據的統(tǒng)稱a 1997年，美國宇航局研究員邁克爾•考克斯和大衛(wèi)•埃爾斯沃斯首次使用“大數據”這一術語來描述超級計算機模擬飛機周圍的氣流而生成的大量信息。

2002年起，美國政府開始采用大規(guī)模數據挖掘技術來阻止恐怖主義活動。美國國防部通過整合各政府部門的數據庫，建成一個通過篩選通信、犯罪、教育、金融、醫(yī)療和旅行等記錄從而識別出可疑人的大數據平臺。到2010年，美國國家安全局的30000名員工共攔截和存儲了17億封可疑電子郵件、電話和其他信息。

從2009年開始，互聯(lián)網數據以毎年50%，毎兩年翻一番的速 度增長。截至2012年，全世界每天產生2.5艾(2.5X1018)字節(jié)的數據。全球互聯(lián)網企業(yè)都意識到“大數據”時代的來臨.數據對于企業(yè)基于著重要意義。

2011年5月，麥肯錫全球研究院發(fā)布題為《大數據：創(chuàng)新、競爭和生產力的下一個新領域》的報告。報告發(fā)布后，“大數據”迅速成為計算機行業(yè)的熱門概念。

2012年1月，達沃斯論壇發(fā)布的名為《大數據，大影響》的報告稱：就像貨幣或黃金一樣，數據已成為一種新的經濟資產類別。同年3月，奧巴馬政府發(fā)布了《大數據研究和發(fā)展倡議》，并投資2億美元啟動了“大數據研究和發(fā)展計劃”，希望通過大數據技術提高收集海量數據、分析萃取信息的能力，加快改革美國國家安全、科學和研究的步伐，以及引發(fā)教育和學習的變革。同年7月，時任美國國務卿希拉里•克林頓宣布了一個名為“數據2X”的公私合營企業(yè)，用來收集統(tǒng)計世界各地的婦女和女童在經濟、政治和社會地位方面的信息。與此同時，聯(lián)合國發(fā)布政務白皮書《大數據促發(fā)展：挑戰(zhàn)和機遇》，建議聯(lián)合國成員國開發(fā)大數據潛在價值。

2014年4月，世界經濟論壇以“大數據的回報與險”為主題 發(fā)布了《全球信息技術報告》。報告認為，全球大數據產業(yè)的日趨活躍，技術演進和應用創(chuàng)新的加速發(fā)展，使各國政府逐漸認識到大數據在推動經濟發(fā)展、改善公共服務，乃至保障國家安全方面的重大意義。

然而，大數據究競是什么?

麥肯錫公司認為，大數據是指無法在一定時間內用傳統(tǒng)數據庫軟件工具對其內容進行抓取、管理和處現(xiàn)的數據集合。

維基萬科認為，大數據由巨型數據集組成，所涉及的數據量規(guī)模巨大到無法通過人工，在合理時間內達到截取、管理、處理，并整理成為人類所能解讀的信息。

Gartne公司認為，大數據是大量、高速及(或)多變的信息資產，它需要新型的處理方式去促成更強的決策能力、洞察力與優(yōu)化處理：大數據具基于3V特征;量( Volume )、速(Vefcity )與多變(Variety )的特點。 另外，基于些機構在3V之外還定義了第4個V:真實性 (Veracity )為第四特征。

隨著時間的推移,人們對于大數據這一概念基于了普遍的認知。 現(xiàn)今，大數據的廣義定義是指無法在一定時間內用傳統(tǒng)數據庫軟件工具對其內容進行抓取、管理和處理的數據集合。

隨著信息通信技術的不斷進步，數字化、信息化已經滲透進我們生活的各個方面，成為重要的生產因素。IDC編制的年度數字宇宙研究報告《從混沌中提取價值》表明，當前，大數據在公共管理、零售、互聯(lián)網、電信、金融等眾多行業(yè)快速推廣，市場規(guī)模迅速擴大：2012年我國大數據市場規(guī)模已達7760萬美元，預計到2016年將達 6.17億美元，而全球規(guī)模將達238億美元，世界已進入“數字摩爾時期”，全球數據量大約每兩年翻一番：從人類文明出現(xiàn)到2003年，人類總共產生了 5EB (百億億字節(jié))數據，而這僅是當前人類社會兩天的數據量。我們正處于數據世界一個重要歷史爆發(fā)期的邊緣，數據是資產與財富的觀念已深入人心，人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。大數據超過了傳統(tǒng)數據庫系統(tǒng)的處理能力，為了獲得數據中的價值，必須選擇新的方式進行處理，大數據應用已是大勢所趨，“大數據時代”已然到來。

圖1-1 全球數據量

大數據產業(yè)發(fā)展將呈現(xiàn)出三大趨勢：第一，應用軟件泛互聯(lián)網化;第二，行業(yè)垂直整合，越靠近終端用戶的公司，在產業(yè)鏈上將擁基于更大的發(fā)言權;第三，數據成為資產a三大趨勢都是圍繞數據展開的。泛互聯(lián)網化是收集數據的重要渠道，沒基于泛互聯(lián)網化的應用軟件，公司就難以獲得用戶的行為數據：行業(yè)垂直整合趨勢在數據運用層面，通過搜集大量的用戶數據，更貼近用戶，更理解用戶，為其提供更適用的服務;數據成為資產，更強調數據的戰(zhàn)略意義。

圖1-2大數據的發(fā)展歷程

隨著數據資源在各行各業(yè)所發(fā)揮的重要作用口益凸顯，其價值已經得到了廣泛認可，數據在為商業(yè)和消費者創(chuàng)造價值方面具基于巨大的發(fā)展?jié)摿Α祿呀洺蔀榭梢耘c物質資產和人力資本相提并論的重要的生產要素，大數據的發(fā)展將與生產力的提高產生直接關系， 它將是繼傳統(tǒng)IT之后下一個提高生產率的技術前沿。未來，大數據的使用必將成為提高競爭力、生產力、創(chuàng)新能力以及創(chuàng)造消費者盈余的關鍵要素。

書名：電力大數據：能源互聯(lián)網時代的電力企業(yè)轉型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社