廣州壹定發數碼科技有限公司
電話 :020-38377717
郵箱 :info@gzkrtech.com
網址 :www.gzkrtech.com
地址 :廣州市越秀區沿江中路299號銀海大廈15D
當前我國經濟發展已經進入新常態 ,大數據將會成為驅動經濟轉型發展的新動力 。全球信息革命向縱深發展 ,數據已轉變成國家重要資源 ,對數據的爭奪 ,將成為重塑國家競爭優勢關鍵 。此外 ,在社會治理領域 ,大數據驅動了科學決策 ,推動政府能力提高 ,極大地促進了高效社會的建設 。2015年9月國務院印發了《促進大數據發展行動綱要》 ,以此為標誌 ,我國大數據創新正式進入到國家級戰略層麵 。
從資源的角度看 ,數據已經成為支撐國家參與全球競爭的戰略資源 ,其價值可以類比為現在的石油 。
在經濟層麵 ,在全球經濟低迷的大背景下,大數據將成為產業亮點 ,是各國戰略新興產業的最活躍部分 。
在社會治理層麵 ,大數據可以用來提高治社會理水平 、破解社會治理難題 ,從而促進社會和諧 、提升整個社會的運作效率 。
在國家安全層麵 ,數據空間目前還是航海大發現時期的“新大陸” ,其必將成為大國博弈的重要戰場 。
中國地大 、人多 、地域多樣性 ,加之世界第二的經濟體量 ,造就了我們的大數據優勢 ,我們一定要抓住大數據帶來的機遇 ,實現大數據應用創新在中國社會的成功 ,中國將站在全球現代化的製高點上 。
一 、大數據研究從哪入手 ?
大數據應用成功的關鍵在於營造一個良好的大數據生態 ,在這個健康的生態環境中 ,大數據可以持續發展 、不斷創新 。
新華三站在大數據生態的技術供應商的立場 ,從技術的角度分析這個生態係統 ,我們認為“大數據平台”與“大數據應用”是大數據生態係統的兩個重要組成部分 ,兩者相輔相成 。大數據平台支撐大數據應用 ;大數據應用利用大數據平台強大的計算能力 、存儲能力以及數據資源來撬動大數據的社會價值 。同時大數據平台還可以提供應用開發所需的其他服務如 :數據管理 、用戶管理 、安全服務等服務以便減少應用開發成本 、提高應用開發效率 。
由於大數據具有4V屬性(即Volume規模大 、Variety類型多 、Velocity速度快和Value價值高) ,由此推理可以得出結論 :對於現有大數據的處理方法處理 ,超出了傳統數據分析係統的采集 、存儲 、管理和分析等能力範疇 ,所以我們需要從大數據對傳統IT技術帶來的挑戰入手 ,開展大數據技術研究 。
1 、傳統的IT基礎架構不適應大數據的要求
此處傳統IT基礎架構指組織IT整體架構中 ,為應用係統提供能力的部分如 :計算 、存儲 、網絡傳輸等部分 。
在數據分析與處理層麵 ,傳統IT架構在設計之初並未考慮到大數據帶來的挑戰 ,所以在處理大數據時表現出擴展性差 、資源利用率低 、應用部署複雜 、運營成本高等問題 。參考上述問題 ,對於大數據處理係統 ,我們認為應該具有如下的特征 。
大數據IT基礎架構應具有基於普通商業硬件的可擴展 、容量大特征 ,以低廉的 、彈性的成本 ,適應大數據應用動則PB級數據的存儲與分析的要求。
大數據計算框架應具有高實時性分析 、處理的能力 ,在社會高速發展變化的今天 ,企業業務部門與IT部門配合日益緊密 ,實時性的分析 、處理能力成為應對快速變化的重要手段 。
新華三在2015年推出H3C DataEngine大數據軟件產品 ,分布式數據處理係統DataEngine HDP可以支持不同類型的數據存儲和處理 ,包含大規模數據存儲 、並行計算 、數據挖掘和商業智能展示 。分布式數據庫集群係統DataEngine MPP可以支持大規模結構化數據查詢檢索處理 。
2 、傳統的數據管治體係不適應大數據的要求
數據管治體係是數據管理體係與數據治理體係兩者的結合 ,數據治理負責” Do right thing” ,數據管理負責”Do things right” 。
大數據是一個即廣闊無邊又暗流洶湧的”數據海洋” ,對於那些走在大數據前沿的實踐者來說 ,大數據是一把雙刃劍 ,既可以為組織帶來深刻的洞察力 ,提高競爭優勢,也可能由於數據質量問題 、數據濫用等問題 ,造成各種有形或無形的損失 。
如何讓大數據為組織提供優質的數據服務 ,同時避免數據濫用等問題 ,傳統的數據管治體係已經無法控製 ,具體的原因如下 。
從數據本身的角度看 ,大數據除了包含傳統數據外 ,還有來自內部 、外部的其他數據源 ,這些數據源的結構各不相同 ,對存儲的要求也不一樣 ,使用的方法與應用要求也不一樣,這全都增大了數據管治的複雜程度 。
從數據隱私保護的角度看 ,大數據的隱私呈現出長尾特征 ,傳統隱私保護隻關注長尾頭部的少量 、敏感度高的數據 ,而大數據背景下數據全麵集成變得非常重要 ,這樣 ,長尾尾部的種類繁多但每個敏感度都不高的數據卻由於長尾效應變得敏感度急劇升高 ,這就給傳統敏感度管理機製帶來極大挑戰 。
新華三結合本公司多年數據管理最佳實踐以及大數據管理市場實踐經驗 ,推出了大數據管治工具-H3C大數據管治平台 。
該平台在數據組織方麵提供強大的原數據管理功能 。
在數據成本管理與合規方麵提供了完善的數據生命周期管理功能 。
在數據暴露方麵提供了創新的數據與數據操作封裝與審批體係 。
在數據質量管理方麵提供了關於數據外部形式與內部含義兩個方向的管理體係 。
在數據過程管理方麵提供了圖形化的管理界麵 。
在數據安全方麵 ,結合了自身參加大數據安全等保標準研發的經驗 ,給出了成體係的解決方案 。
3 、傳統的IT創新體製不適應大數據的要求
不同於以往的IT創新 ,大數據創新是對數據價值深層次的再發現 ,最需要的是對數據的各種出其不意的想法 ,因此越打破常規的思路越能產生意想不到的價值,單單依靠領軍人物 、領軍企業的深思熟慮的想法是無法實現大數據各領域的全麵發展 。
“小人物”有新奇的數據觀點 、獨特的數據視角 ,大量的此類觀點 、視角匯集起來會產生質變 ,成功的應用可能因此誕生 。給“小人物”一個支點 ,他們可能撬動中國大數據應用創新這個“地球” 。
但是目前大數據分析的門檻過高 ,如何降低大數據應用創新門檻 ,讓“小人物”能參與到大數據創新的熱潮中是我們重點考慮的問題 。為此 ,新華三推出了 “大數據創新平台” ,通過可視化的簡單“拖拽”操作 ,即可完成數據探索與分析流程的實現 。該平台使得大數據應用的開發變得簡單 ,讓更多地人加入到了大數據創新的隊伍中 。在該平台上新華三開發了IT大數據應用 、安全大數據應用和無線大數據應用產品 ,同時和合作夥伴一起 ,服務於百行百業的客戶如政府 、公安 、交通 、環保 、金融 、運營商係統等 。同時針對政務的數據共享的目標和數據大集中的需求 ,開發麵向政務的大數據管理係統軟件 ,解決政務數據大數據的問題 。新華三大數據平台在廣東政務大數據 、華中農業大學 、德豪潤達生產數據綜合分析平台已經落地 。
二 、大數據研究的幾點啟示
從推動大數據應用創新在中國取得成功的角度 ,基於大數據市場實踐中的一些體會以及遇到的問題 ,我們提出以下幾點建議 。
萬眾創新 ,大數據應用成功的關鍵在於全社會參與
群眾的創造性是無窮的 ,在大數據創新的時代 ,要有領軍人物 、領軍企業 ,但更重要的創造簡便 、易用 、低成本的大數據創新環境 ,激發全民參與大數據創新的熱情 。
數據是重要資源 ,數據控製權將會成為各方博弈焦點
大數據價值越來越大,大數據戰略紛紛成為各國的國策 ,一些先進國家已經通過立法爭奪數據控製權如歐洲的“數據統一市場” 。在國家內部 ,企業與國家對數據控製權的博弈也屢見不鮮 。
打開數據之牆 ,讓大數據在全社會自由流動
數據保值 、增值是數據在社會流動的原動力 ,如何保證數據在全社會範圍內的自由流動 ,製訂數據流通管理機製 、數據定價機製 、數據隱私保護機製 、數據流通中的標準等方麵都是必不可少的工作 。
算法決定一切 ,知識產權為算法市場交易保駕護航
大數據應用創新 ,算法是核心 ,未來算法將無處不在 ,企業在大數據實踐中會逐漸感到與其自己開發 ,不如通過市場購買 。為保證算法市場的可持續發展 ,知識產權保護不能缺位 。
培養合格人才,根本解決大數據人才短缺問題
根據商業谘詢機構最新報告顯示 ,大部分大數據應用的領先企業都遇到合格的數據科學人才招聘難的問題 。隨著數據應用的逐步深入 ,這種短缺會由業務層麵的數據科學家延伸到數據層麵的數據架構師以及數據管理人員 。為此新華三與“大數據聯盟”合作 ,推出了大數據人才培訓 、認證體係 。
長尾效應推高數據濫用的危害 ,大數據安全治理迫在眉睫
大數據應用的核心基礎是數據集成 ,這時 ,大數據安全長尾效應就變得突出。如果我們忽視了這方麵的管製 ,則數據濫用會帶來傳統數據時代嚴重得多的損害 ,嚴重阻礙大數據的正常發展 ,所以要及早製定相關的安全管理規範 ,並在全社會強製執行 。
結束語
新華三推出了支撐價值轉化的三個關鍵平台 :DataEngine大數據能力平台 、DataEngine大數據治理平台 、DataEngine大數據創新平台 ,結合上述平台 ,新華三提出了完整的企業級大數據係統解決方案 ,此外 ,在大數據應用開發 、技術谘詢方麵也投入了大量資源 。
中國已經成為全球第二大經濟體 ,人口眾多 、產業結構複雜 ,在信息革命中我們擁有後發優勢 ,這都決定了我們會成為一個數據大國 。但隻有把數據變成可以轉化成有價值的資源 ,我們才能成為數據強國 ,在全球競爭中實現彎道超車,成就中華民族複興的中國夢 。