大數據的產生與發展現狀研究

　　摘 要：大數據的產生給未來信息技術帶來新的機遇與挑戰。大數據對數據處理的有效性、實時性提出了更高要求，需要根據大數據的特點對當前數據處理技術實施變革，從而形成更有益于大數據采集、存儲、處理、管理、分析、共享的新興技術。本文從大數據的產生與發展、特征、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。

　　關鍵詞：大數據 物聯網 信息處理 海量計算

　　一、大數據的產生與發展現狀

　　隨著物聯網、云計算等信息技術的飛速發展，大數據技術(Big Data)也越發進入人們的視線。大數據是用傳統方法或工具很難處理或分析的數據信息。目前，人們對大數據的理解還不夠全面和深入，關于大數據的含義也沒有一個統一的定義。亞馬遜大數據科學家John Rauser認為：大數據是超過任何一臺計算機處理能力的龐大數據量。Informatica 的中國區首席顧問但彬指出：大數據是海量數據與復雜類型的數據的結合。而維基百科則把大數據定義成諸多大而復雜的、難以用當前數據庫處理的數據集合。

　　大數據研究受到國內外學術界和工業界的廣泛關注，已成為當今信息時代全世界討論的熱點。2008年，Nature雜志就推出大數據專刊，計算社區聯盟也在同一年發表了報告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，報告闡述了解決大數據問題所需的關鍵技術以及所面臨的挑戰。美國奧巴馬政府于2012年3月在白宮網站發布了《大數據研究和發展倡議》，提出了通過收集、處理海量、復雜的數據信息，從而提升能力，加快科學和工程領域的創新步伐，轉變學習教育模式，強化美國本土的安全”。2011年1月，微軟公司同惠普公司合作開發了一系列能夠提升生產力，同時提高決策速度的設備。此外，歐盟委員會也提出駕駁大數據浪潮的戰略思路，日本發布的《面向 2020 的 ICT綜合戰略》也提出需要構造大量豐富的數據基礎。

　　近年來，我國也積極開展對大數據的研究。2011年10月，工信部確認京滬深杭等 5 城市為“云計算中心”試點城市。2012年6月，中國計算機學會青年計算機科技論壇也舉辦了“大數據時代，智謀未來”學術報告研討會。大數據及其科學研究方法涉及應用領域很廣，并將與國計民生密切相關的科學決策、金融工程以及知識經濟領域緊緊接合。

　　二、大數據的特點

　　目前，企業界和學術界都一致認為，大數據具有4個“V”特征，即：容量(Volume)、種類(Variety)、速度(Velocity)和至關重要的價值(Value)。

　　(1) 容量(Volume)巨大。海量的數據集從TB 級別提升到PB 級別。

　　(2) 種類(Variety)繁多。大數據數據源有多種，數據格式和種類不同于以前所規定的結構化數據范疇。

　　(3)價值(Value)密度低。如視頻的例子，在不間斷連續監控的過程中，可能有意義的數據僅有一兩秒。

　　(4)速度(Velocity)快。包含大量實時、在線數據處理分析的需求1秒鐘定律。

　　三、大數據應用的領域

　　大數據產業的發展將推動全球經濟由粗放型向集約型轉變，這將對提升企

　　業整體競爭力和政府監管能力具有意義深遠的影響。

　　商業作為大數據的重要應用領域。沃爾瑪公司通過對消費者購物行為等一

　　系列非結構化數據的分析，了解不同顧客的購物習慣，公司從所銷售的數據進行分析，從而選出適合在一起搭配出售的商品;淘寶也針對買家開設了大數據平臺，為客戶量身打造了一整套完善的網購體驗產品。

　　大數據在金融業也起到了至關重要的作用。美國Equifax公司利用大數據技術，通過對其的數據庫中與財務有關的記錄海量信息進行索引處理和交叉分享，從而得到客戶的個人信用等級，以推斷出客戶的支付需求與能力。

　　隨著大數據在醫療與生命科學研究過程中的廣泛應用和不斷擴展。2010年，中國公布的《十二五規劃》指出：要重點建設國家級、省級和地市級三級醫療衛生信息平臺，建設電子病歷和電子檔案兩個最為基礎的數據庫。各級醫院也將在醫療信息倉庫、數據中心等領域加大投入，醫療數據信息的存儲將愈加被關注，醫療信息中心的關注焦點也將由傳統的計算領域轉為存儲領域。

　　除此之外，大數據在制造業領域也有著廣闊的應用。制造業企業積累了廣泛的數據信息，在開展對業務數據進行技術管理的同時，企業需要通過大數據處理技術來幫助決策者從數據庫儲存的海量信息中找到有價值的信息，并且對其進行分析處理，從而增強決策的正確性、規避風險。

　　四、大數據所面臨的挑戰

　　大數據技術使人們能夠更好地利用之前不能使用的各個數據類型，找出被忽略的信息，促進企業組織更加高效、智能。但隨著對大數據研究的不斷深入，人們也更加意識到當大數據技術向人們敞開“方便之門”的同時，也帶來了眾多的挑戰：

　　(1)大數據需要更為專業化的管理技術人才。

　　(2) 大數據的合理利用需要解決容量大、類別多和時效性高的數據處理問題。

　　(3)大數據的利用對信息安全提出了更高要求。

　　(4)大數據的集成與管理問題。

　　這些挑戰已成為關系到未來大數據發展的重要因素，同時也成為未來引領大數據發展的推動力。

　　五、結束語

　　大數據已經逐步滲透到人們工作生活的諸多領域中，對于大數據的研究也在不斷的深化。本文針對大數據的產生與發展、特征、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。大數據的發展還處于初級階段，還有更為廣闊的空間需要人們不斷開拓，如何合理地利用大數據、更加高效地處理大數據來為人們服務仍需要廣大研究者不斷地研究和探索。

　　參考文獻：

　　[1]劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報，2014，46(6)：957- 972.

　　[2]嚴霄鳳，張德馨.大數據研究[J].計算機技術與發展，2013，23(4)：168-172.

　　[3]劉俊.基于大數據流的Multi-Agent系統模型研究[J].計算機技術與發展， 2007，17(5)：166-169.