什麼是大資料有什麼特徵與性質

  大資料必然無法用單臺的計算機進行處理,必須採用分散式架構。大資料也是具備有一定的特徵與性質的。以下是由小編整理的大資料的內容,希望大家喜歡!

  大資料的主要介紹

  大資料***big data***,指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的資訊資產,

  在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》中大資料指不用隨機分析法***抽樣調查***這樣捷徑,而採用所有資料進行分析處理。大資料的5V特點***IBM提出***:Volume***大量***、Velocity***高速***、Variety***多樣***、Value***價值***、Veracity***真實性***。

  大資料的特徵

  容量***Volume***:資料的大小決定所考慮的資料的價值和潛在的資訊;

  種類***Variety***:資料型別的多樣性;

  速度***Velocity***:指獲得資料的速度;

  可變性***Variability***:妨礙了處理和有效地管理資料的過程。

  真實性***Veracity***:資料的質量

  複雜性***Complexity***:資料量巨大,來源多渠道

  價值***value***:合理運用大資料,以低成本創造高價值

  大資料的意義

  現在的社會是一個高速發展的社會,科技發達,資訊流通,人們之間的交流越來越密切,生活也越來越方便,大資料就是這個高科技時代的產物。[7] 阿里巴巴創辦人馬雲來臺演講中就提到,未來的時代將不是IT時代,而是DT的時代,DT就是Data Technology資料科技,顯示大資料對於阿里巴巴集團來說舉足輕重。

  有人把資料比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大資料並不在“大”,而在於“有用”。價值含量、挖掘成本比數量更為重要。對於很多行業而言,如何利用這些大規模資料是贏得競爭的關鍵。

  大資料的價值體現在以下幾個方面:

  1***對大量消費者提供產品或服務的企業可以利用大資料進行精準營銷

  2*** 做小而美模式的中小微企業可以利用大資料做服務轉型

  3*** 面臨網際網路壓力之下必須轉型的傳統企業需要與時俱進充分利用大資料的價值

  不過,“大資料”在經濟發展中的巨大意義並不代表其能取代一切對於社會問題的理性思考,科學發展的邏輯不能被湮沒在海量資料中。著名經濟學家路德維希·馮·米塞斯曾提醒過:“就今日言,有很多人忙碌於資料之無益累積,以致對問題之說明與解決,喪失了其對特殊的經濟意義的瞭解。”這確實是需要警惕的。

  在這個快速發展的智慧硬體時代,困擾應用開發者的一個重要問題就是如何在功率、覆蓋範圍、傳輸速率和成本之間找到那個微妙的平衡點。企業組織利用相關資料和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。例如,通過結合大資料和高效能的分析,下面這些對企業有益的情況都可能會發生:

  1***及時解析故障、問題和缺陷的根源,每年可能為企業節省數十億美元。

  2***為成千上萬的快遞車輛規劃實時交通路線,躲避擁堵。

  3***分析所有SKU,以利潤最大化為目標來定價和清理庫存。

  4***根據客戶的購買習慣,為其推送他可能感興趣的優惠資訊。

  5***從大量客戶中快速識別出金牌客戶。

  6***使用點選流分析和資料探勘來規避欺詐行為。

  大資料的結構

  大資料就是網際網路發展到現今階段的一種表象或特徵而已,沒有必要神話它或對它保持敬畏之心,在以雲端計算為代表的技術創新大幕的襯托下,這些原本看起來很難收集和使用的資料開始容易被利用起來了,通過各行各業的不斷創新,大資料會逐步為人類創造更多的價值。

  其次,想要系統的認知大資料,必須要全面而細緻的分解它,我著手從三個層面來展開:

  第一層面是理論,理論是認知的必經途徑,也是被廣泛認同和傳播的基線。在這裡從大資料的特徵定義理解行業對大資料的整體描繪和定性;從對大資料價值的探討來深入解析大資料的珍貴所在;洞悉大資料的發展趨勢;從大資料隱私這個特別而重要的視角審視人和資料之間的長久博弈。

  第二層面是技術,技術是大資料價值體現的手段和前進的基石。在這裡分別從雲端計算、分散式處理技術、儲存技術和感知技術的發展來說明大資料從採集、處理、儲存到形成結果的整個過程。

  第三層面是實踐,實踐是大資料的最終價值體現。在這裡分別從網際網路的大資料,政府的大資料,企業的大資料和個人的大資料四個方面來描繪大資料已經展現的美好景象及即將實現的藍圖。

  大資料的應用

  洛杉磯警察局和加利福尼亞大學合作利用大資料預測犯罪的發生。

  google流感趨勢***Google Flu Trends***利用搜索關鍵詞預測禽流感的散佈。

  統計學家內特.西爾弗***Nate Silver***利用大資料預測2012美國選舉結果。

  麻省理工學院利用手機定位資料和交通資料建立城市規劃。

  梅西百貨的實時定價機制。根據需求和庫存的情況,該公司基於SAS的系統對多達7300萬種貨品進行實時調價。

  醫療行業早就遇到了海量資料和非結構化資料的挑戰,而近年來很多國家都在積極推進醫療資訊化發展,這使得很多醫療機構有資金來做大資料分析。

  大資料的主要特點

  第一,資料體量巨大。從TB級別,躍升到PB級別。

  第二,資料型別繁多,如前文提到的網路日誌、視訊、圖片、地理位置資訊,等等。

  第三,價值密度低。以視訊為例,連續不間斷監控過程中,可能有用的資料僅僅有一兩秒。

  第四,處理速度快。1秒定律。最後這一點也是和傳統的資料探勘技術有著本質的不同。物聯網、雲端計算、移動網際網路、車聯網、手機、平板電腦、PC以及遍佈地球各個角落的各種各樣的感測器,無一不是資料來源或者承載的方式。


大資料是什麼“的人還: