大數據時代 讓一群腦殘為你選書
2013-06-25 08:52 來源：鈦媒體 責編：王岑
- 摘要：
- 大數據時代的到來，與信息數字化息息相關。在2000年的時候，以數字化形式存儲的數據僅占全球數據量的四分之一，而到了2007年時，90%以上數據是數字化數據，剩下不到10%是存儲在報紙、CD等介質上的模擬數據。
【CPP114】訊：對“大數據”概念還搞不清的人可以松一口氣了，如果你讀過《大數據時代》（Big Data:A Revolution That Will Transform How We Live, Work, and Think），你會發現舍恩伯格（Viktor Mayer-Sch nberger）對“大數據”的定義如此簡單：所謂大數據（Big Data），就是大量的數據；它的反義詞同樣簡單：小數據（Small Data），很少很少的數據。
相比于作者所著同樣談論大數據話題的《刪除：大數據取舍之道》一書，《大數據時代》結構緊密，邏輯清晰，論證過程也更為嚴謹。本書在何為大數據、大數據有何典型特征、大數據的實際應用和未來以及大數據的隱憂等關鍵問題上，通過案例和通暢曉白的解釋，梳理清楚了“大數據”這個看起來高深復雜但其實無處不在的概念。在舍恩伯格看來，以往我們因受限于工具而采用的抽樣調查以及精準采樣數據的分析方法需要革新，大數據時代是改變方法論和思維方式的過程。
大數據時代的到來，與信息數字化息息相關。在2000年的時候，以數字化形式存儲的數據僅占全球數據量的四分之一，而到了2007年時，90%以上數據是數字化數據，剩下不到10%是存儲在報紙、CD等介質上的模擬數據。我們知道，模擬數據在復制和傳播過程中信息會失真、噪音疊加，比如一張紙連續復印三次之后，噪點越來越多，字跡越來越模糊，一盤音樂磁帶連續翻錄多次之后，令人厭煩的“嗞嗞”聲越來越大。而二進制數字世界，是一個非黑即白的世界，要么1要么0，即使有噪點，灰色也會被識別黑色（1），淺白則被計算機處理為白（0），沒有中間地帶，也就沒有了噪音的容身之處。信息在數字世界得以無損復制和傳播，再加上不斷廉價化的存儲能力以及同時提高的計算能力，大量以前無法處理的數據，有了分析、解讀它們的可能。
在模擬信息的世界，因為信息收集、信息復制、信息存儲以及信息分析的工具既不夠好，成本也極為高昂，我們只能收集極少量的數據（也即所謂的“結構化數據”）進行分析，由于條件所限，我們發明了統計學來通過盡可能少的數據，去推導、去證實盡可能重大的發現。當我們意識到我們已經擁有能夠收集和處理大規模數據（也即所謂更多的“非結構化數據”）能力的時候，我們需要新的理念和工具去重新認識這個世界了。
新的理念運用于工具上的體現之一是光場相機Lytro。與其它數碼相機不同的是，Lytro相機可以在拍攝完照片之后再對焦。因為在拍攝時，Lytro可以記錄整個光場里所有的光，照片具體生成什么樣，拍完之后根據需要再決定。——有沒有發現這顛覆了我們做事的一貫邏輯？以往我們因為受制于工具或金錢，需要提前想好我們的目的，再去獲取我們需要的信息。而大數據時代的思維方式則如Lytro的特性一樣，先拍下來再說，需要什么樣的照片，后期再處理。Lytro相機也算從膠片機過渡到數碼相機交疊時代思維的延續，如果攝影技術不太好，先拍一堆片子再說，你總能挑出幾張好的來。
對小數據而言，最重要的要求是減少錯誤，保證質量。而大數據對更糙的信息及冗余信息容忍度更高，也即當資源足夠豐富且廉價的時候，可以先大量浪費，再來精準化，而不是預設精準的目標。
亞馬遜早期雇傭了一群書評家為讀者薦書，后來發現通過算法——一群對圖書質量判斷能力遠不如專業人士的普通讀者的口味的集合——推薦圖書的轉化率更高之后，亞馬遜把書評家們都解雇了。由于自己多年積累被算法取代的憤怒，在被解雇之后，書評家發出這樣的抱怨：（通過算法推薦）“那種感覺就像你和一群腦殘在一起逛書店。”類似的故事也發生微軟。微軟機器翻譯部門的統計學家們在茶余飯后閑聊中會說，每次一有語言學家離開他們團隊，微軟機器翻譯質量就會變得更好一點。
從對信息質量的角度出發去觀察，我們會發現大數據時代的特性的確越來越“腦殘化”：它放棄原始數據的精確性，強調數據量的多和雜；它放棄因果關系的判斷，強調相關關系；它放棄知其所以然（為什么），只需知其然（是什么）就可以了。
豆瓣閱讀為什么給你推薦《中國合伙人》？背后的邏輯可能是你的朋友最近點了“想看”或“看過”。新浪微博為什么推薦李承鵬而不是李開復給你關注？背后的邏輯可能是你關注的人中更多人關注李承鵬。但為什么因為朋友喜歡，所以機器就會判定你也會喜歡呢？不知道。機器通過計算得知，如果你有很多朋友喜歡同一個事物，那么你喜歡這個事物的概率會大一些。可能對，也可能錯。二者之間強相關，但不因果。
大數據最大的用途之一是預測。好的方面，它可以預測機票價格走勢，為自費旅游者省錢；它能預測交通擁堵情況，幫助人們選擇更好的時段和路線節省出行時間；它也可以像亞馬遜做的那樣，為你提供更準確的書單，幫你遇見更多好書�！堵槭±砉た萍紕摌I》曾報道說，英國伯明翰大學的一個研究團隊甚至開發出一種算法，可以精確地預測你未來將要去哪里。
大多數人一般有規律的行為模式，但傳統的預測算法——只通過用戶本身的行為模式來進行預測，解決不了人們臨時變更路線的情況，導致預測人們出行的平均誤差高達1000米。伯明翰大學開發的算法可以通過追蹤用戶手機上的個人過往行為模式數據以及用戶手機里的社交關系——當然，新型算法需要收集和分析大量個人信息。最后能預測用戶在24小時之內會去什么地點，而平均誤差減少到僅20米。
相比于作者所著同樣談論大數據話題的《刪除：大數據取舍之道》一書，《大數據時代》結構緊密，邏輯清晰，論證過程也更為嚴謹。本書在何為大數據、大數據有何典型特征、大數據的實際應用和未來以及大數據的隱憂等關鍵問題上，通過案例和通暢曉白的解釋，梳理清楚了“大數據”這個看起來高深復雜但其實無處不在的概念。在舍恩伯格看來，以往我們因受限于工具而采用的抽樣調查以及精準采樣數據的分析方法需要革新，大數據時代是改變方法論和思維方式的過程。
大數據時代的到來，與信息數字化息息相關。在2000年的時候，以數字化形式存儲的數據僅占全球數據量的四分之一，而到了2007年時，90%以上數據是數字化數據，剩下不到10%是存儲在報紙、CD等介質上的模擬數據。我們知道，模擬數據在復制和傳播過程中信息會失真、噪音疊加，比如一張紙連續復印三次之后，噪點越來越多，字跡越來越模糊，一盤音樂磁帶連續翻錄多次之后，令人厭煩的“嗞嗞”聲越來越大。而二進制數字世界，是一個非黑即白的世界，要么1要么0，即使有噪點，灰色也會被識別黑色（1），淺白則被計算機處理為白（0），沒有中間地帶，也就沒有了噪音的容身之處。信息在數字世界得以無損復制和傳播，再加上不斷廉價化的存儲能力以及同時提高的計算能力，大量以前無法處理的數據，有了分析、解讀它們的可能。
在模擬信息的世界，因為信息收集、信息復制、信息存儲以及信息分析的工具既不夠好，成本也極為高昂，我們只能收集極少量的數據（也即所謂的“結構化數據”）進行分析，由于條件所限，我們發明了統計學來通過盡可能少的數據，去推導、去證實盡可能重大的發現。當我們意識到我們已經擁有能夠收集和處理大規模數據（也即所謂更多的“非結構化數據”）能力的時候，我們需要新的理念和工具去重新認識這個世界了。
新的理念運用于工具上的體現之一是光場相機Lytro。與其它數碼相機不同的是，Lytro相機可以在拍攝完照片之后再對焦。因為在拍攝時，Lytro可以記錄整個光場里所有的光，照片具體生成什么樣，拍完之后根據需要再決定。——有沒有發現這顛覆了我們做事的一貫邏輯？以往我們因為受制于工具或金錢，需要提前想好我們的目的，再去獲取我們需要的信息。而大數據時代的思維方式則如Lytro的特性一樣，先拍下來再說，需要什么樣的照片，后期再處理。Lytro相機也算從膠片機過渡到數碼相機交疊時代思維的延續，如果攝影技術不太好，先拍一堆片子再說，你總能挑出幾張好的來。
對小數據而言，最重要的要求是減少錯誤，保證質量。而大數據對更糙的信息及冗余信息容忍度更高，也即當資源足夠豐富且廉價的時候，可以先大量浪費，再來精準化，而不是預設精準的目標。
亞馬遜早期雇傭了一群書評家為讀者薦書，后來發現通過算法——一群對圖書質量判斷能力遠不如專業人士的普通讀者的口味的集合——推薦圖書的轉化率更高之后，亞馬遜把書評家們都解雇了。由于自己多年積累被算法取代的憤怒，在被解雇之后，書評家發出這樣的抱怨：（通過算法推薦）“那種感覺就像你和一群腦殘在一起逛書店。”類似的故事也發生微軟。微軟機器翻譯部門的統計學家們在茶余飯后閑聊中會說，每次一有語言學家離開他們團隊，微軟機器翻譯質量就會變得更好一點。
從對信息質量的角度出發去觀察，我們會發現大數據時代的特性的確越來越“腦殘化”：它放棄原始數據的精確性，強調數據量的多和雜；它放棄因果關系的判斷，強調相關關系；它放棄知其所以然（為什么），只需知其然（是什么）就可以了。
豆瓣閱讀為什么給你推薦《中國合伙人》？背后的邏輯可能是你的朋友最近點了“想看”或“看過”。新浪微博為什么推薦李承鵬而不是李開復給你關注？背后的邏輯可能是你關注的人中更多人關注李承鵬。但為什么因為朋友喜歡，所以機器就會判定你也會喜歡呢？不知道。機器通過計算得知，如果你有很多朋友喜歡同一個事物，那么你喜歡這個事物的概率會大一些。可能對，也可能錯。二者之間強相關，但不因果。
大數據最大的用途之一是預測。好的方面，它可以預測機票價格走勢，為自費旅游者省錢；它能預測交通擁堵情況，幫助人們選擇更好的時段和路線節省出行時間；它也可以像亞馬遜做的那樣，為你提供更準確的書單，幫你遇見更多好書�！堵槭±砉た萍紕摌I》曾報道說，英國伯明翰大學的一個研究團隊甚至開發出一種算法，可以精確地預測你未來將要去哪里。
大多數人一般有規律的行為模式，但傳統的預測算法——只通過用戶本身的行為模式來進行預測，解決不了人們臨時變更路線的情況，導致預測人們出行的平均誤差高達1000米。伯明翰大學開發的算法可以通過追蹤用戶手機上的個人過往行為模式數據以及用戶手機里的社交關系——當然，新型算法需要收集和分析大量個人信息。最后能預測用戶在24小時之內會去什么地點，而平均誤差減少到僅20米。
-
相關新聞： - ·4月份我國造紙行業進出口情況分析 2013.06.25
- ·盤點與展望：2013上半年辦公打印新產品 2013.06.24
- ·電商平臺監管缺位 三無食品網上泛濫 2013.06.24
- ·印刷設備減稅利好消息 刺激電子監管碼產業再度繁榮 2013.06.21
【我要印】印刷廠與需方印務對接，海量印刷訂單供您任意選擇。
【cpp114】印刷機械、零配件供求信息對接，讓客戶方便找到您。- 【我的耗材】采購低于市場價5%-20%的印刷耗材，為您節省成本。
- 【印東印西】全國領先的印刷品網上采購商城,讓印刷不花錢。
- 關于我們|聯系方式|誠聘英才|幫助中心|意見反饋|版權聲明|媒體秀|渠道代理
- 滬ICP備18018458號-3法律支持:上海市富蘭德林律師事務所
- Copyright © 2019上海印搜文化傳媒股份有限公司 電話：18816622098
