巨匠電腦評價 / CHU
想從大數據淘金？巨匠電腦分享大數據系統的關鍵四層面
對於 Big Data 的這個 Big Idea，還是許多人抱有疑問，究竟大數據是什麼？大數據的哪些部分是嶄新的概念而哪些是舊科技新包裝？
整個大數據的概念就是發展一個能讓資料從最初生成的原始數據、到最後成為有價值的分析結果或趨勢預測的系統。而這個「大數據系統」基本上可以被分成四個層面來探討：
第 1 層：資料來源 Data sources layer
這個部分是關於資料如何到達你的手中，可能是從你的銷售紀錄、客戶資料庫、產品回饋、社群網路管道、甚至 Email 郵件，也就是和你的「目標」相關、來自四面八方收集來的各式各樣的數據。
這個層面最重要的就是評估你現有的各方資料，對於你想達成的目標、想知道的寶貴資訊，你手上的資料是否足夠、是否全面？
如果資料有缺口，就必須去建立新的資料來源來補足；如果你很滿意現有的資料來源，那就進入第二層吧！
第 2 層：資料儲存 Data storage layer
建立了多元、全面的資料來源後，可以想像資料會排山倒海般地向你湧來，而能否成功並完整的儲存龐大的資料量將成為大數據存活的關鍵。
現今許多技術跟工具被發展來應付這個需求，像是之前介紹過的 HDFS —— Hadoop 分散式檔案系統（請參考《認識大數據的黃色小象幫手 –– Hadoop》），以及相應的資料庫（Database）。例如專門用在 Hadoop 上的資料庫系統 HBase，其他最廣為人知的資料庫像是 Amazon 的 DynamoDB、MangoDB、Cassandra（請參考《學大數據不卡關：精選 Big Data 相關用語》）等 NoSQL 資料庫軟體。
第 3 層：資料處理及分析 Data processing/analysis layer
原始資料儲存之後，下一步則是得想辦法從龐大看似無章法的資料中挖出有價值的資訊。
資料處理及分析最常用的方法是 MapReduce 平行運算架構（同樣請見《認識大數據的黃色小象幫手 –– Hadoop》）來分散處理大量結構化和非結構化資料，主要是選擇資料中想分析的元素，並且將其整合成既定的格式。
如果你所在的公司或機構擁有自己的資料分析團隊，資料分析處理這一層會利用 Apache PIG 以及 HIVE 等工具來進行轉換以及簡化複雜的查詢操作。
第 4 層：資料輸出 Data output layer
大數據系統的最後這一層就是我們將拿來利用的精華部分了，根據目的，資料分析的結果可以被輸出成各種形式以達到最完美的表現，可以是表格、圓餅圖、趨勢圖、關鍵資訊等等。
最終，大數據系統的主要任務就是運用你現有的資料輸出結果，在現階段至少在一項 KPI（關鍵績效指標，Key Performance Indicator）中得到改善。如果你建立了這四層次的系統，並且進一步提升績效，那恭喜你，你已經在利用大數據邁向目標了！
巨匠電腦設計了程式/資料庫課程，教你程式設計、大數據分析與應用等等，快來巨匠電腦輕鬆學！
文章與圖片出處: http://goo.gl/BPwtov
想要學: 程式/資料庫課程
翊)想從大數據淘金？巨匠電腦分享大數據系統的關鍵四層面
對於 Big Data 的這個 Big Idea，還是許多人抱有疑問，究竟大數據是什麼？大數據的哪些部分是嶄新的概念而哪些是舊科技新包裝？
整個大數據的概念就是發展一個能讓資料從最初生成的原始數據、到最後成為有價值的分析結果或趨勢預測的系統。而這個「大數據系統」基本上可以被分成四個層面來探討：
第 1 層：資料來源 Data sources layer
這個部分是關於資料如何到達你的手中，可能是從你的銷售紀錄、客戶資料庫、產品回饋、社群網路管道、甚至 Email 郵件，也就是和你的「目標」相關、來自四面八方收集來的各式各樣的數據。
這個層面最重要的就是評估你現有的各方資料，對於你想達成的目標、想知道的寶貴資訊，你手上的資料是否足夠、是否全面？
如果資料有缺口，就必須去建立新的資料來源來補足；如果你很滿意現有的資料來源，那就進入第二層吧！
第 2 層：資料儲存 Data storage layer
建立了多元、全面的資料來源後，可以想像資料會排山倒海般地向你湧來，而能否成功並完整的儲存龐大的資料量將成為大數據存活的關鍵。
現今許多技術跟工具被發展來應付這個需求，像是之前介紹過的 HDFS —— Hadoop 分散式檔案系統（請參考《認識大數據的黃色小象幫手 –– Hadoop》），以及相應的資料庫（Database）。例如專門用在 Hadoop 上的資料庫系統 HBase，其他最廣為人知的資料庫像是 Amazon 的 DynamoDB、MangoDB、Cassandra（請參考《學大數據不卡關：精選 Big Data 相關用語》）等 NoSQL 資料庫軟體。
第 3 層：資料處理及分析 Data processing/analysis layer
原始資料儲存之後，下一步則是得想辦法從龐大看似無章法的資料中挖出有價值的資訊。
資料處理及分析最常用的方法是 MapReduce 平行運算架構（同樣請見《認識大數據的黃色小象幫手 –– Hadoop》）來分散處理大量結構化和非結構化資料，主要是選擇資料中想分析的元素，並且將其整合成既定的格式。
如果你所在的公司或機構擁有自己的資料分析團隊，資料分析處理這一層會利用 Apache PIG 以及 HIVE 等工具來進行轉換以及簡化複雜的查詢操作。
第 4 層：資料輸出 Data output layer
大數據系統的最後這一層就是我們將拿來利用的精華部分了，根據目的，資料分析的結果可以被輸出成各種形式以達到最完美的表現，可以是表格、圓餅圖、趨勢圖、關鍵資訊等等。
最終，大數據系統的主要任務就是運用你現有的資料輸出結果，在現階段至少在一項 KPI（關鍵績效指標，Key Performance Indicator）中得到改善。如果你建立了這四層次的系統，並且進一步提升績效，那恭喜你，你已經在利用大數據邁向目標了！
巨匠電腦設計了程式/資料庫課程，教你程式設計、大數據分析與應用等等，快來巨匠電腦輕鬆學！
文章與圖片出處: http://goo.gl/BPwtov
想要學: 程式/資料庫課程