實時大數據分析是一個新的趨勢。實時大數據分析帶來的商業效益是巨大的,實時數據分析使系統能夠做出決策,并實時處理決策,從而提供了傳統大數據項目所不能實現的業務價值和優勢,例如,通過實時決策,提高運營效率,并及時應對潛在的錯誤和停機。接下來就由小編為您介紹大數據實時分析,大數據實時分析技術。
大數據實時分析
在一個或多個地方存儲靜態數據的項目中,傳統的大數據項目常常作用于靜態數據。而實時大數據分析則是從數據源獲得實時輸入。也就是說,實時大數據分析系統需要的關鍵基礎結構是高吞吐量和高可擴展的前端服務器。一個前端服務器集群必須能夠接收和提取高速傳送的數據和事件。另外,前端服務器通常也需要有向客戶機高速傳輸數據傳輸的能力。
如果數據來自云,那么可能需要一個使用HTTP或Websocket的高性能應用服務器。如果數據來自本地/受保護的網絡,則是一個高性能TCP服務器。
雖然很明顯,平臺需求會根據組織的業務情況而變化,但是前端服務器的能力和速度是至關重要的。
它們的數據特征與傳統的大數據項有很大的區別,它是從存儲中提取大量數據并進行批量分析的。每一次請求都有大量的數據,而每秒的請求數量相對較少,所以對于傳統的大型數據來說,千兆位的原始網絡帶寬非常重要,在網絡和服務器基礎設施中,您可以獲得更低的實際處理能力。
對于實時數據源輸入,每個請求的數據大小通常都很小。
大數據傾向于隨時間累積的事件,而非實時事件,但請求數甚至可能高出數個數量級,甚至高出數級。
這就是說,每秒鐘,您的服務器和網絡都需要為處理更多數量的請求做準備,同時還需要在網絡上傳輸大量數據包。這個例子中,原始網絡帶寬比服務器和網絡處理大量請求和數據包的實際容量要低得多。
自動客戶機和其他實時數據源可以產生數據和請求,其速度比處理人機交互的現有Web或基于云的系統的容量要快得多。一個人可能每小時與系統交互好幾次,但IoT機器客戶端卻能每秒生成幾百或幾千個交互。而且響應時間需要降低幾個數量級,自動化客戶端和實時數據源需要微秒級響應時間,而且對長延遲的容忍度要低得多。
此外,服務器不僅要跟上它的速度,還要處理大量的并發客戶機,同時還要滿足高速的工作負載。
即時大數據分析的引入需要重新檢查您的平臺選擇和基礎設施容量。要建立出色的實時大數據分析系統,需要:第一,高性能、低延遲和高可擴展服務器能夠從大量并發活動客戶機中同步高速數據和事件。除了帶寬(Gbit)規格之外,高性能網絡基礎架構也要求真正的數據包處理能力和低延遲。以上就是小編為您介紹的大數據實時分析,大數據實時分析技術。
[免責聲明]
文章標題: 大數據實時分析,大數據實時分析技術
文章內容為網站編輯整理發布,僅供學習與參考,不代表本網站贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請及時溝通。發送郵件至36dianping@36kr.com,我們會在3個工作日內處理。