很多朋友都想知道java flume是什麼?下面就一起來了解一下吧~
Flume是什麼
(1)Flume提供一種分散式的,可靠的對大資料的日誌進行高效處理,以及聚集,移動的服務,flume只能在Unix的環境下執行。
(2)Flume基於流式框架,容錯性強,也靈活簡單。
(3)Flume/Kafka用來進行資料收集的,Spark,Storm用來實時處理資料,impala用來實時查詢
(4)Flume是Cloudera提供的一個高可用的,高可靠的,分散式的海量日誌採集、聚合和傳輸的系統。Flume基於流式架構,靈活簡單。
Flume的兩個版本
(一)Flume OG
OG:“Original Generation"
0.9x或cdh3以及更早的版本。
有agent、collector、master等元件構成。
(二)Flume NG
NG:“Next/New Generation"
1.x或cdh4以及之後的版本。
有Agent/client等元件構成。
FlumeOG存在的問題
(1)Flume OG程式碼工程臃腫
(2)核心元件設計不合理
(3)核心配置不標準
(4)尤其是在Flume OG的最後一個發行版本0.94.0中,日誌傳輸不穩定的現象尤為嚴重。