1. kafka 怎樣查看kafka狀態
輸入以下代碼即可查看kafka狀態:
BROKER_HOST是kafka server的ip地址,PORTt是server的監聽埠。多個host port之間用逗號隔開。
第一條命令是獲取group列表,一般而言,應用是知道消費者group的,通常在應用的配置里,如果已知,該步驟可以省略。
第二條命令是查看具體的消費者group的詳情信息,需要給出group的名稱。
Kafka是由Apache軟體基金會開發的一個開源流處理平台,由Scala和Java編寫。Kafka是一種高吞吐量的分布式發布訂閱消息系統,它可以處理消費者在網站中的所有動作流數據。
這種動作(網頁瀏覽,搜索和其他用戶的行動)是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。
對於像Hadoop一樣的日誌數據和離線分析系統,但又要求實時處理的限制,這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理,也是為了通過集群來提供實時的消息。
2. kafka如何查看日誌量
我們在使用kafka的過程中有時候可以需要查看我們生產的消息的各種信息,這些都是被記錄在卡夫卡的log文件中的。由於log文件的特殊格式,我們是無法直接查看log文件中的信息的。本文提供一下方式查看kafka的log文件中所記錄的信息。
執行命令
bin/kafka-run-class.sh kafka.tools.DumpLogSegments
我們可以看到都需要哪些參數,根據不同的需求我們可以選擇不同的參數。
執行如下命令查看某個log文件
bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/test3-0/00000000000000000000.log --print-data-log
這里 --print-data-log 是表示查看消息內容的,不加此項是查看不到詳細的消息內容。如果要查看多個log文件可以用逗號分隔。