kafkalinux命令

① linux 命令统计日志某个字段的信息

如上图，某个服务器的日志文件，通过命令
grep "Send kafka Success" 2021-08-01-info.log | grep "result_size:100"
可以得到相关日志。现在要求统计所有result_size累加的结果。

grep "Send kafka Success" 2021-08-01-info.log | grep -o -E "result_size:[0-9]+" | awk -F ':' 'BEGIN{print "开始统计result_size累加和"} {sumSize+=$2 } END{print "sumSize="sumSize}'

sed 命令可以很好的进行行匹配，但从某一行中精确匹配某些内容，则使用 grep 命令并辅以 -o 和 -E 选项可达到此目的。其中 -o 表示“only-matching”，即“仅匹配”之意。光用它不够，配合 -E 选项使用扩展正则表达式则凳誉威力巨大。

比如下面有一条文本 tmp.txt ，其中内容为枣察段：

{"aid":45,"path":"attachment/Mon_1112/2_1_5728040df3ab346.jpg"}

我们想从中过略出 aid 的值即 45 ，那么可以先如下这么做：

grep -o -E 'aid":[1-9]*' tmp.txt

得到的结果为：

aid":45

这时就好办没穗了，我们可以使用 awk 的 -F 选项指示出冒号分隔符，这样就容易过滤出 45 这个值来，整个命令综合如下：

grep -o -E 'aid":[1-9]*' tmp.txt |awk-F: '{print $2}'

参考文档： https://www.cnblogs.com/hanxing/p/8711705.html

② linux 怎样查看kafka的某topic数据

基于0.8.0版本。
##查看topic分布情况kafka-list-topic.sh
bin/kafka-list-topic.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
（列出所有topic的分区情况）
bin/kafka-list-topic.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--topic
test
（查看test的分区情况）
其实kafka-list-topic.sh里面就一句
exec
$(dirname
$0)/kafka-run-class.sh
kafka.admin.listtopiccommand
$@
实际是通过
kafka-run-class.sh脚本执行的包kafka.admin下面的类
##创建topic
kafka-create-topic.sh
bin/kafka-create-topic.sh
--replica
2
--partition
8
--topic
test
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
创建名为test的topic，
8个分区分别存放数据，数据备份总共2份
bin/kafka-create-topic.sh
--replica
1
--partition
1
--topic
test2
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
结果
topic:
test2
partition:
0
leader:
170
replicas:
170
isr:
170
##重新分配分区kafka-reassign-partitions.sh
这个命令可以分区指定到想要的--broker-list上
bin/kafka-reassign-partitions.sh
--topics-to-move-json-file
topics-to-move.json
--broker-list
"171"
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--execute
cat
topic-to-move.json
{"topics":
[{"topic":
"test2"}],
"version":1
}
##为topic增加
partition数目kafka-add-partitions.sh
bin/kafka-add-partitions.sh
--topic
test
--partition
2
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
（为topic
test增加2个分区）
##控制台接收消息
bin/kafka-console-consumer.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--from-beginning
--topic
test
##控制台发送消息
bin/kafka-console-procer.sh
--broker-list
192.168.197.170:9092,192.168.197.171:
9092
--topic
test
##手动均衡topic,
kafka-preferred-replica-election.sh
bin/kafka-preferred-replica-election.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--path-to-json-file
preferred-click.json
cat
preferred-click.json
{
"partitions":
[
{"topic":
"click",
"partition":
0},
{"topic":
"click",
"partition":
1},
{"topic":
"click",
"partition":
2},
{"topic":
"click",
"partition":
3},
{"topic":
"click",
"partition":
4},
{"topic":
"click",
"partition":
5},
{"topic":
"click",
"partition":
6},
{"topic":
"click",
"partition":
7},
{"topic":
"play",
"partition":
0},
{"topic":
"play",
"partition":
1},
{"topic":
"play",
"partition":
2},
{"topic":
"play",
"partition":
3},
{"topic":
"play",
"partition":
4},
{"topic":
"play",
"partition":
5},
{"topic":
"play",
"partition":
6},
{"topic":
"play",
"partition":
7}
]
}
##删除topic,慎用，只会删除zookeeper中的元数据，消息文件须手动删除
bin/kafka-run-class.sh
kafka.admin.deletetopiccommand
--topic
test666
--zookeeper
192.168.197.170:2181
,192.168.197.171:2181

③ linux内存使用大小排序

可以直接输入top
然后 按P – 以 CPU 占用率大小的顺序排列进程列表
按M – 以内存占用率大小的顺序排列进程列表
另外，查看某一应用占用内存大小
方法一：通过进程号查看
# 例如查看kafka资源使用情况
# 查看kafka进程号
ps -ef | grep kafka
# 查看进程号占用资源（159156为ps得到的进程号）
top -p 159156
# 或者查看进程的status文件（159156为ps得到的进程号） ，VmRSS对应的值就是物理内存占用
cat /proc/159156/status
方法2：ps命令直接使用任务名
# 显示的第六个参数就是物理内存占用
ps -aux | grep kafka
# 查看内存占用前10名的程序
ps aux | sort -k4,4nr | head -n 10
3）对free -h 查看到的buff/cache 进行回收
# 在系统中除了内存将被耗尽的时候可以清缓存以外，我们还可以使用下面这个文件来人工触发缓存清除的操作
cat /proc/sys/vm/drop_caches
# 这个文件可以设置的值分别为1、2、3。它们所表示的含义为：
# 表示清除 page cache。
echo 1 > /proc/sys/vm/drop_caches
# 表示清除回收 slab 分配器中的对象（包括目录项缓存和 inode 缓存）。slab 分配器是内核中管理内存的一种机制，其中很多缓存数据实现都是用的 page cache。
echo 2 > /proc/sys/vm/drop_caches
# 表示清除 page cache 和 slab 分配器中的缓存对象。
echo 3 > /proc/sys/vm/drop_caches

④ 怎么设置kafka topic数据存储时间

1、Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。