kafka命令行

⑴ 我也已经25岁其实就有转行的打算了，想转数据分析大数据行业，我大学本科是和这个专业相关的，

来得及就赶紧哦
首先，大数据行业的入行门槛至少是大专及以上学历，按照大多数人受教育的年纪来说，大专毕业至少21+，本科生至少22+，研究生以上学历年龄会更大，不少人的职业生涯是从本科或研究生起步的，那样少说也得二十四五了
现今大数据人才的来源主要靠市场培训，市场上的大数据培训以技术入门为主，不少人是程序员转行做大数据的，大多数程序员是大专及本科毕业后入职，经过几年职场历练后，程序员在工作中不仅对业务知识有一定积累，且对IT行业也有自己的积累和理解，这样意味这部分人进入大数据市场有先发优势，同时意味着他们年纪也应该在25岁+

⑵ ubuntu 怎么安装kafka

kafka官网下载 kafka_2.10-0.8.2.1.tgz并复制到虚拟机Ubuntu

2.1解压到该路径

tar zxvf kafka_2.10-0.8.2.1.tgz

sudo mv kafka /home/chen-pc/kafka

启动和停止

启动Zookeeper server：

Shell代码

bin/zookeeper-server-start.sh config/zookeeper.properties &

其中&是为了能退出命令行
kafka安装教程

停止Kafka server

Shell代码

bin/kafka-server-stop.sh

出现如下：

INFO Shutting down. (kafka.log.LogManager)

INFO Shutdown complete. (kafka.log.LogManager)

INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)

INFO Session: 0x154957ee6bc0000 closed (org.apache.zookeeper.ZooKeeper)

INFO EventThread shut down (org.apache.zookeeper.ClientCnxn)

INFO [Kafka Server 0], shut down completed (kafka.server.KafkaServer)
kafka安装教程

停止Zookeeper server:

Shell代码

bin/zookeeper-server-stop.sh

出现如下：

[1]+ Exit 130 bin/zookeeper-server-start.sh config/zookeeper.properties
kafka安装教程

4.创建启动、关闭kafka脚本

cd /home/chen-pc/kafka

创建启动脚本

vi kafkastart.sh #编辑，添加以下代码

#!/bin/sh

#启动zookeeper

/home/chen-pc/kafka/bin/zookeeper-server-start.sh /home/chen-pc/kafka/config/zookeeper.properties &

#等3秒后执行

sleep 3

#启动kafka

/home/chen-pc/kafka/bin/kafka-server-start.sh /home/chen-pc/kafka/config/server.properties &

保存退出

vi kafkastop.sh #编辑，添加以下代码

#!/bin/sh

#关闭zookeeper

/home/chen-pc/kafka/bin/zookeeper-server-stop.sh /home/chen-pc/kafka/config/zookeeper.properties &

sleep 3

#关闭kafka

/home/chen-pc/kafka/bin/kafka-server-stop.sh /home/chen-pc/kafka/config/server.properties &

添加脚本执行权限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

以后启动kafka

sh /home/chen-pc/kafka/kafkastart.sh

Jps查看进程
kafka安装教程

关闭kafka

sh /home/chen-pc/kafka/kafkastop.sh

至此，Linux下Kafka单机安装配置完成。

4. 单节点kafka

sh /home/chen-pc/kafka/kafkastart.sh

Kafka创建topic

cd kafka

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
kafka安装教程

Kafka 删除topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

查看topic

/home/chen-pc/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
kafka安装教程

启动consumer & procer，并在procer启动后的console输入一些信息

bin/kafka-console-procer.sh --broker-list localhost:9092 --topic test

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
kafka安装教程
11

Kafka安装部署成功

⑶ 怎么设置kafka topic数据存储时间

1、Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。

⑷ Java使用kafka发送消息没有生效

一般消息发不出去很大可能都是配置或环境的问题
1、排查环境是否有问题，zookeeper节点是否存活，kafka节点是否存活，通过命令行的方式能否发出去消息（使用kafka-console-procer.sh）,如果通过命令行都发不出去那就是集群的问题了。
2、网络问题，调用机器和集群之间网络是否通畅
3、调用时配置的host、port和集群中配置的是否一致，是否需要使用主机名而不是ip
4、客户端api版本是否和服务端差别太大导致不兼容
5、防火墙问题，关闭集群的防火墙实时
诸如此类，可能性太多就不一 一列举了。
你这既然有打印堆栈，如果报错肯定有异常信息的，可能卡住的时间比较长，耐心等待吧，祝你早日解决bug。

⑸ 大数据好吗想转行大数据！

大数据时代是社会进步的必然结果，给人们的生活带来了一系列的便利。例如订餐，平台会根据以往的消费记录为用户推荐更适合的美食，节省了用户选择的时间。而在京东淘宝等购物平台上则更加明显，用户搜索为某种商品，平台便会推荐类似的产品。

大数据，是发现规律、检验规律的客观事实。对社会的影响，主要取决于使用大数据的目的，用于造福社会，其影响就好，反之，其影响就不好。

未来十年大数据的发展前景都非常好，目前行业需求大，人才十分缺乏

如今重视数据的机构已经越来越多，上到国防部，下到互联网创业公司、金融机构需要通过大数据项目来做创新驱动，需要数据分析或处理岗位也很多;常见的食品制造、零售电商、医疗制造、交通检测等也需要数据分析与处理，如优化库存，降低成本，预测需求等。对于想要学习大数据的小伙伴，就目前来看。就业情况是非常好的

⑹ 小白想转行做大数据，怎么入行

大数据技术专业属于交叉学科：以统计学、数学、计算机为三大支撑性学科；生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。

此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。

大数据时代则对从业人员素质的要求越来越高，因为数据处理变得越来越复杂，数据人才的竞争也越来越激烈，很多大公司都在寻找尖端人才。而且，大到国防、金融，小到跟生活息息相关的物流、购物、医疗、交通等，都日益需要大数据的支撑。大数据正在成为一门“显学”。

对于大数据开发的学习，重在掌握基本知识以及实践应用，合理安排基础知识的学习，可以起到事半功倍的效果，以下是比较经典的大数据开发学习路线：

第一阶段：JavaSE+MySql+Linux

Java语言入门 → OOP编程 → Java常用Api、集合 → IO/NIO → Java实用技术 → Mysql数据库 → 阶段项目实战 → Linux基础 → shell编程

第二阶段：Hadoop与生态系统

Hadoop → MapRece → Avro → Hive → Hbase → Zookeeper → Flume → Kafka → Sqoop → Pig

第三阶段：Storm与Spark及其生态圈

Storm → Scala → Spark → Spark SQL → Spark Streaming → Spark机器学习

第四阶段：其他

Mahout机器学习 → R语言 → Python

第五阶段：项目实战、技术综合运用
希望对您有所帮助！~

⑺ IT技术人员转行大数据应该考虑哪些问题

1、丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验。
2、熟悉SQL，有一定的SQL性能优化经验。
3、熟练掌握Java语言，MapRece编程，脚本语言Shell/Python/Perl之一。
4、业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情。
5、深入理解Map-Rece模型，对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验。
这五点因素并代表全部，只是为大家罗列出一些基础的技能，但这也能够给一些转行者提供一些方向。

⑻ 大数据专业成热门，该如何转行做大数据分析师

那我就转载一篇别人转行做数据分析的经验贴给题主吧：

亲爱的各位加米谷学院的老师和同学们好，首先非常感谢大家在17年9月到18年3月份5个月时间的陪伴，以及张老师和曾老师在我学习期间的耐心辅导。在大数据培训的道路上，正是因为有你们的辛勤付出与陪伴，才让我在大数据职业道路上有了今天我很满意的薪资待遇。再次谢谢你们！

在数据分析挖掘培训的过程中给我印象最深就是张老师，张老师的课讲的很清楚，尤其是PPT图解理论，让我这样的0基础学员能够理解到位，不愧是国家大数据标准组的成员。虽然只有短短五个月的学习时间，但是对于我个人来说收获非常大，不止让我从一个小白成功入行，并成功面试到张老师推荐的公司，拿到了我非常满意的薪水。

张老师希望我可以给后面的学弟学妹们分享一点学习经验，学习这件事大家都不陌生，大家都是经历过十几年的学习生涯。尤其是转行0基础学习大数据的同学，对大数据行业了解的也一定很清楚了，才会决定来进行大数据培训。下面我只说5个方面，后面的学弟学妹可以从中作参考，也希望对你们有帮助。

1、兴趣是最好的老师，既然决定转好从0基础学习大数据，那你一定要从心里爱上它，只有你真正的上心了，才能有动力去学好它。

2、多看，课前预习是少不了的，课前老师都会把当天讲的课件提前发给你，一定要抽出时间先认真看一下，否则，你会发现到时候老师讲的内容你接受起来非常吃力。

3、多问，如果你是一个0基础学习大数据，之前没有任何编程基础，遇到问题一定要多问，第一时间问老师，不要碍着面子死撑，一方面可以锻炼你的沟通能力，是否能用尽量通俗的话语让老师明白你遇到的问题所在（对你以后面试很有帮助），另一方面现在的学习成果也影响着以后的薪资待遇。

4、多练，加米谷学院每个阶段的实训项目都是很有针对性的，全部是来自真实企业中真实的项目，现在多练习对于以后的面试以及工作经验都会非常的有帮助。

5、勤奋，这个说起来很简单，人都是有惰性的，就像我们上学时候一样，同样一个班级，老师教的东西也都一样，为什么有的学习好，有的学习不好？数据分析培训也一样，毕业之后为什么有的薪资可以拿到18K，有的却只有几千？这跟自己的勤奋程度是成正比的，每个人请找到自己的勤奋点，加油！

⑼ Java工程师转大数据难度高吗

Java程序员转大数据工程师有很好的基础条件
对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里Java语言的确是可以派上用场的。所以，Java程序员转大数据工程师是具备很好的基础条件的。 当然，hadoop核心价值在于提供了分布式文件系统和分布式计算引擎，对于大部分公司而言，并不需要对这个引擎进行修改。这时候除了熟悉编程，你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展，则你需要掌握更多的工具和知识。
Java程序员转大数据职位的学习路线图：
第一步：分布式计算框架
掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;
第二步：算法和工具
学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或者Scala。目前主流平台和框架已经提供了算法库，如hadoop上的Mahout和spark上的Mllib，你也可以从学习这些接口和脚本语言开始学习这些算法。
第三步：数学
补充数学知识：高数、概率论和线代
第四步：项目实践
1)开源项目：tensorflow：Google的开源库，已经有40000多个star，非常惊人，支持移动设备;
2)参加数据竞赛：Kaggle和国内天池数据竞赛
3)通过企业实习获取项目经验
如果你仅仅是做大数据开发和运维，则可以跳过第二步和第三步，如果你是侧重于应用已有算法进行数据挖掘，那么第三步也可以先跳过。
总结：
Java工程师可以更容易理解hadoop的框架和生态，很多大数据saas级产品也是Java开发的，因此Java基础是转行大数据的一个很好的起点。但大数据是一个更为宽广的领域，具有跨界知识和能力的人才会更受企业青睐。随着人工智能时代的到来，大数据将迎来黄金发展的10年，如果你已经做好准备，那么就立即开始行动吧！

⑽ 程序员转行大数据是个明智的选择吗

程序员又被人们戏称为“程序猿”，虽然薪资不低却依然掩饰不住悲催的命运：加班、单身成了这一职业的代名词。而最重要的，是职业发展限制性较高，常常有程序员忧虑自己的职业只是一碗青春饭。而正在这时候，大数据时代来临了，程序员们仿佛看到了希望的曙光，想要投身大数据行业。那么，程序员转行大数据是个明智的选择吗？
除去个人因素，大数据的确具有十分强大的发展潜力。从国家政策到国内各大企业的重视程度，无一不在为大数据时代的腾飞积蓄着力量。而且，不同于传统的IT行业，大数据行业其实更像是一个工具，也可以说是各行各业的一个神器。它的应用范围十分广泛，几乎360行，行行都能利用大数据分享到不小的红利。大数据技术能够精准地引导企业进行企业决策，把企业从传统的“凭经验吃饭”的套路中解脱出来。从此以后，再也没人说“嘴上无毛，办事不牢”了，经验代表过去，而大数据代表着未来。大数据工程师经过多年的历练，说是企业的“军师”也不为过。而广泛的行业范畴更为大数据专业人才提供了无限的可能。可以说，大数据给了人们一个更广阔的发展空间，无限的发展可能。而相比之下，程序员的发展空间就会显得局促很多。其实，任何行业都不是一味的黯淡无光和一味的前途无量。还是需要看个人的喜好和专长。如果你对大数据感兴趣，欢迎来报名光环大数据培训班，相信你会有一个美好的将来！