kafka命令行

⑴ 我也已經25歲其實就有轉行的打算了，想轉數據分析大數據行業，我大學本科是和這個專業相關的，

來得及就趕緊哦
首先，大數據行業的入行門檻至少是大專及以上學歷，按照大多數人受教育的年紀來說，大專畢業至少21+，本科生至少22+，研究生以上學歷年齡會更大，不少人的職業生涯是從本科或研究生起步的，那樣少說也得二十四五了
現今大數據人才的來源主要靠市場培訓，市場上的大數據培訓以技術入門為主，不少人是程序員轉行做大數據的，大多數程序員是大專及本科畢業後入職，經過幾年職場歷練後，程序員在工作中不僅對業務知識有一定積累，且對IT行業也有自己的積累和理解，這樣意味這部分人進入大數據市場有先發優勢，同時意味著他們年紀也應該在25歲+

⑵ ubuntu 怎麼安裝kafka

kafka官網下載 kafka_2.10-0.8.2.1.tgz並復制到虛擬機Ubuntu

2.1解壓到該路徑

tar zxvf kafka_2.10-0.8.2.1.tgz

sudo mv kafka /home/chen-pc/kafka

啟動和停止

啟動Zookeeper server：

Shell代碼

bin/zookeeper-server-start.sh config/zookeeper.properties &

其中&是為了能退出命令行
kafka安裝教程

停止Kafka server

Shell代碼

bin/kafka-server-stop.sh

出現如下：

INFO Shutting down. (kafka.log.LogManager)

INFO Shutdown complete. (kafka.log.LogManager)

INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)

INFO Session: 0x154957ee6bc0000 closed (org.apache.zookeeper.ZooKeeper)

INFO EventThread shut down (org.apache.zookeeper.ClientCnxn)

INFO [Kafka Server 0], shut down completed (kafka.server.KafkaServer)
kafka安裝教程

停止Zookeeper server:

Shell代碼

bin/zookeeper-server-stop.sh

出現如下：

[1]+ Exit 130 bin/zookeeper-server-start.sh config/zookeeper.properties
kafka安裝教程

4.創建啟動、關閉kafka腳本

cd /home/chen-pc/kafka

創建啟動腳本

vi kafkastart.sh #編輯，添加以下代碼

#!/bin/sh

#啟動zookeeper

/home/chen-pc/kafka/bin/zookeeper-server-start.sh /home/chen-pc/kafka/config/zookeeper.properties &

#等3秒後執行

sleep 3

#啟動kafka

/home/chen-pc/kafka/bin/kafka-server-start.sh /home/chen-pc/kafka/config/server.properties &

保存退出

vi kafkastop.sh #編輯，添加以下代碼

#!/bin/sh

#關閉zookeeper

/home/chen-pc/kafka/bin/zookeeper-server-stop.sh /home/chen-pc/kafka/config/zookeeper.properties &

sleep 3

#關閉kafka

/home/chen-pc/kafka/bin/kafka-server-stop.sh /home/chen-pc/kafka/config/server.properties &

添加腳本執行許可權

chmod +x kafkastart.sh

chmod +x kafkastop.sh

以後啟動kafka

sh /home/chen-pc/kafka/kafkastart.sh

Jps查看進程
kafka安裝教程

關閉kafka

sh /home/chen-pc/kafka/kafkastop.sh

至此，Linux下Kafka單機安裝配置完成。

4. 單節點kafka

sh /home/chen-pc/kafka/kafkastart.sh

Kafka創建topic

cd kafka

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
kafka安裝教程

Kafka 刪除topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

查看topic

/home/chen-pc/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
kafka安裝教程

啟動consumer & procer，並在procer啟動後的console輸入一些信息

bin/kafka-console-procer.sh --broker-list localhost:9092 --topic test

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
kafka安裝教程
11

Kafka安裝部署成功

⑶ 怎麼設置kafka topic數據存儲時間

1、Kafka創建topic命令很簡單，一條命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。

⑷ Java使用kafka發送消息沒有生效

一般消息發不出去很大可能都是配置或環境的問題
1、排查環境是否有問題，zookeeper節點是否存活，kafka節點是否存活，通過命令行的方式能否發出去消息（使用kafka-console-procer.sh）,如果通過命令行都發不出去那就是集群的問題了。
2、網路問題，調用機器和集群之間網路是否通暢
3、調用時配置的host、port和集群中配置的是否一致，是否需要使用主機名而不是ip
4、客戶端api版本是否和服務端差別太大導致不兼容
5、防火牆問題，關閉集群的防火牆實時
諸如此類，可能性太多就不一 一列舉了。
你這既然有列印堆棧，如果報錯肯定有異常信息的，可能卡住的時間比較長，耐心等待吧，祝你早日解決bug。

⑸ 大數據好嗎想轉行大數據！

大數據時代是社會進步的必然結果，給人們的生活帶來了一系列的便利。例如訂餐，平台會根據以往的消費記錄為用戶推薦更適合的美食，節省了用戶選擇的時間。而在京東淘寶等購物平台上則更加明顯，用戶搜索為某種商品，平台便會推薦類似的產品。

大數據，是發現規律、檢驗規律的客觀事實。對社會的影響，主要取決於使用大數據的目的，用於造福社會，其影響就好，反之，其影響就不好。

未來十年大數據的發展前景都非常好，目前行業需求大，人才十分缺乏

如今重視數據的機構已經越來越多，上到國防部，下到互聯網創業公司、金融機構需要通過大數據項目來做創新驅動，需要數據分析或處理崗位也很多;常見的食品製造、零售電商、醫療製造、交通檢測等也需要數據分析與處理，如優化庫存，降低成本，預測需求等。對於想要學習大數據的小夥伴，就目前來看。就業情況是非常好的

⑹ 小白想轉行做大數據，怎麼入行

大數據技術專業屬於交叉學科：以統計學、數學、計算機為三大支撐性學科；生物、醫學、環境科學、經濟學、社會學、管理學為應用拓展性學科。

此外還需學習數據採集、分析、處理軟體，學習數學建模軟體及計算機編程語言等，知識結構是二專多能復合的跨界人才(有專業知識、有數據思維)。

大數據時代則對從業人員素質的要求越來越高，因為數據處理變得越來越復雜，數據人才的競爭也越來越激烈，很多大公司都在尋找尖端人才。而且，大到國防、金融，小到跟生活息息相關的物流、購物、醫療、交通等，都日益需要大數據的支撐。大數據正在成為一門「顯學」。

對於大數據開發的學習，重在掌握基本知識以及實踐應用，合理安排基礎知識的學習，可以起到事半功倍的效果，以下是比較經典的大數據開發學習路線：

第一階段：JavaSE+MySql+Linux

Java語言入門 → OOP編程 → Java常用Api、集合 → IO/NIO → Java實用技術 → Mysql資料庫 → 階段項目實戰 → Linux基礎 → shell編程

第二階段：Hadoop與生態系統

Hadoop → MapRece → Avro → Hive → Hbase → Zookeeper → Flume → Kafka → Sqoop → Pig

第三階段：Storm與Spark及其生態圈

Storm → Scala → Spark → Spark SQL → Spark Streaming → Spark機器學習

第四階段：其他

Mahout機器學習 → R語言 → Python

第五階段：項目實戰、技術綜合運用
希望對您有所幫助！~

⑺ IT技術人員轉行大數據應該考慮哪些問題

1、豐富的數據開發經驗，對數據處理、數據建模、數據分析等有深刻認識和實戰經驗。
2、熟悉SQL，有一定的SQL性能優化經驗。
3、熟練掌握Java語言，MapRece編程，腳本語言Shell/Python/Perl之一。
4、業務理解力強，對數據、新技術敏感，對雲計算、大數據技術充滿熱情。
5、深入理解Map-Rece模型，對Hadoop、Spark、Storm等大規模數據存儲與運算平台有實踐經驗。
這五點因素並代表全部，只是為大家羅列出一些基礎的技能，但這也能夠給一些轉行者提供一些方向。

⑻ 大數據專業成熱門，該如何轉行做大數據分析師

那我就轉載一篇別人轉行做數據分析的經驗貼給題主吧：

親愛的各位加米穀學院的老師和同學們好，首先非常感謝大家在17年9月到18年3月份5個月時間的陪伴，以及張老師和曾老師在我學習期間的耐心輔導。在大數據培訓的道路上，正是因為有你們的辛勤付出與陪伴，才讓我在大數據職業道路上有了今天我很滿意的薪資待遇。再次謝謝你們！

在數據分析挖掘培訓的過程中給我印象最深就是張老師，張老師的課講的很清楚，尤其是PPT圖解理論，讓我這樣的0基礎學員能夠理解到位，不愧是國家大數據標准組的成員。雖然只有短短五個月的學習時間，但是對於我個人來說收獲非常大，不止讓我從一個小白成功入行，並成功面試到張老師推薦的公司，拿到了我非常滿意的薪水。

張老師希望我可以給後面的學弟學妹們分享一點學習經驗，學習這件事大家都不陌生，大家都是經歷過十幾年的學習生涯。尤其是轉行0基礎學習大數據的同學，對大數據行業了解的也一定很清楚了，才會決定來進行大數據培訓。下面我只說5個方面，後面的學弟學妹可以從中作參考，也希望對你們有幫助。

1、興趣是最好的老師，既然決定轉好從0基礎學習大數據，那你一定要從心裡愛上它，只有你真正的上心了，才能有動力去學好它。

2、多看，課前預習是少不了的，課前老師都會把當天講的課件提前發給你，一定要抽出時間先認真看一下，否則，你會發現到時候老師講的內容你接受起來非常吃力。

3、多問，如果你是一個0基礎學習大數據，之前沒有任何編程基礎，遇到問題一定要多問，第一時間問老師，不要礙著面子死撐，一方面可以鍛煉你的溝通能力，是否能用盡量通俗的話語讓老師明白你遇到的問題所在（對你以後面試很有幫助），另一方面現在的學習成果也影響著以後的薪資待遇。

4、多練，加米穀學院每個階段的實訓項目都是很有針對性的，全部是來自真實企業中真實的項目，現在多練習對於以後的面試以及工作經驗都會非常的有幫助。

5、勤奮，這個說起來很簡單，人都是有惰性的，就像我們上學時候一樣，同樣一個班級，老師教的東西也都一樣，為什麼有的學習好，有的學習不好？數據分析培訓也一樣，畢業之後為什麼有的薪資可以拿到18K，有的卻只有幾千？這跟自己的勤奮程度是成正比的，每個人請找到自己的勤奮點，加油！

⑼ Java工程師轉大數據難度高嗎

Java程序員轉大數據工程師有很好的基礎條件
對於Java程序員，大數據的主流平台hadoop是基於Java開發的，所以Java程序員往大數據開發方向轉行從語言環境上更為順暢，另外很多基於大數據的應用框架也是Java的，所以在很多大數據項目里Java語言的確是可以派上用場的。所以，Java程序員轉大數據工程師是具備很好的基礎條件的。 當然，hadoop核心價值在於提供了分布式文件系統和分布式計算引擎，對於大部分公司而言，並不需要對這個引擎進行修改。這時候除了熟悉編程，你通常還需要學習數據處理和數據挖掘的一些知識。尤其是往數據挖掘工程師方向發展，則你需要掌握更多的工具和知識。
Java程序員轉大數據職位的學習路線圖：
第一步：分布式計算框架
掌握hadoop和spark分布式計算框架，了解文件系統、消息隊列和Nosql資料庫，學習相關組件如hadoop、MR、spark、hive、hbase、redies、kafka等;
第二步：演算法和工具
學習了解各種數據挖掘演算法，如分類、聚類、關聯規則、回歸、決策樹、神經網路等，熟練掌握一門數據挖掘編程工具：Python或者Scala。目前主流平台和框架已經提供了演算法庫，如hadoop上的Mahout和spark上的Mllib，你也可以從學習這些介面和腳本語言開始學習這些演算法。
第三步：數學
補充數學知識：高數、概率論和線代
第四步：項目實踐
1)開源項目：tensorflow：Google的開源庫，已經有40000多個star，非常驚人，支持移動設備;
2)參加數據競賽：Kaggle和國內天池數據競賽
3)通過企業實習獲取項目經驗
如果你僅僅是做大數據開發和運維，則可以跳過第二步和第三步，如果你是側重於應用已有演算法進行數據挖掘，那麼第三步也可以先跳過。
總結：
Java工程師可以更容易理解hadoop的框架和生態，很多大數據saas級產品也是Java開發的，因此Java基礎是轉行大數據的一個很好的起點。但大數據是一個更為寬廣的領域，具有跨界知識和能力的人才會更受企業青睞。隨著人工智慧時代的到來，大數據將迎來黃金發展的10年，如果你已經做好准備，那麼就立即開始行動吧！

⑽ 程序員轉行大數據是個明智的選擇嗎

程序員又被人們戲稱為「程序猿」，雖然薪資不低卻依然掩飾不住悲催的命運：加班、單身成了這一職業的代名詞。而最重要的，是職業發展限制性較高，常常有程序員憂慮自己的職業只是一碗青春飯。而正在這時候，大數據時代來臨了，程序員們彷彿看到了希望的曙光，想要投身大數據行業。那麼，程序員轉行大數據是個明智的選擇嗎？
除去個人因素，大數據的確具有十分強大的發展潛力。從國家政策到國內各大企業的重視程度，無一不在為大數據時代的騰飛積蓄著力量。而且，不同於傳統的IT行業，大數據行業其實更像是一個工具，也可以說是各行各業的一個神器。它的應用范圍十分廣泛，幾乎360行，行行都能利用大數據分享到不小的紅利。大數據技術能夠精準地引導企業進行企業決策，把企業從傳統的「憑經驗吃飯」的套路中解脫出來。從此以後，再也沒人說「嘴上無毛，辦事不牢」了，經驗代表過去，而大數據代表著未來。大數據工程師經過多年的歷練，說是企業的「軍師」也不為過。而廣泛的行業范疇更為大數據專業人才提供了無限的可能。可以說，大數據給了人們一個更廣闊的發展空間，無限的發展可能。而相比之下，程序員的發展空間就會顯得局促很多。其實，任何行業都不是一味的黯淡無光和一味的前途無量。還是需要看個人的喜好和專長。如果你對大數據感興趣，歡迎來報名光環大數據培訓班，相信你會有一個美好的將來！