java數據挖掘演算法

A. 數據挖掘為什麼要用java或python

主要是方便，python的第三方模塊很豐富，而且語法非常簡練，自由度很高，python的numpy、scipy、matplotlib模塊可以完成所有的spss的功能，而且可以根據自己的需要按照定製的方法對數據進行清洗、歸約，需要的情況下還可以跟sql進行連接，做機器學習，很多時候數據是從互聯網上用網路爬蟲收集的，python有urllib模塊，可以很簡單的完成這個工作，有些時候爬蟲收集數據還要對付某些網站的驗證碼，python有PIL模塊，可以方便的進行識別，如果需要做神經網路、遺傳演算法，scipy也可以完成這個工作，還有決策樹就用if-then這樣的代碼，做聚類不能局限於某幾種聚類，可能要根據實際情況進行調整，k-means聚類、DBSCAN聚類，有時候可能還要綜合兩種聚類方法對大規模數據進行聚類分析，這些都需要自行編碼來完成，此外，基於距離的分類方法，有很多距離表達方式可以選用，比如歐幾里得距離、餘弦距離、閔可夫斯基距離、城市塊距離，雖然並不復雜， 但是用python編程實現很方便，基於內容的分類方法，python有強大的nltk自然語言處理模塊，對語言片語進行切分、收集、分類、統計等。
綜上，就是非常非常方便，只要你對python足夠了解，你發現你可以僅僅使用這一個工具快速實現你的所有想法

B. 北大青鳥java培訓：八個最佳的數據中心開源挖掘工具

數據挖掘，又稱為資料探勘、數據采礦。
它是資料庫知識發現(英語：Knowledge-DiscoveryinDatabases，簡稱：KDD)中的一個步驟，是一個挖掘和分析大量數據並從中提取信息的過程。
其中一些應用包括市場細分-如識別客戶從特定品牌購買特定產品的特徵，欺詐檢測-識別可能導致在線欺詐的交易模式等。
在本文中，貴陽電腦培訓http://www.kmbdqn.cn/整理了進行數據挖掘的8個最佳開源工具。
1、WekaWEKA作為一個公開的數據挖掘工作平台，集合了大量能承擔數據挖掘任務的機器學習演算法，包括對數據進行預處理，分類，回歸、聚類、關聯規則以及在新的互動式界面上的可視化。
2、RapidMinerRapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。
它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
3、OrangeOrange是一個基於組件的數據挖掘和機器學習軟體套裝，它的功能即友好，又很強大，快速而又多功能的可視化編程前端，以便瀏覽數據分析和可視化，基綁定了Python以進行腳本開發。
它包含了完整的一系列的組件以進行數據預處理，並提供了數據帳目，過渡，建模，模式評爛卜估和勘探帶圓的功能。
其由C++和Python開發，它的圖形庫是由跨平台的Qt框架開發。
4、KnimeKNIME(KonstanzInformationMiner)是一個用戶友好，智能的，並有豐演的開源的數據集成，數據處理，數據分析和數據勘探平台。
5、jHepWorkjHepWork是一套功能完整的面向對象科學數據分析框架。
Jython宏是用來展示一維和二維直方圖的數據。
該程序包括許多工具，可以用來和二維三維的科學圖形進行互動。
6、ApacheMahoutApacheMahout是ApacheSoftwareFoundation(ASF)開發的一個全新的開源項目，其主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache在許可下免費使用。
該項目已經發展到了它的最二個年頭，目前只有一個公共發行版。
Mahout包含許多實現，包蠢歷塌括集群、分類、CP和進化程序。
此外，通過使用ApacheHadoop庫，Mahout可以有效地擴展到雲中。
7、ELKIELKI(EnvironmentforDevelopingKDD-ApplicationsSupportedbyIndex-Structures)主要用來聚類和找離群點。
ELKI是類似於weka的數據挖掘平台，用java編寫，有GUI圖形界面。
可以用來尋找離群點。

C. Java開發想嘗試大數據和數據挖掘，如何規劃學習

大數據前景是很不錯的，像大數據這樣的專業還是一線城市比較好，師資力量跟得上、就業的薪資也是可觀的，學習大數據可以按照路線圖的順序，

學大數據關鍵是找到靠譜的大數據培訓機構，你可以深度了解機構的口碑情況，問問周圍知道這家機構的人，除了口碑再了解機構的以下幾方面：

1.師資力量雄厚

要想有1+1>2的實際效果，很關鍵的一點是師資隊伍，你接下來無論是找個工作還是工作中出任哪些的人物角色，都越來越愛你本身的技術專業大數據技術性，也許的技術專業大數據技術性則絕大多數來自你的技術專業大數據教師，一個好的大數據培訓機構必須具備雄厚的師資力量。

2. 就業保障完善

實現1+1>2效果的關鍵在於能夠為你提供良好的發展平台，即能夠為你提供良好的就業保障，讓學員能夠學到實在實在的知識，並向大數據學員提供一對一的就業指導，確保學員找到自己的心理工作。

3. 學費性價比高

一個好的大數據培訓機構肯定能給你帶來1+1>2的效果，如果你在一個由專業的大數據教師領導並由大數據培訓機構自己提供的平台上工作，你將獲得比以往更多的投資。

希望你早日學有所成。

D. 數據挖掘是什麼樣的工作啊和java編程有關系嗎跪求

兩個工作內容聯系不大，你是學習java的，我就主要介紹數據挖掘吧
數據挖掘是提取數據、建立模型分析數據、得出結果後與需求部門進行溝通的一個職業。
舉個例子：銀行的事業部有很多潛在的貸款申請者，事業部向數據挖掘人員提出需求，希望能夠分析哪些申請者是優質放貸對象？
數據挖掘人員首先要充分理解事業部的需求，其次要從資料庫提取相關數據，提取數據的工作有些時候是由DBA來完成，好了，現在你得到了歷史數據，你的任務就是通過歷史數據來建立模型，分析具備什麼特徵的申請者是有能力還貸、不拖欠的，然後用建立好的模型來預測我們剛剛得到的新的一批申請者。
再具體一點：例如，我們通過歷史數據發現，年齡大於35歲，的男性，已婚，家庭人口大於3，收入在12000元以上的申請者是理想的放貸對象，那麼我們用這個標准來限定新的申請者。
當然我舉的例子，為了淺顯易懂，是非常簡單的示意例子，實際情況要復雜得多，會涉及到個人的貸款歷史、信用評估、自然屬性、社會屬性、資產評估等情況——就是說，數據挖掘人員是要通過資料庫中的海量數據，整理出哪些是有用數據，再用這些有用的數據來分析其它部門的問題，幫助他們解決問題，或者為公司的發展提供數據依據

數據挖掘的上升方向是：數據挖掘——產品層——決策層

java是屬於開發，比如開發軟體、介面、應用程序等，如果一個公司需要開發數據挖掘軟體，那麼則需要數據挖掘知識+java開發能力，只有在這種時候，才需要兩個都具備

但是一般自主開發數據挖掘軟體的公司很少，第一需要消耗大量人力物力，第二市場有很多現成的軟體，沒必要開發。

如果你想從事數據挖掘，你必須具備：
數據挖掘模型、演算法的數學知識以及一些數據分析軟體（SPSS、SAS、matlab、clementine）
一些資料庫相關的知識（oracle、mySQL）
了解市場、其它部門需求

當然這些都是一點一滴積累起來的，沒必要一蹴而就，特別是對市場、行業的了解以及對公司其它部門的需求的理解非常重要，這決定了你能否從基礎的分析人員上升到產品層、決策層，都是要在實際的工作中積累起來的

至於放棄java什麼的，我覺得真的不是放棄，因為你具備了java的基礎，一定能派上用場，比如技術型產品經理（face book的扎克伯格和騰訊的馬化騰都是技術型產品經理），這種產品經理能夠清晰的把握產品的開發過程，還有市場知識。總結起來就是沒有什麼東西會浪費掉，你學的所有的東西都將在工作中派上用場，只是你遇到的情況不夠多不夠復雜而已

E. 北大青鳥java培訓：數據挖掘是什麼意思

數據挖掘（英語：Datamining），又譯為資料探勘、數據采礦。
它是資料庫知識發現（英語：Knowledge-DiscoveryinDatabases，簡稱：KDD)中的一個步驟。
數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。
山東IT培訓http://www.kmbdqn.cn/發現數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索輪念、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方臘信困法來實現上述目標。
數據挖掘基於資料庫理論，機器學習，人工智慧，現代統計學的迅速發展的交叉學科，在很多領域中都有應用。
涉及到很多的演算法，源於機器學習的神經網路，決策樹，也有基於統計學習理論的支持向量機，分類回歸樹，和關聯分析的諸多演算法。
數據挖掘的定義是從海量數據中找到有意義的模式或知識。
大數據（bigdata），指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法坦含（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。
大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。

F. 數據挖掘演算法工程師崗位職責

數據挖掘演算法工程師崗位職責

在現在的社會生活中，崗位職責使用的頻率越來越高，制定崗位職責可以最大限度地實現勞動用工的科學配置。一般崗位職責是怎麼制定的呢？下面是我收集整理的數據挖掘演算法工程師崗位職責，僅供參考，希望能夠幫助到大家。

數據挖掘演算法工程師崗位職責1

崗位職責：

負責團隊現有演算法的優化，代碼實現以及移植

負責演算法計算性能優化，並推動其上線應用

純搏基於大規模用戶數據，以效果為目標，建立並優化系統的基礎演算法和策略

應用機器學習等尖端技術，針對海量信息建模，挖掘潛在價值跟蹤新技術發展，並將其應用於產品中；

跟蹤新技術發展，並將其應用於產品中

協助其它技術人員解決業務及技術問題

任職資格：

熟練使用Java、python、scala語言（至少一門），熟悉面向對象思想和設計模式

具備一年以上機器學習理論、演算法的研究和實踐經驗

擅長大規模分布式畢歲系統。海量數據處理。實時分析等方面的演算法設計。優化

熟悉Hadoop、spark等大數據處理框架

具備分布式相關項目研發經驗（如分布式存儲/分布式計算/高性能並行計算/分布式cache等）

熟悉大規模數據挖掘、機器學習、分布式計算等相關技術，並具備多年的'實際工作經驗

對數據結構和演算法設計有深刻的理解

具有良好的分析問題和解決問題的能力，有一定數學功底，能針對實際問題進行數學建模

良好的邏輯思維能力，和數據敏感度，能能夠從海量數據中發現有價值的規律

優秀的分析和解決問題的能力，對挑戰性問題充滿激情

手褲睜良好的團隊合作精神，較強的溝通能力

數據挖掘演算法工程師崗位職責2

1、通過海量數據挖掘、機器學習等方法，構建用戶畫像、個性化推薦、銷量預測、風險控制等系統

2、參與數據挖掘項目的設計、實現、演算法調研、優化

3、用戶分析、理解及建模，持續提升用戶產品體驗

4、調研並促進數據挖掘在公司多個業務領域的應用

任職資格：

1、熟悉Java、Scala或Python編程語言，有Java多線程、AkkaActor編程經歷者優先。

2、熟悉hadoop、Spark、Redis、ES以及數據可視化等方面者優先

3、擁有基於MapRece的分布式編程思想，熟悉常用的機器學習演算法，如：決策樹、SVM、聚類、回歸、貝葉斯、神經網路。且有上述演算法的分布式實現與優化經驗者優先

4、熟悉大規模分布式系統理論，研讀過mllib/mahout/H20/TensoFlow等源碼，在項目中將分布式演算法應用到業務當中者優先。

5、較強的英文文獻閱讀理解能力，相關文檔編制能力

數據挖掘演算法工程師崗位職責3

工作職責：

1、運用數據挖掘和機器學習方法和技術，深入挖掘和分析海量商業數據

2、包括但不限於風控模型、用戶畫像、商家畫像建模、文本分析和商業預測等

3、運用數據挖掘/統計學習的理論和方法，深入挖掘和分析用戶行為，建設用戶畫像

4、從系統應用的角度，利用數據挖掘/統計學習的理論和方法解決實際問題

任職要求

—計算機、數學，統計學或人工智慧等相關專業碩士以上學歷，5—10年以上或相關工作經歷

—精通1—2種編程語言（Python或Java），熟練掌握常用數據結構和演算法，具備比較強的實戰開發能力，能帶領團隊共同進步。

—具有統計或數據挖掘背景，並對機器學習演算法和理論有較深入的研究

—熟悉數據挖掘相關演算法（決策樹、SVM、聚類、邏輯回歸、貝葉斯）

—具有良好的學習能力、時間和流程意識、溝通能力

—熟悉Spark或hadoop生態分布式計算框架

—優秀的溝通能力，有創新精神，樂於接受挑戰，能承受工作壓力

—有互聯網，央企，政務，金融等領域大規模數據挖掘經驗者優先

G. 數據挖掘工程師需要掌握Java到什麼程度

對 Java 虛擬機、 Java 並發要有比較深入研究和應用，熟練掌握 Hadoop、 HBase、 Hive、 Kafka、 Storm、 Spark工具，會用 Linux，了解 Scala。如果設計到更高階的應用，可能就需要會用 Python、 R 語言並且精通演算法和數據結構了。

Java熟練的人一般可以負責客戶端APP產品中伺服器後端的工程設計，架構設計和開發工作，研究業界內的新技術及其應用，解決創新研發中的關鍵問題和技術難點，依據項目任務計劃及時完成軟體編碼和單元測試項目，按照開發流程編寫隊友模塊的設計文檔。與產品經理、測試工程師、其他團隊溝通協作，確保產品研發工作的質量和速度，協調或指導團隊成員和其它開發人員的工作。熟悉設計模式，熟練掌握面向對象編程和事件驅動編程風格。

關於數據挖掘工程師的課程推薦CDA數據分析師的相關課程，課程主要培養學員硬性的數據挖掘理論與Python數據挖掘演算法技能的同時，全方位提升學員的數據洞察力。課程以項目調動學員數據挖掘實用能力的場景式教學為主，在講師設計的業務場景下由講師不斷提出業務問題，幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。點擊預約免費試聽課。

H. 給師弟師妹們學習數據挖掘的一些建議

給師弟師妹們學習數據挖掘的一些建議
看著剛進實驗室的師弟師妹們的迷茫，雖然也與他們進行過一些零散的交談，但是都不夠系統。因此，根據自己的經歷給出學習數據挖掘的一些建議，大家可以根據自身的情況，具體問題具體分析，作為參考。希望在上一屆的基礎上，走的更深，走的更遠。
一. 讀研與數據挖掘基礎
首先介紹一下大家都比較關心的幾個問題，包括我們組的研究方向是什麼，論文相關問題，大數據與工作相關問題，上海戶口問題幾個方面。
1. 我們組的研究方向是什麼
我們組大的研究方向是數據挖掘，論文的研究方向是推薦演算法。要注意大的研究方向，論文的研究方向與工作方向的區別和聯系。
2. 論文相關問題
讀研究生免不了會思考一個問題，讀研的意義是什麼？我自己認為讀研的最大意義是訓練自己系統化的嚴謹的分析思維能力。在導師給定論文研究方向後，如何確立更細的研究方向，如何檢索資料，如何閱讀英文論文，如何提出自己的創新點，如何做實驗，如何寫論文，如何修改論文，如何投稿，如何退修，如果是國際會議，還要去做英文口頭報告，與同行交流等，這些問題都是需要自己去思考的。
3. 大數據與工作相關問題
數據挖掘屬於大數據專業嗎？當然屬於。現在大數據找工作相對還是比較理想的。關鍵是要學習哪些課程呢？以前給大家推薦了很多的書籍，但是效果卻恰恰相反，因為實在太多了根本看不完，更不知閱讀書籍的順序，淺嘗輒止，最後一本書也沒有看完，研究生就結束了。
（1）最低保障書籍
無論將來做什麼，熟練掌握一門編程語言，一個資料庫，數據結構，演算法都是必備的。
《高性能MySQL》
《數據結構與演算法分析：Java語言描述》
《演算法》：http://book.douban.com/subject/19952400/
（2）Python與機器學習
《集體智慧編程》
《社交網站的數據挖掘與分析》
《數據挖掘：概念與技術》
Python官方文檔：https://www.python.org/
Scikit-Learn官方文檔：http://scikit-learn.org/stable/
（3）Java相關書籍
《Java開發實戰經典》
《Java Web開發實戰經典》
《Java虛擬機規范》
Java SE：http://docs.oracle.com/javase/8/docs/api/
Java EE：http://docs.oracle.com/javaee/6/api/
（4）Hadoop與Spark書籍
《大數據日知錄：架構與演算法》
《Hadoop權威指南》
《大數據Spark企業級實戰》
《Scala編程》
Hadoop官方網站：http://spark.apache.org/
Spark官方網站：http://spark.apache.org/
Scala官方網站：http://www.scala-lang.org/
說明：認准目標，耐住性子，一步一步往前走。要把上面推薦的書籍硬著頭皮讀完，數據挖掘基本也就算是入門了。
4. 上海戶口問題
上海戶口屬於積分制，如果想要在校期間就拿到，那麼唯一的方式就是參數每年的研究生數據建模比賽，並且獲獎。獲獎比例還是很高的。其實，好好學習Python，買本數學建模的書籍看完，看幾篇近些年來的獲獎論文，比賽時硬著頭皮鑽研一道題目並且寫好論文，基本上都可以獲獎。
二. 數據挖掘進階
數據挖掘涉及多個方向，但是通常從數學統計，資料庫和數據倉庫，機器學習三個方向來進行研究。當我想學習一個方向的時候，最希望做的事情就是讓別人給我列出一個書單。因為我也會給你們列出一個書單，讓你們慢慢研究吧。
1. 數學統計
（1）理論數學：復變函數，實變函數，泛函分析，拓撲學，積分變換，微分流形，常微分方程，偏微分方程等。
（2）應用數學：離散數學（集合，邏輯，組合，代數，圖論，數論），具體數學，張量分析，數值計算，矩陣論，逼近論，運籌學，凸優化，小波變換，時間序列分析等。
（3）概率：概率論，測度論，隨機過程等。
（4）統計：統計學，多元統計，貝葉斯統計，統計模擬，非參數統計，參數統計等。
2. 資料庫和數據倉庫
《資料庫系統概念》
《資料庫系統實現》
《數據倉庫》
《分布式系統：概念與設計》
3. 機器學習
通信原理；數據挖掘；機器學習；統計學習；自然語言處理；信息檢索；模式識別；人工智慧；圖形圖像；機器視覺；語音識別；機器人學等。（這方面的經典書籍都可以看看，後面慢慢補充）
4. 其它書籍
（1）Linux
（2）網路原理，編譯原理，組成原理，
（3）JVM
（4）UML
（5）軟體工程
（6）設計模式
（7）雲計算與Docker
（8）並行計算
（9）需求分析
三. 學習與方法
作為一名軟體工程師，需要熟練掌握的工具，如下所示：
（1）博客
除了學習之外，更要思考和總結，把還沒有忘卻的記憶緩存序列化成為文字，記錄在博客中。
（2）語言
大數據常用的語言包括Java，Scala，Python。如果一定要選擇精通一門語言，自己選擇Scala，同時深度學習JVM。（3）開發工具
自己選擇IntelliJ IDEA用於Java和Scala的開發，Eclipse用於Python的開發。
（4）GitHub
每天都要堅持編程，主動參與開源項目。
（5）Linux
工作常用的是Ubuntu 12.04 LTS。
由於時間原因，上面總結的還比較粗糙，算是第一個版本吧，後面還會繼續深度總結和完善。

I. 關於java新聞網站的演算法

問:新聞網站，如新浪網站，比如說國際足球頻道，每天會有跟新。請問這塊在代碼設計的地方，是從資料庫中讀取5條最新的（按照日期）還是說做一個程序由編輯強制置頂?
答:是從資料庫中讀取5條最新的（按照日期）

問:如果是論壇，需要把點擊最高的新聞自動排到前面，這個怎麼處理，需要用到servletcontext嗎 ?
答:讀取點擊最高的新聞記錄(你想讀取幾條就幾條),然後放到網頁上去,就怎麼回事.......跟你平時放其他數據沒什麼區別,都是根據條件取數據而已.

J. 大數據工程都要學什麼

當前大數據應用尚處於初級階段，根據大數棗攜沒據分析預測未來、指導實踐的深層次應用將成為發展重點。各大互聯網公司都在囤積大數據處理人才，從業人員的薪資待遇也很不錯。

這里介紹一下大數據要學習和掌握的知識與技能：

①java：一門面向對象的計算機編程語言，具有功能強大和簡單易用兩個特徵凳納。

②spark：專為大規模數據處理而設計的快速通用的計算引擎。

③SSM：常作為數據源較簡單的web項目的框架。

④Hadoop：分布式計算和存儲的框架，需要有java語言基礎。

⑤spring cloud：一系列框架的有序集合，他巧妙地簡化了分布式系統基礎設施的開發。

⑤python：一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言。

互聯網行業目前還是最熱門的行業之一，學習隱檔IT技能之後足夠優秀是有機會進入騰訊、阿里、網易等互聯網大廠高薪就業的，發展前景非常好，普通人也可以學習。

想要系統學習，你可以考察對比一下開設有相關專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能力，能夠在校期間取得大專或本科學歷，中博軟體學院、南京課工場、南京北大青鳥等開設相關專業的學校都是不錯的，建議實地考察對比一下。

祝你學有所成，望採納。