java数据挖掘算法

A. 数据挖掘为什么要用java或python

主要是方便，python的第三方模块很丰富，而且语法非常简练，自由度很高，python的numpy、scipy、matplotlib模块可以完成所有的spss的功能，而且可以根据自己的需要按照定制的方法对数据进行清洗、归约，需要的情况下还可以跟sql进行连接，做机器学习，很多时候数据是从互联网上用网络爬虫收集的，python有urllib模块，可以很简单的完成这个工作，有些时候爬虫收集数据还要对付某些网站的验证码，python有PIL模块，可以方便的进行识别，如果需要做神经网络、遗传算法，scipy也可以完成这个工作，还有决策树就用if-then这样的代码，做聚类不能局限于某几种聚类，可能要根据实际情况进行调整，k-means聚类、DBSCAN聚类，有时候可能还要综合两种聚类方法对大规模数据进行聚类分析，这些都需要自行编码来完成，此外，基于距离的分类方法，有很多距离表达方式可以选用，比如欧几里得距离、余弦距离、闵可夫斯基距离、城市块距离，虽然并不复杂， 但是用python编程实现很方便，基于内容的分类方法，python有强大的nltk自然语言处理模块，对语言词组进行切分、收集、分类、统计等。
综上，就是非常非常方便，只要你对python足够了解，你发现你可以仅仅使用这一个工具快速实现你的所有想法

B. 北大青鸟java培训：八个最佳的数据中心开源挖掘工具

数据挖掘，又称为资料探勘、数据采矿。
它是数据库知识发现(英语：Knowledge-DiscoveryinDatabases，简称：KDD)中的一个步骤，是一个挖掘和分析大量数据并从中提取信息的过程。
其中一些应用包括市场细分-如识别客户从特定品牌购买特定产品的特征，欺诈检测-识别可能导致在线欺诈的交易模式等。
在本文中，贵阳电脑培训http://www.kmbdqn.cn/整理了进行数据挖掘的8个最佳开源工具。
1、WekaWEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。
2、RapidMinerRapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。
它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
3、OrangeOrange是一个基于组件的数据挖掘和机器学习软件套装，它的功能即友好，又很强大，快速而又多功能的可视化编程前端，以便浏览数据分析和可视化，基绑定了Python以进行脚本开发。
它包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评烂卜估和勘探带圆的功能。
其由C++和Python开发，它的图形库是由跨平台的Qt框架开发。
4、KnimeKNIME(KonstanzInformationMiner)是一个用户友好，智能的，并有丰演的开源的数据集成，数据处理，数据分析和数据勘探平台。
5、jHepWorkjHepWork是一套功能完整的面向对象科学数据分析框架。
Jython宏是用来展示一维和二维直方图的数据。
该程序包括许多工具，可以用来和二维三维的科学图形进行互动。
6、ApacheMahoutApacheMahout是ApacheSoftwareFoundation(ASF)开发的一个全新的开源项目，其主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache在许可下免费使用。
该项目已经发展到了它的最二个年头，目前只有一个公共发行版。
Mahout包含许多实现，包蠢历塌括集群、分类、CP和进化程序。
此外，通过使用ApacheHadoop库，Mahout可以有效地扩展到云中。
7、ELKIELKI(EnvironmentforDevelopingKDD-ApplicationsSupportedbyIndex-Structures)主要用来聚类和找离群点。
ELKI是类似于weka的数据挖掘平台，用java编写，有GUI图形界面。
可以用来寻找离群点。

C. Java开发想尝试大数据和数据挖掘，如何规划学习

大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学习大数据可以按照路线图的顺序，

学大数据关键是找到靠谱的大数据培训机构，你可以深度了解机构的口碑情况，问问周围知道这家机构的人，除了口碑再了解机构的以下几方面：

1.师资力量雄厚

要想有1+1>2的实际效果，很关键的一点是师资队伍，你接下来无论是找个工作还是工作中出任哪些的人物角色，都越来越爱你本身的技术专业大数据技术性，也许的技术专业大数据技术性则绝大多数来自你的技术专业大数据教师，一个好的大数据培训机构必须具备雄厚的师资力量。

2. 就业保障完善

实现1+1>2效果的关键在于能够为你提供良好的发展平台，即能够为你提供良好的就业保障，让学员能够学到实在实在的知识，并向大数据学员提供一对一的就业指导，确保学员找到自己的心理工作。

3. 学费性价比高

一个好的大数据培训机构肯定能给你带来1+1>2的效果，如果你在一个由专业的大数据教师领导并由大数据培训机构自己提供的平台上工作，你将获得比以往更多的投资。

希望你早日学有所成。

D. 数据挖掘是什么样的工作啊和java编程有关系吗跪求

两个工作内容联系不大，你是学习java的，我就主要介绍数据挖掘吧
数据挖掘是提取数据、建立模型分析数据、得出结果后与需求部门进行沟通的一个职业。
举个例子：银行的事业部有很多潜在的贷款申请者，事业部向数据挖掘人员提出需求，希望能够分析哪些申请者是优质放贷对象？
数据挖掘人员首先要充分理解事业部的需求，其次要从数据库提取相关数据，提取数据的工作有些时候是由DBA来完成，好了，现在你得到了历史数据，你的任务就是通过历史数据来建立模型，分析具备什么特征的申请者是有能力还贷、不拖欠的，然后用建立好的模型来预测我们刚刚得到的新的一批申请者。
再具体一点：例如，我们通过历史数据发现，年龄大于35岁，的男性，已婚，家庭人口大于3，收入在12000元以上的申请者是理想的放贷对象，那么我们用这个标准来限定新的申请者。
当然我举的例子，为了浅显易懂，是非常简单的示意例子，实际情况要复杂得多，会涉及到个人的贷款历史、信用评估、自然属性、社会属性、资产评估等情况——就是说，数据挖掘人员是要通过数据库中的海量数据，整理出哪些是有用数据，再用这些有用的数据来分析其它部门的问题，帮助他们解决问题，或者为公司的发展提供数据依据

数据挖掘的上升方向是：数据挖掘——产品层——决策层

java是属于开发，比如开发软件、接口、应用程序等，如果一个公司需要开发数据挖掘软件，那么则需要数据挖掘知识+java开发能力，只有在这种时候，才需要两个都具备

但是一般自主开发数据挖掘软件的公司很少，第一需要消耗大量人力物力，第二市场有很多现成的软件，没必要开发。

如果你想从事数据挖掘，你必须具备：
数据挖掘模型、算法的数学知识以及一些数据分析软件（SPSS、SAS、matlab、clementine）
一些数据库相关的知识（oracle、mySQL）
了解市场、其它部门需求

当然这些都是一点一滴积累起来的，没必要一蹴而就，特别是对市场、行业的了解以及对公司其它部门的需求的理解非常重要，这决定了你能否从基础的分析人员上升到产品层、决策层，都是要在实际的工作中积累起来的

至于放弃java什么的，我觉得真的不是放弃，因为你具备了java的基础，一定能派上用场，比如技术型产品经理（face book的扎克伯格和腾讯的马化腾都是技术型产品经理），这种产品经理能够清晰的把握产品的开发过程，还有市场知识。总结起来就是没有什么东西会浪费掉，你学的所有的东西都将在工作中派上用场，只是你遇到的情况不够多不够复杂而已

E. 北大青鸟java培训：数据挖掘是什么意思

数据挖掘（英语：Datamining），又译为资料探勘、数据采矿。
它是数据库知识发现（英语：Knowledge-DiscoveryinDatabases，简称：KDD)中的一个步骤。
数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
山东IT培训http://www.kmbdqn.cn/发现数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索轮念、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方腊信困法来实现上述目标。
数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。
涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。
数据挖掘的定义是从海量数据中找到有意义的模式或知识。
大数据（bigdata），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法坦含（抽样调查）这样的捷径，而采用所有数据进行分析处理。
大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。

F. 数据挖掘算法工程师岗位职责

数据挖掘算法工程师岗位职责

在现在的社会生活中，岗位职责使用的频率越来越高，制定岗位职责可以最大限度地实现劳动用工的科学配置。一般岗位职责是怎么制定的呢？下面是我收集整理的数据挖掘算法工程师岗位职责，仅供参考，希望能够帮助到大家。

数据挖掘算法工程师岗位职责1

岗位职责：

负责团队现有算法的优化，代码实现以及移植

负责算法计算性能优化，并推动其上线应用

纯搏基于大规模用户数据，以效果为目标，建立并优化系统的基础算法和策略

应用机器学习等尖端技术，针对海量信息建模，挖掘潜在价值跟踪新技术发展，并将其应用于产品中；

跟踪新技术发展，并将其应用于产品中

协助其它技术人员解决业务及技术问题

任职资格：

熟练使用Java、python、scala语言（至少一门），熟悉面向对象思想和设计模式

具备一年以上机器学习理论、算法的研究和实践经验

擅长大规模分布式毕岁系统。海量数据处理。实时分析等方面的算法设计。优化

熟悉Hadoop、spark等大数据处理框架

具备分布式相关项目研发经验（如分布式存储/分布式计算/高性能并行计算/分布式cache等）

熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，并具备多年的'实际工作经验

对数据结构和算法设计有深刻的理解

具有良好的分析问题和解决问题的能力，有一定数学功底，能针对实际问题进行数学建模

良好的逻辑思维能力，和数据敏感度，能能够从海量数据中发现有价值的规律

优秀的分析和解决问题的能力，对挑战性问题充满激情

手裤睁良好的团队合作精神，较强的沟通能力

数据挖掘算法工程师岗位职责2

1、通过海量数据挖掘、机器学习等方法，构建用户画像、个性化推荐、销量预测、风险控制等系统

2、参与数据挖掘项目的设计、实现、算法调研、优化

3、用户分析、理解及建模，持续提升用户产品体验

4、调研并促进数据挖掘在公司多个业务领域的应用

任职资格：

1、熟悉Java、Scala或Python编程语言，有Java多线程、AkkaActor编程经历者优先。

2、熟悉hadoop、Spark、Redis、ES以及数据可视化等方面者优先

3、拥有基于MapRece的分布式编程思想，熟悉常用的机器学习算法，如：决策树、SVM、聚类、回归、贝叶斯、神经网络。且有上述算法的分布式实现与优化经验者优先

4、熟悉大规模分布式系统理论，研读过mllib/mahout/H20/TensoFlow等源码，在项目中将分布式算法应用到业务当中者优先。

5、较强的英文文献阅读理解能力，相关文档编制能力

数据挖掘算法工程师岗位职责3

工作职责：

1、运用数据挖掘和机器学习方法和技术，深入挖掘和分析海量商业数据

2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等

3、运用数据挖掘/统计学习的理论和方法，深入挖掘和分析用户行为，建设用户画像

4、从系统应用的角度，利用数据挖掘/统计学习的理论和方法解决实际问题

任职要求

—计算机、数学，统计学或人工智能等相关专业硕士以上学历，5—10年以上或相关工作经历

—精通1—2种编程语言（Python或Java），熟练掌握常用数据结构和算法，具备比较强的实战开发能力，能带领团队共同进步。

—具有统计或数据挖掘背景，并对机器学习算法和理论有较深入的研究

—熟悉数据挖掘相关算法（决策树、SVM、聚类、逻辑回归、贝叶斯）

—具有良好的学习能力、时间和流程意识、沟通能力

—熟悉Spark或hadoop生态分布式计算框架

—优秀的沟通能力，有创新精神，乐于接受挑战，能承受工作压力

—有互联网，央企，政务，金融等领域大规模数据挖掘经验者优先

G. 数据挖掘工程师需要掌握Java到什么程度

对 Java 虚拟机、 Java 并发要有比较深入研究和应用，熟练掌握 Hadoop、 HBase、 Hive、 Kafka、 Storm、 Spark工具，会用 Linux，了解 Scala。如果设计到更高阶的应用，可能就需要会用 Python、 R 语言并且精通算法和数据结构了。

Java熟练的人一般可以负责客户端APP产品中服务器后端的工程设计，架构设计和开发工作，研究业界内的新技术及其应用，解决创新研发中的关键问题和技术难点，依据项目任务计划及时完成软件编码和单元测试项目，按照开发流程编写队友模块的设计文档。与产品经理、测试工程师、其他团队沟通协作，确保产品研发工作的质量和速度，协调或指导团队成员和其它开发人员的工作。熟悉设计模式，熟练掌握面向对象编程和事件驱动编程风格。

关于数据挖掘工程师的课程推荐CDA数据分析师的相关课程，课程主要培养学员硬性的数据挖掘理论与Python数据挖掘算法技能的同时，全方位提升学员的数据洞察力。课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。点击预约免费试听课。

H. 给师弟师妹们学习数据挖掘的一些建议

给师弟师妹们学习数据挖掘的一些建议
看着刚进实验室的师弟师妹们的迷茫，虽然也与他们进行过一些零散的交谈，但是都不够系统。因此，根据自己的经历给出学习数据挖掘的一些建议，大家可以根据自身的情况，具体问题具体分析，作为参考。希望在上一届的基础上，走的更深，走的更远。
一. 读研与数据挖掘基础
首先介绍一下大家都比较关心的几个问题，包括我们组的研究方向是什么，论文相关问题，大数据与工作相关问题，上海户口问题几个方面。
1. 我们组的研究方向是什么
我们组大的研究方向是数据挖掘，论文的研究方向是推荐算法。要注意大的研究方向，论文的研究方向与工作方向的区别和联系。
2. 论文相关问题
读研究生免不了会思考一个问题，读研的意义是什么？我自己认为读研的最大意义是训练自己系统化的严谨的分析思维能力。在导师给定论文研究方向后，如何确立更细的研究方向，如何检索资料，如何阅读英文论文，如何提出自己的创新点，如何做实验，如何写论文，如何修改论文，如何投稿，如何退修，如果是国际会议，还要去做英文口头报告，与同行交流等，这些问题都是需要自己去思考的。
3. 大数据与工作相关问题
数据挖掘属于大数据专业吗？当然属于。现在大数据找工作相对还是比较理想的。关键是要学习哪些课程呢？以前给大家推荐了很多的书籍，但是效果却恰恰相反，因为实在太多了根本看不完，更不知阅读书籍的顺序，浅尝辄止，最后一本书也没有看完，研究生就结束了。
（1）最低保障书籍
无论将来做什么，熟练掌握一门编程语言，一个数据库，数据结构，算法都是必备的。
《高性能MySQL》
《数据结构与算法分析：Java语言描述》
《算法》：http://book.douban.com/subject/19952400/
（2）Python与机器学习
《集体智慧编程》
《社交网站的数据挖掘与分析》
《数据挖掘：概念与技术》
Python官方文档：https://www.python.org/
Scikit-Learn官方文档：http://scikit-learn.org/stable/
（3）Java相关书籍
《Java开发实战经典》
《Java Web开发实战经典》
《Java虚拟机规范》
Java SE：http://docs.oracle.com/javase/8/docs/api/
Java EE：http://docs.oracle.com/javaee/6/api/
（4）Hadoop与Spark书籍
《大数据日知录：架构与算法》
《Hadoop权威指南》
《大数据Spark企业级实战》
《Scala编程》
Hadoop官方网站：http://spark.apache.org/
Spark官方网站：http://spark.apache.org/
Scala官方网站：http://www.scala-lang.org/
说明：认准目标，耐住性子，一步一步往前走。要把上面推荐的书籍硬着头皮读完，数据挖掘基本也就算是入门了。
4. 上海户口问题
上海户口属于积分制，如果想要在校期间就拿到，那么唯一的方式就是参数每年的研究生数据建模比赛，并且获奖。获奖比例还是很高的。其实，好好学习Python，买本数学建模的书籍看完，看几篇近些年来的获奖论文，比赛时硬着头皮钻研一道题目并且写好论文，基本上都可以获奖。
二. 数据挖掘进阶
数据挖掘涉及多个方向，但是通常从数学统计，数据库和数据仓库，机器学习三个方向来进行研究。当我想学习一个方向的时候，最希望做的事情就是让别人给我列出一个书单。因为我也会给你们列出一个书单，让你们慢慢研究吧。
1. 数学统计
（1）理论数学：复变函数，实变函数，泛函分析，拓扑学，积分变换，微分流形，常微分方程，偏微分方程等。
（2）应用数学：离散数学（集合，逻辑，组合，代数，图论，数论），具体数学，张量分析，数值计算，矩阵论，逼近论，运筹学，凸优化，小波变换，时间序列分析等。
（3）概率：概率论，测度论，随机过程等。
（4）统计：统计学，多元统计，贝叶斯统计，统计模拟，非参数统计，参数统计等。
2. 数据库和数据仓库
《数据库系统概念》
《数据库系统实现》
《数据仓库》
《分布式系统：概念与设计》
3. 机器学习
通信原理；数据挖掘；机器学习；统计学习；自然语言处理；信息检索；模式识别；人工智能；图形图像；机器视觉；语音识别；机器人学等。（这方面的经典书籍都可以看看，后面慢慢补充）
4. 其它书籍
（1）Linux
（2）网络原理，编译原理，组成原理，
（3）JVM
（4）UML
（5）软件工程
（6）设计模式
（7）云计算与Docker
（8）并行计算
（9）需求分析
三. 学习与方法
作为一名软件工程师，需要熟练掌握的工具，如下所示：
（1）博客
除了学习之外，更要思考和总结，把还没有忘却的记忆缓存序列化成为文字，记录在博客中。
（2）语言
大数据常用的语言包括Java，Scala，Python。如果一定要选择精通一门语言，自己选择Scala，同时深度学习JVM。（3）开发工具
自己选择IntelliJ IDEA用于Java和Scala的开发，Eclipse用于Python的开发。
（4）GitHub
每天都要坚持编程，主动参与开源项目。
（5）Linux
工作常用的是Ubuntu 12.04 LTS。
由于时间原因，上面总结的还比较粗糙，算是第一个版本吧，后面还会继续深度总结和完善。

I. 关于java新闻网站的算法

问:新闻网站，如新浪网站，比如说国际足球频道，每天会有跟新。请问这块在代码设计的地方，是从数据库中读取5条最新的（按照日期）还是说做一个程序由编辑强制置顶?
答:是从数据库中读取5条最新的（按照日期）

问:如果是论坛，需要把点击最高的新闻自动排到前面，这个怎么处理，需要用到servletcontext吗 ?
答:读取点击最高的新闻记录(你想读取几条就几条),然后放到网页上去,就怎么回事.......跟你平时放其他数据没什么区别,都是根据条件取数据而已.

J. 大数据工程都要学什么

当前大数据应用尚处于初级阶段，根据大数枣携没据分析预测未来、指导实践的深层次应用将成为发展重点。各大互联网公司都在囤积大数据处理人才，从业人员的薪资待遇也很不错。

这里介绍一下大数据要学习和掌握的知识与技能：

①java：一门面向对象的计算机编程语言，具有功能强大和简单易用两个特征凳纳。

②spark：专为大规模数据处理而设计的快速通用的计算引擎。

③SSM：常作为数据源较简单的web项目的框架。

④Hadoop：分布式计算和存储的框架，需要有java语言基础。

⑤spring cloud：一系列框架的有序集合，他巧妙地简化了分布式系统基础设施的开发。

⑤python：一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

互联网行业目前还是最热门的行业之一，学习隐档IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。

想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，能够在校期间取得大专或本科学历，中博软件学院、南京课工场、南京北大青鸟等开设相关专业的学校都是不错的，建议实地考察对比一下。

祝你学有所成，望采纳。