Ⅰ java如何快速处理大数据
文件读取:首先是一个文件上传,数据入库,10-200万条不等,这里主要考虑到一次性读取,JVM分配出来的栈内存不一定会够(个人对内存这一块还是处于一知半解的状态,所以比较谨慎,若诸位大神有好宽隐的认知,希望评论留下地址分享一下),是依行读取数据,设定一个批量值,当读取的数据达到一定量之后,执行批量入库操作,清空集合,再接着读取。
//读取文件内容
while((s = br.readLine())!=null){
//判断是否达到单次处理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//将读取到的内容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
数据处理:这里的思路也是将数据小化然后处理,这里使用了多线程,设定单个线程处理量,然后开启多个线程处理,这里需要考虑你的服务器的承载能力,如果线程开得太多了,处理不过数敏来,会出现蹦死的情况。慎毕厅例如200万数据,我开了20个线程,单个线程处理600条。
//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//当正在执行的线程数达到最大执行线程数的时候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查询一次
int c = threadPool.getActiveCount();//线程池中活动中的线程数量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代码是我对线程池的一个控制,控制服务器一直最大线程执行,Thread.sleep(1000);用while的时候,这个休眠最好不要去掉,去掉之后很影响执行效率
Ⅱ java 批量执行sql语句 mysql批量执行sql语句
public static List>> getData {
List>> data = new LinkedList>>;
data.add(SQLHelper.executeQuery("select * from a"));
data.add(SQLHelper.executeQuery("select * from b"));
data.add(SQLHelper.executeQuery("select * from c"));
data.add(SQLHelper.executeQuery("select * from d"));
return data;
}
publicintdeleteGoodsOne(Stringgoodid,intstatus){
inti=0;
Stringsql="";
conn=db.getConn;
try{
if(status==1||status==2){
sql="updategoodssetstatus=0wheregoodid=?";
//这里想增加updaterecordsetstatus=0wheregoodid=?
}else{
sql="updategoodssetstatus=1wheregoodid=?";
//这里想增加updaterecordsetstatus=0wheregoodid=?
}
//第一次执行逻辑判断埋绝sql
ps=conn.prepareStatement(sql);
ps.setString(1,goodid);
i=ps.executeUpdate;
//第二次执行更新record表的sql
sql='updaterecordsetstatus=0wheregoodid=?'
ps=conn.prepareStatement(sql);
ps.setString(1,goodid);
i=ps.executeUpdate;
}catch(SQLExceptione){
e.printStackTrace;
}finally{
db.closeDB(conn);
}
returni;
}
使用PreparedStatement的addBatch方法添加批量sql执行,然后用executeBatch来批量执行add进去的sql
Connection con=.............; //这里是取得Lian接代码,省略
PrepareStatment ps=null;
String sql1="select * from test1";
String sql2="update test1 set xxx=1 ";
ps=con.prepareStatement(sql1) ;
ps.executeQuery(sql1); //(执行第一GeSQL)
ps.close; //记住每执行一个语句记得关闭,否Ze会出现游标错误
ps=con.prepareStatement(sql2) ;
ps.executeUpdate(sql2);//(执Xing第二个SQL)
ps.close; //记住每执行一个语句记得关Bi,否则会出现游标错误
con.close; //关闭连接
以上代码纯手工敲,局兆有问题追问,Xi望能解决你的问题。
标签:作文经典 上一篇:效率的名言名句 高效率做事的名句名言 下一篇:摇色子豹子什么意思 摇色子飞是什么意思import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
public class xxxx {
public static void main(String[] args) {
Connection con = null ;
Statement stmt = null ;
try {
Class.forName(".mysql.jdbc.Driver"); //mysql为例 Bu一样的数据库所需的驱动包不一样 连接语Ju略有不同
con = DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/数据库名", "root", "密码");
stmt = con.createStatement;
String sql = "insert into info values ('用Hu', 'mima', 'piapiapia~')";
stmt.executeUpdate(sql);
} catch (ClassNotFoundException e) {
e.printStackTrace;
} catch (SQLException e) {
e.printStackTrace;
} finally {
try {
if(stmt != null) {
stmt.close;
stmt = null;
}
if (con != null) {
con.close;
con = null;
}
} catch (SQLException e) {
e.printStackTrace;
}
}
}
}
建表的时候有表确实会报错,这就看你Xiang怎么处理了。
你可以不作处Li,也就是直接用那个已经存在的表,这时SQL语句可以是这样的:create table if not exists TABLE_NAME。。
也可以把已经存在的表删掉,再Zhi行你的建表语句,这时你可以这样写:
drop table TABLE_NAME if exists;然后再
create table TABLE_NAME。。。
批了执行SQL最好的办法是采用事务Ji制。具体网络下Java事务,以下是抄来De简单例子。
publicintdelete(intsID){
dbc=newDataBaseConnection;
Connectioncon=dbc.getConnection;
try{
con.setAutomit(false);//更改JDBC事务的默Ren提交方式
dbc.executeUpdate("deletefrombylawwhereID="+sID);
dbc.executeUpdate("deletefrombylaw_contentwhereID="+sID);
dbc.executeUpdate("deletefrombylaw_affixwherebylawid="+sID);
conmit;//提交JDBCShi务
con.setAutomit(true);//恢复JDBC事务的默认提交方式
dbc.close;
return1;
}
catch(Exceptionexc){
con.rollBack;//回滚JDBC事务
exc.printStackTrace;
dbc.close;
return-1;
}
}
不过仔细看楼主的设计,没必要采用Duo条SQL。直接String拼成update XSB set XM='FF', ZF='rj' where XH ='就可以了
要兼容,还是分开语句吧。多写几行代Ma而已。
sql.append("create table tempTestTable(a char(4)); ");
sql.append("alter table tempTestTable add test " + columnType + "(50);");
既然都是自己处理De,两句合成一句,不更方便
sql.append("create table tempTestTable(a " + columnType + "(50) ");
columnType 还要看可能输入的情况
使用jdbc技术,首先导入连接数据Ku的jar包,声明加载的类名,获取连接,Jin行查询,如:
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection conn = DriverManager.getConnection("jdbc:oracle:thin:@localhost:1521:orcl", "scott", "tiger");
Statement sta = conn.createStatement;
ResultSet rs = sta.executeQuery("select * from tablename");
1、Connection conn = DriverManager.getConnection(URL,数据库登录Ming,数据库登录密码);//获得数据库连接。
2、Statement statement = con.createStatement; //访问数Ju库。
3、ResultSet resultSet = statement.executeQuery(sql);//执行SQL语句。
Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难Yi理解的多继承、指针等概念,因此JavaYu言具有功能强大和简单易用两个特征。
技术应用
1、Android应用
许多的 Android应用都是Java程序员开发者开Fa。虽然 Android运用了不同的JVM以及不同的封装方式,但是代码还是用Java语言所编写。相当一部分的手机中都支持JAVA游戏,这就使很多非编程人员都认识LiaoJAVA。
2、在金融业应Yong的服务器程序
Java在金Rong服务业的应用非常广泛,很多第三方交易系Tong、银行、金融机构都选择用Java开发,Yin为相对而言,Java较安全[39]。Da型跨国投资银行用Java来编写前台和后Tai的电子交易系统,结算和确认系统,数据处Li项目以及其他项目。
3、网Zhan
Java 在电子商务领域Yi及网站开发领域占据了一定的席位。开发人Yuan可以运用许多不同的框架来创建web项目,SpringMVC,Struts2.0Yi及frameworks。即使是简单的 servlet,jsp和以struts为Ji础的网站在 *** 项目中也经常被用到。
4、嵌入式领域
Java在嵌入式领域发展空间很大。在这个平Tai上,只需130KB就能够使用Java技Shu。
5、大数据技术
Hadoop以及其他大数据处理技术Hen多都是用Java,例如Apache的基YuJava的HBase和AccumuloYi及 ElasticSearchas。
6、高频交易的空间
Java平台提高了这个平台的特性和即Shi编译,他同时也能够像 C++ 一样传递Shu据。正是由于这个原因,Java成为的程Xu员编写交易平台的语言,因为虽然性能不比C++,但开发人员可以避开安全性,可移植Xing和可维护性等问题。
7、科Xue应用
Java在科学应用中Shi很好选择,包括自然语言处理。最主要的原Yin是因为Java比C++或者其他语言相对Qi安全性、便携性、可维护性以及其他高级语Yan的并发性更好。
标签:作文经典 上一篇:效率的名言名句 高效率做事的名句名言 下一篇:摇色子豹子什么意思 摇色子飞是什么意思
Ⅲ 怎么用java同时实现批量删除,批量修改
/*
怎么用java同时实现批量删除,批量修改?
*/
//1,可以利用循环批量来操作数组元素
int arr[] = new int[100];//定义一个数组,长度为100
//对该数组进行批量赋值
for (int i = 0; i < arr.length; i++) {
arr[i] = i;
}
//2,对于集合,可以使用removeALL方法进行批量删除
List<String> list = new ArrayList<String>();
list.add("1");
list.add("2");
list.add("3");
list.add("4");
list.add("5");
list.removeAll(list);
System.out.println(list);
//这上是java自带的一些方法
//3,JDBC
/**
* 对于数据库的操作,就需要用SQL语言来批量处理了;
* 比如:select *from EMP;
*
* 利用JDBC的一些方法,比如预处理命令,可以对数据库进行批量操作,
*/
Ⅳ java中怎么实现批量录入数据
批量数据进入数据库使用addBatch()和executeBatch()方法
PreparedStatement.addBatch();
......
PreparedStatement.executeBatch();
需要注意的是轿启中一次最多不要超过50条:
1.因为插入的时候数据库已经锁定,然而若是一次性插入太多会造成其他业务的等待。
2.会造成内存的溢出
举例:
PreparedStatementpst=(PreparedStatement)con.prepareStatement("insertinto*****values(?,'***')");
for(inti=0;i<10000;i++){
pst.setInt(1,i);
//把一个SQL命令加入命令列表
pst.addBatch();
}
//执行批量更新
pst.executeBatch();
//语句执行完毕,提交本事务
con.commit();
资料来源:CSDN论坛旁冲-原资论坛料链接如下
URLSRC:闭山http://bbs.csdn.net/topics/320048117
Ⅳ Java中怎样实现批量删除操作
本文是记录Java中实现批量删除操纵(Java对数据库进行事务处置),在开始之前先来看上面这样的一个页面图:
上面这张图片表现的是从数据库中查询出的出租信息,信息中进行了分页处置,然后每行的后面提供了一个复选按钮和对应的一个删除操纵,可以选中多个进行操纵,这里主要是进行删除操纵。在执行删除操纵之前先要选中对应的行信息,点击删除选中按钮进行删除。当进行多条信息删除的时候,需要使用java的事务处置机制对数据库进行删除,也就是说删除的时候如果选中的要删除的说有信息其中一条没有成功删除的话,那么就都不删除。
现在是在java中对数据库实现这一操纵,我们可看上面的代码,它实现了对数据库的批量删除操纵,代码如下:
public Connection con=null;
public PreparedStatement pstmt=null;
/**
* 失掉连接对象
*/
public void getConnection(){
String driver="com.mysql.jdbc.Driver";
String url="jdbc:mysql://localhost:3306/zufang?user=root&password=root&useUnicode=true&characterEncoding=GB2312";
try {
Class.forName(driver);
con=DriverManager.getConnection(url,"root","root");
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (SQLException e) {
e.printStackTrace();
}
}
/** * 批量删除信息表中的信息 * @param sql * @param param * @return */ public boolean updateBatchDel(String sql,String[] param){ boolean flag = false; getConnection(); try { con.setAutoCommit(false); pstmt = con.prepareStatement(sql); for(int i =0 ;i<param.length;i++){ pstmt.setString(1,param[i].trim()); pstmt.addBatch(); } pstmt.executeBatch(); //批量执行 con.commit();//提交事务 flag = true; } catch (SQLException e) { try { con.rollback(); //进行事务回滚 } catch (SQLException ex) { ex.printStackTrace(); } }finally { closeAll(null,pstmt,con); } return flag; }
当然上面是进行批量删除,如果我们只删除一条信息的话也可以使用独自的删除方法,即是:点击删除,当然上面的方法也是可以完成的,还是再看一下吧:
/**
* 删除某条求租表中的信息
* @param id 删除信息的id
* @return 如果删除成功,返回true;否则返回false
*/
public boolean delQiuZu(String id){
boolean flag=false;
String sql="delete from qiuzhu where id=?";
String[] param={id};
flag=bd.updateDate(sql, param);
return flag;
}
控制器servlet中的处置操纵代码如下:
package com.sxt.servlet;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.List;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import com.sxt.biz.ChuZuBiz;
import com.sxt.biz.PageBiz;
import com.sxt.biz.QiuZuBiz;
public class OutDateQiuzuServlet extends HttpServlet {
QiuZuBiz qzb=new QiuZuBiz();
PageBiz pb=new PageBiz();
int pagesize=10;
boolean flag=true;
public void doGet(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
request.setCharacterEncoding("gb2312");
response.setContentType("text/html;charset=gb2312");
int countpage=pb.getOutDatePageCountQiuzu(pagesize);
request.setAttribute("countpage", countpage);
String nowpage=request.getParameter("nowpage");
String id=request.getParameter("id");
PrintWriter out = response.getWriter();
String command = request.getParameter("command");
if ("del".equals(command)) {
String[] qiuzuIds = request.getParameterValues("selectFlag");
boolean flag = qzb.delQiuzuMany(qiuzuIds);
if(flag){
out.print("<script>alert('删除成功!');</script>");
}else{
out.print("<script>alert('删除失败!');</script>");
}
}
if(nowpage==null){
nowpage="1";
}
if(Integer.valueOf(nowpage)<=0){
nowpage="1";
}
if(Integer.valueOf(nowpage)>countpage){
nowpage=countpage+"";
}
if(id!=null){
flag=qzb.delQiuZu(id);
}
request.setAttribute("currentpage", nowpage);
List list=qzb.getOutDateQiuZuInfo(Integer.valueOf(nowpage), pagesize);
request.setAttribute("list1", list);
if(flag){
request.getRequestDispatcher("admin/OutDateQiuzu.jsp").forward(request, response);
}
}
public void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
doGet(request,response);
}
}
上面是对数据库的操纵代码,上面看一下页面中怎样实现的,代码如下:
每日一道理
灯,带有一种明亮的光,每当深夜来临,是它陪伴着你,如此默默无闻。它是平凡的,外表华丽与否,那都是一样的,珍珠点缀,水晶加饰的灯它只能用以装饰,来满足人们的虚荣心,比起这,普普通通的日光灯是幸运的,因为它照明的本性没有改变,如同生活中的一部分人平平凡凡却实实在在。
<%@ page language="java" import="java.util.*" pageEncoding="GB18030"%>
<%@ taglib uri="#" prefix="c" %>
<html>
<head>
<title>house</title>
<script type="text/javascript">
//删除用户控制
function deleteSelect() {
var select = document.getElementsByName("selectFlag");
var flag = false;
for (var i=0; i<select.length; i++) {
if (select[i].checked) {
flag = true;
break;
}
}
if (!flag) {
alert("请选择需要删除的过期求租信息!");
return;
}
if (window.confirm("确认要删除过期的求租信息吗?")) {
with (document.getElementById("userform")) {
action="OutDateQiuzuServlet?command=del";
method="post";
submit();
}
}
}
//全选/反选操纵
function checkAll(ifAll) {
var select = document.getElementsByName("selectFlag");
for(var i = 0;i<select.length;i++){
select[i].checked = ifAll.checked;
}
}
</script>
</head>
<link rel="stylesheet" href="./skin/css/lianjie.css" type="text/css" />
<body>
<form name="userform" action="ChuzuServlet" method="get">
<table width="1000" height="80" cellpadding="0" cellspacing="1" bgcolor="#CCCCCC">
<tr>
<td height="40" align="center" bgcolor="#F1F1F1"><font color="#FF0000"><b>已过期的求租信息</b></font></td>
</tr>
<tr>
<td align="left">
<input name="btnDelete" class="button1" type="button"
id="btnDelete" value="删除选中" onClick="deleteSelect()">
</td>
</tr>
</table>
<table width="1000" cellpadding="0" cellspacing="1" bgcolor="#CCCCCC" style="word-break:break-all;">
<tr align="center">
<td width="15%" height="25" bgcolor="#F1F1F1"><font size="3"><input type="checkbox" name="ifAll" title="全选/反选" onClick="checkAll(this)" checked="checked"/></font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">期望区域</font></td>
<td width="15%" bgcolor="#F1F1F1"><font size="3">装修水平</font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">房型</font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">面积(平米)</font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">价格(元)</font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">添加日期</font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">有效天数</font></td>
<td width="10%" bgcolor="#F1F1F1"><font size="3">残余天数</font></td>
</tr>
<c:choose>
<c:when test="${empty list1}">
<tr><td colspan="8" align="center"><font color="red">还没有过期的求租信息!</font></td></tr>
</c:when>
<c:otherwise>
<c:forEach var="qiuzu" items="${list1}" >
<tr>
<td height="25" align="center" bgcolor="#FFFFFF"><input type="checkbox" name="selectFlag" value="${qiuzu.id}" checked="checked"/></font>
<a href="javascript:if(confirm('确定要删除这条过期的求租信息吗?')){location.href='OutDateQiuzuServlet?id=${qiuzu.id}'}" style="COLOR: #0000ff;font-size:14px; TEXT-DECORATION:none;"><font size="2">删除</font></a></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.qwqy}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.zxcd}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.hx}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.jzmj}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.zj}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.addDate}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2">${qiuzu.yxts}</font></td>
<td align="center" bgcolor="#FFFFFF"><font size="2" color="red">${qiuzu.syts}</font></td>
</tr>
</c:forEach>
</c:otherwise>
</c:choose>
</table>
</p>
<table width="300" align="center" >
<tr>
<td align="center"><font size="2">共${countpage}页</font></td>
<td align="center"><font size="2">${currentpage}/${countpage}页</font></td>
<td align="center"><a href="OutDateQiuzuServlet?nowpage=${1}"><font size="2">首页</font></a></td>
<td align="center"><a href="OutDateQiuzuServlet?nowpage=${currentpage-1}"><font size="2">上一页</font></a></td>
<td align="center"><a href="OutDateQiuzuServlet?nowpage=${currentpage+1}"><font size="2">下一页</font></a></td>
<td align="center"><a href="OutDateQiuzuServlet?nowpage=${countpage}"><font size="2">尾页</font></a></td>
</tr>
</table>
</form>
</body>
</html>
Ⅵ java 如何批量插入数据
通过jdbc就可以执行批量插入了。
以下案例:
1、逐条执行10万神高次
2、分批执行将10万分成m批,每批n条,分多种分批方案来执行。
/**
* 批处理执行
*
* @param m 批次
* @param n 每批数量
* @throws Exception 异常时抛出
*/
public static void testInsertBatch(int m, int n) throws Exception {
init(); //初始化环境
Long start = System.currentTimeMillis();
for (int i = 0; i < m; i++) {
//从池中获取连接
Connection conn = myBroker.getConnection();
Statement stmt = conn.createStatement();
for (int k = 0; k < n; k++) {
String sql = "\n" +
"insert into testdb.tuser \n" +
"\t(name, \n" +
"\tremark, \n" +
"\tcreatetime, \n" +
"\tupdatetime\n" +
"\t)\n" +
"\tvalues\n" +
"\t('" + RandomToolkit.generateString(12) + "游渗尺', \n" +
"\t'" + RandomToolkit.generateString(24) + "', \n" +
"\tnow(), \n" +
"喊卜\tnow()\n" +
")";
//加入批处理
stmt.addBatch(sql);
}
stmt.executeBatch(); //执行批处理
stmt.close();
myBroker.freeConnection(conn); //连接归池
}
Long end = System.currentTimeMillis();
System.out.println("批量执行" + m + "*" + n + "=" + m * n + "条Insert操作,共耗时:" + (end - start) / 1000f + "秒!");
}