php大数据导入

Ⅰ 怎么用phpadmin导入数据库

1.打开任意浏览器，在地址栏中输入：“localhost/phpmyadmin”并点击“Enter”回车键进入下一步。（如果页面打不开，检查一下电脑的Apache服务器和MySQL数据库是否已经开启）

2.在PhpMyAdmin管理界面中，找到“数据库”字样按钮并点击进入下一步

3.在界面的“新建数据库”下方的方框中输入自己需要创建的数据库名称，数据库的编码选择“utf8_general_ci”这一栏，并点击页面后方的“创建”按钮完成新数据库的建立。

4.在PhpMyAdmin界面左边栏的数据库列表中，找到自己刚才创建的数据库名称，点击进入界面，在右方的顶部菜单栏中找到“导入”按钮并点击，然后找到页面中的“选择”按钮点击进入下一步。

5.此时已经进入数据库文件的选择窗口，找到自己将要导入的数据库文件，然后点击窗口右下方的“打开”按钮进入下一步。

6.此时数据库会自动加载进入PhpMyAdmin中，找到页面中的“执行”按钮点击完成数据库的导入操作。

遇到导入过大文件时，首先检查php.ini 配置文件中的以下三个地方，upload_max_filesize, memory_limit 和post_max_size，并且推荐修改的值要稍大于导入的巨大sql数据库文件；依照这个提示，我修改了以上三个在php.ini中的值以后，重启 了php环境，再次导入时，虽然phpMyAdmin还是显示导入最大限制：20,480 KB，但巨大的80M数据库文件已经被成功的导入了。

Ⅱ PHP Excel大批量导入崩溃怎么办

项目需要批量导入excel文件，如果里面有重复的数据要怎么处理呢？每插入一次数据都要到数据库查询么？
回复内容：
项目需要批量导入excel文件，如果里面有重复的数据要怎么处理呢？每插入一次数据都要到数据库查询么？

1、如果里面有重复的数据要怎么处理呢？

1

<code>可以先判断数据库是否有该数据。</code>

2、每插入一次数据都要到数据库查询么

1

<code>是的。</code>

先去重得到没有重复的数据，再批量插入数据库。也可以尝试MYSQL中的insert ignore into或 replace into

如果查询比较慢，对不能重复的字段加唯一键，然后用INSERT IGNORE INTO
php批量导入数据出错
我现在要做的是，把一个产品数据从EXCEL中导入到PHP的MYSQL中，导入的过程中，总是会提示“Allowed memory size of 167772160 bytes exhausted (tried to allocate 689919 bytes) in D:\wamp\www\Company\proct\admin\uploadOrder.php on line 167”这个错误，然后我分成第100条导入时，就不会提示这个错误，这个是不是内存溢出，有没有好的解决方法呢？

------解决方案--------------------
php.ini中讲memory_limit选项设置大一点，然后重启apache或nginx就行了
------解决方案--------------------
文件太大了，这样的话可以用source命令直接导入！
------解决方案--------------------

Ⅲ 如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？

方法：

在phpMyAdmin的目录下，找到根目录的config.inc.php文件，

打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，

把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，

登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，

选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，

最后点击“执行”，即可导入成功。

注意事项

如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

Ⅳ 怎么把php源码数据库导入数据库

可以参考：
一般是单独导入的，
在mysql上，要用mysql_import工具 把文本导入
sqlserver上可以用数据库备份工具恢复导入， 也可以使用其他数据库引擎通过ado到。
不需要源码，但是需要了解php源码所需要的库表结构。一般php源码里好多都有建立空库结构的源码。

Ⅳ php如何读取CSV大文件并且将其导入数据库示例

思路：

读取csv文件，每读取一行数据，就插入数据库

示例

文件夹结构

/
file.csv//csv大文件，这里只模拟三行数据，不考虑运行效率（PS：csv文件格式很简单，文件一般较小，解析很快，运行效率的瓶颈主要在写入数据库操作）
index.php//php文件

file.csv

singi,20
lily,19
daming,23

index.php

/**
*读取csv文件，每读取一行数据，就插入数据库
*/

//获取数据库实例
$dsn='mysql:dbname=test;host=127.0.0.1';
$user='root';
$password='';
try{
$db=newPDO($dsn,$user,$password);
}catch(PDOException$e){
echo'Connectionfailed:'.$e->getMessage();
}

//读取file.csv文件
if(($handle=fopen("file.csv","r"))!==FALSE){
while(($row=fgetcsv($handle,1000,","))!==FALSE){
//写入数据库
$sth=$db->prepare('insertintotestsetname=:name,age=:age');
$sth->bindParam(':name',$row[0],PDO::PARAM_STR,255);
$sth->bindParam(':age',$row[1],PDO::PARAM_INT);
$sth->execute();
}
fclose($handle);
}

数据表

CREATETABLE`test`(
	`id`INT(10)UNSIGNEDNOTNULLAUTO_INCREMENT,
	`name`VARCHAR(255)NULLDEFAULT''COLLATE'utf8mb4_bin',
	`age`INT(10)NULLDEFAULT'0',
	PRIMARYKEY(`id`)
)
COLLATE='utf8mb4_bin'
ENGINE=InnoDB;

运行结束后，数据库中会插入csv中的三行数据

Ⅵ 求关于php excel导入大数据到mysql的解决办法

下载 PHPExcel

require_once('./PHPExcel/IOFactory.php');
$filePath='D:/xxx.xlsx';//excel文件名
$objReader=newPHPExcel_Reader_Excel2007();//具体查看（Documentation/Examples/Reader/exampleReader01.php）
$objPHPExcel=$objReader->load($filePath);
$sheetData=$objPHPExcel->getActiveSheet()->toArray(null,true,true,true);
$insql='insertinto表名(x,x,x)valeus';
//遍历数组$sheetData
//如果有标题先删除unset($sheetData[1]);
foreach($sheetDataas$k=>$data){
$insql.='('.$data['A'].','.$data['B'].','.$data['C'].'),';
//一次插入100条数据减少数据库压力
if(($k+1/100)==0){
$insql=rtrim($insql,',').';';//将最后的逗号替换成分好
//插入数据库并且重置字符串$insql
//或者保存到文件中利用source命令插入数据库
}
}

Ⅶ php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');
$pdo
=
new
PDO("mysql:host=localhost;dbname=test","root","123456");
$sql
=
"insert
into
test(name,age,state,created_time)
values";
for($i=0;
$i<100000;
$i++){
$sql
.="('zhangsan',21,1,'2015-09-17')";
}
$sql
=
substr($sql,0,strlen($sql)-1);
var_mp($sql);
if($pdo
->
exec($sql)){
echo
"插入成功！";
echo
$pdo
->
lastinsertid();
}
试试吧。10万条1分钟多，我觉得还行

Ⅷ php怎么把数据导入数据库

需要PHP基础知识和数据库基础知识。

以SQL为例。使用PHP MySQL 函数可以编辑数据库。

mysql_connect() 函数打开MySQL 连接。举例

<?php
$con = mysql_connect("localhost","mysql_user","mysql_pwd");
if (!$con)
{
die('Could not connect: ' . mysql_error());
}// 一些代码...mysql_close($con);
?>

mysql_connect()三个参数分别是服务器名，连接账号，连接密码。

连接之后，可以使用mysql_select_db()设置要处理的数据库，后面则是用数据库语句处理数据。SQL语法简介网页链接

Ⅸ php+Mysql 大数据导入怎样提高效率

优化SQL插入语句；
比如循环一条一条插入，改成链接多个值进行插入。
将：
foreach($re as $it){
$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";
mysql_query($sql);
}
改为：
$sql="insert into table (id,name) values";
foreach($re as $it){
$str= "'".$it['id']."','".$it['name']."'";
}
$sql .= "(".$str."),";
$sql2 = substr($sql,0,-1);
mysql_query($sql);

打开mysql的配置文件，my.ini文件，并找到：max_allowed_packet项；

将值修改大一点，具体根据自己需要修改。比如这里修改为：1G。

重启mysql服务；

5
如果运行页面提示内存溢出，可将值设大一点。
Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)
步骤阅读
6
这样，面对千万数据导入的时候，比原来那种方法至少快好多倍。