php读大文件

‘壹’ php如何读取CSV大文件并且将其导入数据库示例

思路：

读取csv文件，每读取一行数据，就插入数据库

示例

文件夹结构

/
file.csv//csv大文件，这里只模拟三行数据，不考虑运行效率（PS：csv文件格式很简单，文件一般较小，解析很快，运行效率的瓶颈主要在写入数据库操作）
index.php//php文件

file.csv

singi,20
lily,19
daming,23

index.php

/**
*读取csv文件，每读取一行数据，就插入数据库
*/

//获取数据库实例
$dsn='mysql:dbname=test;host=127.0.0.1';
$user='root';
$password='';
try{
$db=newPDO($dsn,$user,$password);
}catch(PDOException$e){
echo'Connectionfailed:'.$e->getMessage();
}

//读取file.csv文件
if(($handle=fopen("file.csv","r"))!==FALSE){
while(($row=fgetcsv($handle,1000,","))!==FALSE){
//写入数据库
$sth=$db->prepare('insertintotestsetname=:name,age=:age');
$sth->bindParam(':name',$row[0],PDO::PARAM_STR,255);
$sth->bindParam(':age',$row[1],PDO::PARAM_INT);
$sth->execute();
}
fclose($handle);
}

数据表

CREATETABLE`test`(
	`id`INT(10)UNSIGNEDNOTNULLAUTO_INCREMENT,
	`name`VARCHAR(255)NULLDEFAULT''COLLATE'utf8mb4_bin',
	`age`INT(10)NULLDEFAULT'0',
	PRIMARYKEY(`id`)
)
COLLATE='utf8mb4_bin'
ENGINE=InnoDB;

运行结束后，数据库中会插入csv中的三行数据

‘贰’ php 使用file_get_contents读取大文件的方法

当我们遇到文本文件体积很大时，比如超过几十M甚至几百M几G的大文件，用记事本或者其它编辑器打开往往不能成功，因为他们都需要把文件内容全部放到内存里面，这时就会发生内存溢出而打开错误，遇到这种情况我们可以使用PHP的文件读取函数file_get_contents()进行分段读取。
函数说明
string
file_get_contents
(
string
$filename
[,
bool
$use_include_path
[,
resource
$context
[,
int
$offset
[,
int
$maxlen
]]]]
)
和
file()
一样，只除了
file_get_contents()
把文件读入一个字符串。将在参数
offset
所指定的位置开始读取长度为
maxlen
的内容。如果失败，file_get_contents()
将返回
FALSE。
file_get_contents()
函数是用来将文件的内容读入到一个字符串中的首选方法。如果操作系统支持还会使用内存映射技术来增强性能。
应用：
复制代码
代码如下:
$str
=
$content=file_get_contents("2.sql",FALSE,NULL,1024*1024,1024);
echo
$str;
如果针对较小文件只是希望分段读取并以此读完可以使用fread()函数
复制代码
代码如下:
$fp=fopen('2.sql','r');
while
(!feof($fp)){
$str.=fread($fp,
filesize
($filename)/10);//每次读出文件10分之1
//进行处理
}
echo
$str;