php对大文件进行读取操作的实现代码

PHP 2018-12-30

在PHP中，对于文件的读取时，最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数，简简单单的几行代码就能很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时，这些函数可能就显的力不从心,下面将从一个需求入手来说明对于读取大文件时，常用的操作方法。
需求有一个800M的日志文件,大约有500多万行，用PHP返回最后几行的内容。实现方法

1. 直接采用file函数来操作

注：由于 file函数是一次性将所有内容读入内存，而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足，使服务器出现宕机，所以默认情况下限制只能最大使用内存16M,这是通过PHP.ini里的memory_limit = 16M来进行设置，这个值如果设置-1，则内存使用量不受限制. 下面是一段用file来取出这具文件最后一行的代码.
整个代码执行完成耗时 116.9613 (s).
<div class="codetitle"><a style="CURSOR: pointer" data="38151" class="copybut" id="copybut38151" onclick="doCopy('code38151')"> 代码如下:

<div class="codebody" id="code38151">
$fp = fopen($file,"r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u",filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk) {
$seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
fseek($fp,($len + $seekSize) -1,SEEK_END);
$readData = fread($fp,$seekSize) . $readData; if (substr_count($readData,"\n") >= $num + 1) {
preg_match("!(.?\n){".($num)."}$!",$readData,$match);
$data = $match[0];
break;
}
}
fclose($fp);
echo $data;

我机器是2个G的内存，当按下F5运行时，系统直接变灰，差不多20分钟后才恢复过来，可见将这么大的文件全部直接读入内存，后果是多少严重，所以不在万不得以，memory_limit这东西不能调得太高，否则只有打电话给机房，让reset机器了.

2.直接调用linux的tail命令来显示最后几行

在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用PHP来调用tail命令,执行PHP 代码如下.
整个代码执行完成耗时 0.0034 (s)
<div class="codetitle"><a style="CURSOR: pointer" data="29865" class="copybut" id="copybut29865" onclick="doCopy('code29865')"> 代码如下:

<div class="codebody" id="code29865">
file = 'access.log';
$file = escapeshellarg($file); // 对命令行参数进行安全转义
$line = tail -n 1 $file;
echo $line;

3. 直接使用PHP的fseek来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.

方法一

首先通过fseek找到文件的最后一位EOF，然后找最后一行的起始位置，取这一行的数据，再找次一行的起始位置，再取这一行的位置，依次类推，直到找到了$num行。
实现代码如下
整个代码执行完成耗时 0.0095 (s)
<div class="codetitle"><a style="CURSOR: pointer" data="7838" class="copybut" id="copybut7838" onclick="doCopy('code7838')"> 代码如下:

<div class="codebody" id="code7838">
function tail($fp,$n,$base=5)
{
assert($n>0);
$pos = $n+1;
$lines = array();
while(count($lines)< =$n){
try{
fseek($fp,-$pos,SEEK_END);
} catch (Exception $e){
fseek(0);
break;
}
$pos *= $base;
while(!feof($fp)){
array_unshift($lines,fgets($fp));
}
}
return array_slice($lines,$n);
}
var_dump(tail(fopen("access.log","r+"),10));

方法二

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(\n)的个数来判断是否已经读完最后$num行数据.
实现代码如下
整个代码执行完成耗时 0.0009(s).
<div class="codetitle"><a style="CURSOR: pointer" data="47359" class="copybut" id="copybut47359" onclick="doCopy('code47359')"> 代码如下:<div class="codebody" id="code47359">
$fp = fopen($file,"r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0) {
while ($t != "\n") {
fseek($fp,$pos,SEEK_END);
$t = fgetc($fp);
$pos --;
}
$t = " ";
$data .= fgets($fp);
$line --;
}
fclose ($fp);
echo $data

方法三

整个代码执行完成耗时 0.0003(s)
<div class="codetitle"><a style="CURSOR: pointer" data="28797" class="copybut" id="copybut28797" onclick="doCopy('code28797')"> 代码如下:<div class="codebody" id="code28797">
ini_set('memory_limit','-1');
$file = 'access.log';
$data = file($file);
$line = $data[count($data)-1];
echo $line;

大文件读取操作

相关文章

vue+thinkphp5实现微信扫码支付(NATIVE支付)

统一支付是JSAPI/NATIVE/APP各种支付场景下生成支付订单，返...

uniapp+thinkphp5实现微信扫码支付(APP支付)

统一支付是JSAPI/NATIVE/APP各种支付场景下生成支付订单，返...

uniapp+thinkphp5实现微信登录

前言之前做了微信登录，所以总结一下微信授权登录并获取用户...

【PHP】关于fastadmin框架中使用with进行连表查询时setEagerlyType字段的理解

FastAdmin是我第一个接触的后台管理系统框架。FastAdmin是一...

【workerman】uniapp+thinkPHP5使用GatewayWorker实现实时通讯

之前公司需要一个内部的通讯软件，就叫我做一个。通讯软件嘛...

uniapp+thinkphp5实现微信支付(JSAPI支付)

统一支付是JSAPI/NATIVE/APP各种支付场景下生成支付订单，返...