php 实现批量查询url百度是否收录

 
功能:
 
从指定文件(sitemap.txt)中,提取url,查询百度是否收录,实时输出到界面上。
 
sitemap.txt 格式如下(一个url占一行):
 

php 实现批量查询url百度是否收录

 
执行结果:
 
 
php 实现批量查询url百度是否收录



代码:
 


set_time_limit(0);

function baidu_included($url){
$url='http://www.baidu.com/s?wd='.$url;

$curl=curl_init();
curl_setopt($curl,CURLOPT_URL,$url);
curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
$rs=curl_exec($curl);
curl_close($curl);

if(!strpos($rs,'没有找到')){
return 1;
} else {
return 0;
}

}

$file = fopen("./sitemap.txt", "r");

ob_start(); //打开输出缓冲区
ob_end_flush();
ob_implicit_flush(1); //立即输出

while(! feof($file))
{
unset($url);
unset($res);

echo str_repeat(" ",4096); //确保足够的字符,立即输出,Linux服务器中不需要这句
$url = str_replace(["\r\n", "\r", "\n"], '', fgets($file));

$res = baidu_included("$url");

if($res != 1) {
echo $url."
";
}

if(rand(0,9) == 6) sleep(1);

}

fclose($file);

?>

 
 

0 个评论

要回复文章请先登录注册