使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网 页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内 容，cURL 是一个功能强大的PHP库。

PHP中的CURL函数库（Client URL Library Function）

curl_close // 关闭一个curl会话
curl_copy_handle // 拷贝一个curl连接资源的所有内容和参数
curl_errno // 返回一个包含当前会话错误信息的数字编号
curl_error // 返回一个包含当前会话错误信息的字符串
curl_exec // 执行一个curl会话
curl_getinfo // 获取一个curl连接资源句柄的信息
curl_init // 初始化一个curl会话
curl_multi_add_handle // 向curl批处理会话中添加单独的curl句柄资源
curl_multi_close // 关闭一个批处理句柄资源
curl_multi_exec // 解析一个curl批处理句柄
curl_multi_getcontent // 返回获取的输出的文本流
curl_multi_info_read // 获取当前解析的curl的相关传输信息
curl_multi_init // 初始化一个curl批处理句柄资源
curl_multi_remove_handle // 移除curl批处理句柄资源中的某个句柄资源
curl_multi_select // Get all the sockets associated with the cURL extension, which can then be "selected"
curl_setopt_array // 以数组的形式为一个curl设置会话参数
curl_setopt // 为一个curl设置会话参数
curl_version // 获取curl相关的版本信息
curl_init() // 函数的作用初始化一个curl会话，curl_init()函数唯一的一个参数是可选的，表示一个url地址。
curl_exec() // 函数的作用是执行一个curl会话，唯一的参数是curl_init()函数返回的句柄。
curl_close() // 函数的作用是关闭一个curl会话，唯一的参数是curl_init()函数返回的句柄。

CURL常用设置－涉及超时相关

curl_easy_setopt( curl, CURLOPT_VERBOSE, 1L ); //在屏幕打印请求连接过程和返回http数据
curl_easy_setopt( curl, CURLOPT_TIMEOUT, 10 );//接收数据时超时设置，如果10秒内数据未接收完，直接退出
curl_easy_setopt(curl, CURLOPT_AUTOREFERER, 1); // 以下3个为重定向设置
curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1); //返回的头部中有Location(一般直接请求的url没找到)，则继续请求Location对应的数据
curl_easy_setopt(curl, CURLOPT_MAXREDIRS, 1);//查找次数，防止查找太深
curl_easy_setopt( curl, CURLOPT_CONNECTTIMEOUT, 3 );//连接超时，这个数值如果设置太短可能导致数据请求不到就断开了

1、基本例子

// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.cmx8.cn');
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL，请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($data);

2、POST数据
       sendSMS.php，其可以接受两个表单域，一个是电话号码，一个是短信内容。

$phoneNumber　=　'13812345678';
$message　=　'This　message　was　generated　by　curl　and　php';
$curlPost　=　'pNUMBER='　.　urlencode($phoneNumber)　.　'&MESSAGE='　.　urlencode($message)　.　'&SUBMIT=Send';
$ch　=　curl_init();
curl_setopt($ch,　CURLOPT_URL,　'http://www.lxvoip.com/sendSMS.php');
curl_setopt($ch,　CURLOPT_HEADER,　1);
curl_setopt($ch,　CURLOPT_RETURNTRANSFER,　1);
curl_setopt($ch,　CURLOPT_POST,　1);
curl_setopt($ch,　CURLOPT_POSTFIELDS,　$curlPost);
$data　=　curl_exec();
curl_close($ch);

3、使用代理服务器

$ch　=　curl_init();
curl_setopt($ch,　CURLOPT_URL,　'http://www.cmx8.cn');
curl_setopt($ch,　CURLOPT_HEADER,　1);
curl_setopt($ch,　CURLOPT_RETURNTRANSFER,　1);
curl_setopt($ch,　CURLOPT_HTTPPROXYTUNNEL,　1);
curl_setopt($ch,　CURLOPT_PROXY,　'proxy.lxvoip.com:1080');
curl_setopt($ch,　CURLOPT_PROXYUSERPWD,　'user:password');
$data　=　curl_exec();
curl_close($ch);

4、模拟登录

       Curl 模拟登录 discuz 程序,适合DZ7.0,将username改成你的用户名,userpass改成你的密码就可以了.

!extension_loaded('curl') && die('The curl extension is not loaded.');
                                                                                                     
$discuz_url = 'http://www.lxvoip.com';//论坛地址
$login_url = $discuz_url .'/logging.php?action=login';//登录页地址
$get_url = $discuz_url .'/my.php?item=threads'; //我的帖子
                                                                                                     
$post_fields = array();
//以下两项不需要修改
$post_fields['loginfield'] = 'username';
$post_fields['loginsubmit'] = 'true';
//用户名和密码，必须填写
$post_fields['username'] = 'lxvoip';
$post_fields['password'] = '88888888';
//安全提问
$post_fields['questionid'] = 0;
$post_fields['answer'] = '';
//@todo验证码
$post_fields['seccodeverify'] = '';
                                                                                                     
//获取表单FORMHASH
$ch = curl_init($login_url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$contents = curl_exec($ch);
curl_close($ch);
preg_match('/<input\s*type="hidden"\s*name="formhash"\s*value="(.*?)"\s*\/>/i', $contents, $matches);
if(!empty($matches)) {
    $formhash = $matches[1];
} else {
    die('Not found the forumhash.');
}
                                                                                                     
//POST数据，获取COOKIE
$cookie_file = dirname(__FILE__) . '/cookie.txt';
//$cookie_file = tempnam('/tmp');
$ch = curl_init($login_url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_exec($ch);
curl_close($ch);
                                                                                                     
//带着上面得到的COOKIE获取需要登录后才能查看的页面内容
$ch = curl_init($get_url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
$contents = curl_exec($ch);
curl_close($ch);
                                                                                                     
var_dump($contents);

       以上代码可根据自己需求自行修改。

标签  技巧网页制作网站开发

按键盘左右方向键可快速浏览上一篇(←)、下一篇(→)