PHP的cURL庫有效地抓網頁的技巧
- php語言
- 關注:1.13W次
PHP獨特的語法混合了C、Java、Perl以及PHP自創的語法。它可以比CGI或者Perl更快速地執行動態網頁。用PHP做出的動態頁面與其他的程式設計語言相比,PHP是將程式嵌入到HTML文件中去執行,執行效率比完全生成HTML標記的CGI要高許多;PHP還可以執行編譯後代碼,編譯可以達到加密和優化程式碼執行,使程式碼執行更快。以下是小編為大家搜尋整理PHP的cURL庫有效地抓網頁,希望能給大家帶來幫助!更多精彩內容請及時關注我們應屆畢業生考試網!
啟用 cURL 設定
首先,我們得先要確定我們的PHP是否開啟了這個庫,你可以通過使用php_info()函式來得到這一資訊。
phpinfo();
?>
如果你可以在網頁上看到下面的輸出,那麼表示cURL庫已被開啟。
如果你看到的話,那麼你需要設定你的`PHP並開啟這個庫。如果你是在Windows平臺下,那麼非常簡單,你需要改一改你的檔案的設定,找到php_,並取消前面的分號註釋就行了。如下所示:
//取消下在的註釋
extension=php_
如果你是在Linux下面,那麼,你需要重新編譯你的PHP了,編輯時,你需要開啟編譯引數——在configure命令上加上“–with-curl” 引數。
一個小示例
如果一切就緒,下面是一個小例程:
// 初始化一個 cURL 物件
$curl = curl_init();
// 設定你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, '');
// 設定header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 設定cURL 引數,要求結果儲存到字串中還是輸出到螢幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 執行cURL,請求網頁
$data = curl_exec($curl);
// 關閉URL請求
curl_close($curl);
// 顯示獲得的資料
var_dump($data);
?>
如何POST資料
上面是抓取網頁的程式碼,下面則是向某個網頁POST資料。假設我們有一個處理表單的網址,其可以接受兩個表單域,一個是電話號碼,一個是簡訊內容。
$phoneNumber = '13912345678';
$message = 'This message was generated by curl and php';
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();curl_close($ch);
?>
從上面的程式我們可以看到,使用CURLOPT_POST設定HTTP協議的POST方法,而不是GET方法,然後以CURLOPT_POSTFIELDS設定POST的資料。
關於代理伺服器
下面是一個如何使用代理伺服器的示例。請注意其中高亮的程式碼,程式碼很簡單,我就不用多說了。
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, '');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();curl_close($ch);
?>
關於SSL和Cookie
關於SSL也就是HTTPS協議,你只需要把CURLOPT_URL連線中的http://變成https://就可以了。當然,還有一個引數叫CURLOPT_SSL_VERIFYHOST可以設定為驗證站點。
關於Cookie,你需要了解下面三個引數:
CURLOPT_COOKIE,在當面的會話中設定一個cookie
CURLOPT_COOKIEJAR,當會話結束的時候儲存一個Cookie
CURLOPT_COOKIEFILE,Cookie的檔案。
HTTP伺服器認證
最後,我們來看一看HTTP伺服器認證的情況。
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')
$data = curl_exec();
curl_close($ch);
?>
- 文章版權屬於文章作者所有,轉載請註明 https://xuezhezhai.com/zh-tw/jsj/php/ggm5qj.html