php实现递归抓取网页类实例
这篇文章主要介绍了php实现递归抓取网页类,实例分析了php递归操作及网页抓取的技巧,非常具有实用价值,需要的朋友可以参考下。
本文实例讲述了php实现递归抓取网页类的方法，分享给大家供大家参考，具体如下：
- <?php
- class crawler{
- private $_depth=5;
- private $_urls=array();
- function extract_links($url)
- {
- if(!$this->_started){
- $this->_started=1;
- $curr_depth=0;
- }else{
- $curr_depth++;
- }
- if($curr_depth<$this->_depth)
- {
- $data=file_get_contents($url);
- if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
- {
- foreach($urls12[0] as $k=>$v){
- $check=get_headers($v,1);
- if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
- $this->_urls[]=$v;
- $this->extract_links($v);
- }
- }
- }
- }
- return $this->_urls;
- }
- }
- ?>