php正则抓取整个域名下的图片代码,PHP代码库,德仔网

代码语言
代码分类
【PHP】 php正则抓取整个域名下的图片
作者:jUnion / 发布于2013/9/13/ 703

	代码出处：jUnion

	适用平台：Windows， Linux(Ubuntu)，php-5.2.5+，Apache

	功能：抓取整个站点的图片，暂无借助php的curl插件开发， 后期完善

	配置：config目录下
	 domain_name：域名（默认：bizhibar.com）
	 request_site：网站网址（默认：http://www.bizhibar.com/）
	 request_url：从网站的哪个页面开始（默认：http://www.bizhibar.com/）
	 accept_type: 图片类型（默认：gif, bmp, png, ico, jpg, jpeg）
	 save_path：图片保存路径（默认：savefiles/）
	 partition_name：图片保存目录名称前缀（默认：img_）
	 dir_file_limit: 每个目录容许多少个文件（默认：100）
	 serialize_img_size: 当读取了多少个图片地址才缓存到cache目录下的accompImg文件当中，下次继续抓取的时候会忽略这些地址。（默认：30）
	 serialize_url_size：与serialize_url_size一样，已读取多少个链接地址才缓存到cache目录
	下的overURL，下次继续抓取的时候忽略这些地址。（默认：10）

	

	index.php入口程序

	<?php
	set_time_limit(0);
	require dirname(__FILE__).DIRECTORY_SEPARATOR.'include'.DIRECTORY_SEPARATOR.'Capture.const.php';
	require __Home__.'include'.__Os__.'Capture.class.php';

	$_cfg = array(
	'site' => __Home__.'config'.__Os__.'capture.site.php',
	'preg' => __Home__.'config'.__Os__.'capture.preg.php',
	'accompImg' => __Home__.'cache'.__Os__.'accompImg',
	'overURL' => __Home__.'cache'.__Os__.'overURL'
	);

	$_parse = new Capture( $_cfg );
	$_parse->parseQuestUrl();

	?>

	

	

	

	capture.class.php主程序

	

	<?php
	/**
	* The main class
	* @author pankai<530911044@qq.com>
	* @date 2013-08-10
	*/
	class Capture {
	private static $_Config = array();
	
	private static $_CapSite = NULL;
	private static $_CapPreg = NULL;
	
	private static $_overURL = array();
	
	private $_mark = FALSE;
	private static $_markTime = 1;
	/**
	 * initialize the main class: Capture
	 * @param $_cfg array
	 */
	public function __construct( &$_cfg ) {
	 self::$_Config = &$_cfg;
	
	 self::$_CapSite = require $_cfg['site'];
	 self::$_CapPreg = require $_cfg['preg'];
	
	 foreach( self::$_CapPreg as $_key => $_value ) {
	 self::$_CapPreg[$_key] = str_replace( '_request_site', self::$_CapSite['request_site'], $_value );
	 }
	
	 self::import( 'file.OperateFile' );
	 if( file_exists( $_cfg['overURL'] ) && filesize( $_cfg['overURL'] ) > 0 ) {
	 $_contents = OperateFile::readText( $_cfg['overURL'], filesize( $_cfg['overURL'] ) );
	 self::$_overURL = unserialize( $_contents );
	 }
	
	 self::import('pivotal.Pivotal');
	 if( file_exists( $_cfg['accompImg'] ) && filesize( $_cfg['accompImg'] ) > 0 ) {
	 $_contents = OperateFile::readText( $_cfg['accompImg'], filesize( $_cfg['accompImg'] ) );
	 Pivotal::$_accompImg = unserialize( $_contents );
	 }
	
	}
	/**
	 * load class, follow Java pragrammer(package): import com.jUnion.Capture
	 * @param $_class
	 */
	public static function import( $_class ) {
	 require_once __Home__.'include'.__Os__.str_replace( '.', __Os__, $_class ).'.class.php';
	}
	
	/**
	 * create an instance of Pivotal class
	 * @param $_source
	 */
	private function getCapInstance( &$_source ) {
	 $this->_mark = FALSE;
	
	 $_Captal = new Pivotal( self::$_Config, $_source );
	 $_tagA = $_Captal->parseUrl();
	
	 $this->_mark = TRUE;
	
	 return $_tagA;
	}
	
	/**
	 * go forward one by one
	 * @param $_tagArr
	 */
	private function roundTagA( &$_tagArr ) {
	 if( $_tagArr == NULL ) {
	 return;
	 }
	 $_tagArrLength = count( $_tagArr );
	 for( $i = 0; $i < $_tagArrLength; $i ++ ) {
	 if( is_array( $_tagArr[ $i ] ) ) {
	 $this->roundTagA( $_tagArr[ $i ] );
	 }
	 else {
	 if( stripos( $_tagArr[$i], self::$_CapSite['domain_name'] )
	 === FALSE ) {
	 continue;
	 }
	 if( in_array( $_tagArr[$i], self::$_overURL ) ) {
	 continue;
	 }
	 self::$_overURL[] = $_tagArr[$i];
	 if( count( self::$_overURL ) % self::$_CapSite['serialize_url_size'] == 0 ) {
	 OperateFile::setText( self::$_Config['overURL'], serialize( self::$_overURL ) );
	 }
	 do {
	 $_tagA = $this->getCapInstance( Http::get( $_tagArr[$i] ) );
	 sleep( self::$_CapSite['preform_page_time'] * self::$_markTime );
	 if( $this->_mark === TRUE ) {
	 self::$_markTime = self::$_CapSite['preform_page_time'];
	 break;
	 }
	 self::$_markTime *= 2;
	 } while( true );
	 /* parse the main page and return next page */
	 $this->roundTagA( $_tagA );
	 }
	 }
	}
	
	public function parseQuestUrl() {
	 self::import('http.Http');
	 $_round_Arr = $this->getCapInstance( Http::get( self::$_CapSite['request_url'] ) );
	 $this->roundTagA( $_round_Arr );
	}
	}
	?>
评论列表
本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。
试试其它关键字
同语言下
可能有用的
jUnion贡献的其它代码(3)