基于php实现七牛抓取远程图片

由于公司网站之前的用户头像都是存储在自己的服务器上的,后来感觉管理不方便,新增加的用户头像都上传到了七牛,为了方便统一管理,领导说把本地服务器的头像全部迁移到了七牛。

1.梳理下思路

先判断用户的头像是否在七牛,若不存在,本地如果有则抓取到七牛,然后进行批量抓取

2.七牛判断图片是否存在

  1. /**
  2. * 查看七牛url是否存在
  3. * @param string $url
  4. */
  5. function url_exists($url) {
  6. require_once(COMMON_PATH."qiniu/rs.php");
  7. require_once(COMMON_PATH."qiniu/http.php");
  8. $parts=parse_url($url);
  9. $bucket ;//桶
  10. $key=substr($parts['path'], );//七牛文件名
  11. //密钥
  12. $accessKey ;
  13. $secretKey ;
  14. Qiniu_SetKeys($accessKey, $secretKey);
  15. $client = new Qiniu_MacHttpClient(null);
  16. list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看单个文件信息
  17. if ($err !== null) {
  18. return false;
  19. } else {
  20. return true;
  21. }
  22. }

3.移动单个文件到七牛

  1. /**
  2. * 移动单个头像到七牛
  3. * @param string $remotePath 远程文件在服务器上的物理地址
  4. * @param string $qiniuPath 七牛文件地址
  5. */
  6. function oneFetch($remotePath,$qiniuPath){
  7. if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){
  8. require_once(COMMON_PATH."qiniu/rs.php");
  9. require_once(COMMON_PATH."qiniu/http.php");
  10. require_once(COMMON_PATH."qiniu/conf.php");
  11. $client = new Qiniu_MacHttpClient(NULL);
  12. /*$accessUrl 远程文件访问地址
  13. *$bucket桶
  14. *$key 存储在七牛的文件名
  15. */
  16. $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);
  17. if($ret != NULL)
  18. {
  19. $errlog = 'fail.log';//写错误日志
  20. file_put_contents($errlog, "{$key}\n", FILE_APPEND);
  21. }
  22. else
  23. {
  24. var_dump($ret);
  25. }
  26. }else{
  27. var_dump('已有头像');
  28. }
  29. }

4.批量抓取

  1. function t(){
  2. header("Content-type: text/html; charset=utf-8");
  3. set_time_limit(0);
  4. $start = intval($_GET['num']);//开始位置
  5. $str = '';
  6. /*从数据库查询记录*/
  7. $link = mysql_connect("localhost", "root", "root") or die("error");
  8. $db_selected = mysql_select_db("test", $link);
  9. mysql_query ("SET NAMES UTF8");
  10. $limit = 10;//每次查询数
  11. $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}";
  12. $result = mysql_query($sql) or die(mysql_error());
  13. if(mysql_num_rows($result))
  14. {
  15. while($row=mysql_fetch_assoc($result)){
  16. oneFetch($row['remotePath'], $row['qiniuPath']);
  17. }
  18. $start += 10;
  19. $url = "/t?num={$start}";
  20. $str = '已经更新'.$start.'条<br />';
  21. $str .= '<script>location.href="'.$url.'";</script>';//更新$limit条,跳转防止脚本无响应
  22. }
  23. else
  24. {
  25. echo '结束';
  26. }
  27. echo $str;
  28. ob_flush();
  29. flush();
  30. sleep(2);
  31. unset($sql,$result,$row);
  32. }

以上内容是基于php实现七牛抓取远程图片的全部内容,希望大家喜欢。