我的网站

python爬虫 爬取妹子图

2021-06-13 01:08分类:升职报告 阅读:

不爬妹子图的爬虫不是一只好爬虫。 ----鲁迅

主页网址唯一图库直接点到末页,852页。。

右键点击一个图片链接,选择核阅元素

这儿的img是就封面,伪设只抓取封面的话,到这就能够了,但是我们取的是总共图片,所以这儿我们获取的是这个细现在页的a链接:mmonly.cc/mmtp/xgmn/181603.html,这就是第一个图集的链接,然后每页有24个图集。十足852页,我们点击下一页查看下网址转变,mmonly.cc/mmtp/list_9_2.html,页数变成2,所以我们这儿直接循环,然后获取每一页上的图集a链接:

import requests
from lxml import html
for page in range(1,852):
    url='_9_%s.html'%page
    response=requests.get(url,verify=False).text
    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        print(imgUrl)

这样,我们就获取到了总共的主要链接,每页24个,2w+个。这儿用的是xpath。然后我们点开一个链接,看一下细现在页,发现网址没有转变,点下一页,同样的是网址后面增了页数:mmonly.cc/mmtp/xgmn/181603_2.html,有点差别的地方就是我们不清亮每个图集有多少页,所以这儿再单独获取一下,同样的右击核阅元素。

for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        response=requests.get(imgUrl,verify=False).text
        selector = html.fromstring(response)
        pageEle = selector.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]
        print(pageEle)

这儿我们满意获取到15。之后就是访问每一页,获取高清大图了,以及图片的保存。urllib.request.urlretrieve(url,path)浅易下载图片,参数为图片链接和下载的本地路径。完善代码如下:(这儿我图片命名是第几页第几个图集的第几张图片,所以看着有些乱)

# -*- coding: utf-8 -*-
# @Time    : 2019/2/26 18:00
# @Author  : Liangjianghao
# @Email   : 1084933098@qq.com
# @Software: PyCharm
import os
import urllib
import requests
from lxml import html
import time
from requests.packages.urllib3.exceptions import InsecureRequestWarning
# 禁用安然哀乞警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

os.mkdir('meizi')#第一次运行新建meizi文件夹,手行建能够注脚失踪

for page in range(1,852):
    url='_9_%s.html'%page
    print(url)
    response=requests.get(url,verify=False).text

    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    print(len(imgEle))
    for index,img in enumerate(imgEle):
        imgUrl=img.xpath('@href')[0]
        response=requests.get(imgUrl,verify=False).text
        selector = html.fromstring(response)
        pageEle = selector.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]
        print(pageEle)
        imgE=selector.xpath('//a[@class="down-btn"]/@href')[0]

        imgName = '%s_%s_1.jpg' % (page,str(index+1))
        coverPath = '%s/meizi/%s' % (os.getcwd(), imgName)
        urllib.request.urlretrieve(imgE, coverPath)

        for page_2 in range(2,int(pageEle)+1):
            url=imgUrl.replace('.html', '_%s.html' % str(page_2))
            response = requests.get(url).text
            selector = html.fromstring(response)
            imgEle = selector.xpath('//a[@class="down-btn"]/@href')[0]
            print(imgEle)
            imgName='%s_%s_%s.jpg'%(page,str(index+1),page_2)
            coverPath = '%s/meizi/%s' % (os.getcwd(), imgName)
            urllib.request.urlretrieve(imgEle, coverPath)
    time.sleep(2)

这个网站没有什么反爬虫措施,为避免服务器压力过大,在每次循环后面增了寝休2秒。收获图如下:

郑重声明:文章来源于网络,仅作为参考,如果网站中图片和文字侵犯了您的版权,请联系我们处理!

上一篇:国家卫健委:推行公立医院高质量发展 相符理挑高医务人员薪酬水平

下一篇:月薪5000工资与50000工资的分歧!3张会谈记录告诉你!

相关推荐

返回顶部