百度360必应搜狗淘宝本站头条
框架图cad怎么画框架grpc框架flask框架scrapy框架
当前位置：网站首页 > 技术文章 > 正文

Scrapy爬虫框架 -- 图片爬取（图片爬虫网址）

ccwgpt 2024-09-20 13:21 36 浏览 0 评论

一、新建一个tupian爬虫项目

scrapy startproject tupian

二、进入到tupian项目，新建一个image爬虫文件

cd tupian
scrapy genspider image www.xxx.com

三、修改配置文件settings

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

四、指定要爬取的页面

start_urls = ["https://sc.XXXX/kejitupian.html"]

五、获取图片的地址

def parse(self, response):
    图片列表= response.xpath('/html/body/div[3]/div[2]/div')
    '/html/body/div[3]/div[2]/div[1]'
    '/html/body/div[3]/div[2]/div[1]/img'
    for i in 图片列表:
        图片地址 ='https:'+i.xpath('./img/@data-original').extract_first()
        print(图片地址)

六、构建items对象

链接地址 = scrapy.Field()

七、将item对象导入爬虫文件，并实例化该对象

from ..items import TupianItem
for i in 图片列表:
    图片地址 ='https:'+i.xpath('./img/@data-original').extract_first()
    item对象=TupianItem()
    item对象['链接地址']=图片地址
    yield item对象

八、新建管道类，并导入ImagesPipeline

from scrapy.pipelines.images import ImagesPipeline
class 图片管道类(ImagesPipeline):
    def get_media_requests(self, item, info):
        图片地址=item['链接地址']
        yield scrapy.Request(图片地址)
    def file_path(self, request, response=None, info=None, *, item=None):
        图片名称 =request.url.split('/')[-1]
        return 图片名称
    def item_completed(self, results, item, info):
        return item

九、开启管道，由于不是默认的管道类，所以需要修改一下

ITEM_PIPELINES = {
   "tupian.pipelines.图片管道类": 300,
}

十、指定图片保存的路径

IMAGES_STORE='图片夹'

十一、启动爬虫

scrapy crawl image

十二、运行结果

相关推荐

团队管理“布阵术”:3招让你的团队战斗力爆表!

为何古代军队能够以一当十？为何现代企业有的团队高效似“特种部队”，有的却松散若“游击队”？**答案正隐匿于“布阵术”之中！**今时今日，让我们从古代兵法里萃取3个核心要义，助您塑造一支战斗力爆棚的...

知情人士回应字节大模型团队架构调整

【知情人士回应字节大模型团队架构调整】财联社2月21日电，针对原谷歌DeepMind副总裁吴永辉加入字节跳动后引发的团队调整问题，知情人士回应称：吴永辉博士主要负责AI基础研究探索工作，偏基础研究；A...

豆包大模型团队开源RLHF框架，训练吞吐量最高提升20倍

强化学习（RL）对大模型复杂推理能力提升有关键作用，但其复杂的计算流程对训练和部署也带来了巨大挑战。近日，字节跳动豆包大模型团队与香港大学联合提出HybridFlow。这是一个灵活高效的RL/RL...

创业团队如何设计股权架构及分配（创业团队如何设计股权架构及分配方案）

创业团队的股权架构设计，决定了公司在随后发展中呈现出的股权布局。如果最初的股权架构就存在先天不足，公司就很难顺利、稳定地成长起来。因此，创业之初，对股权设计应慎之又慎，避免留下巨大隐患和风险。两个人如...

消息称吴永辉入职后引发字节大模型团队架构大调整

2月21日，有消息称前谷歌大佬吴永辉加入字节跳动，并担任大模型团队Seed基础研究负责人后，引发了字节跳动大模型团队架构大调整。多名原本向朱文佳汇报的算法和技术负责人开始转向吴永辉汇报。简单来说，就是...

31页组织效能提升模型，经营管理团队搭建框架与权责定位

分享职场干货，提升能力！为职场精英打造个人知识体系，升职加薪！31页组织效能提升模型如何拿到分享的源文件：请您关注本头条号，然后私信本头条号“文米”2个字，按照操作流程，专人负责发送源文件给您。...

异形柱结构（异形柱结构技术规程）

下列关于混凝土异形柱结构设计的说法，其中何项正确？（A）混凝土异形柱框架结构可用于所有非抗震和抗震设防地区的一般居住建筑。（B）抗震设防烈度为6度时，对标准设防类（丙类）采用异形柱结构的建筑可不进行地...

职场干货:金字塔原理（金字塔原理实战篇）

金字塔原理的适用范围：金字塔原理适用于所有需要构建清晰逻辑框架的文章。第一篇：表达的逻辑。如何利用金字塔原理构建基本的金字塔结构受众（包括读者、听众、观众或学员）最容易理解的顺序：先了解主要的、抽象的...

底部剪力法（底部剪力法的基本原理）

某四层钢筋混凝土框架结构，计算简图如图1所示。抗震设防类别为丙类，抗震设防烈度为8度（0.2g），Ⅱ类场地，设计地震分组为第一组，第一自振周期T1=0.55s。一至四层的楼层侧向刚度依次为：K1=1...

结构等效重力荷载代表值（等效重力荷载系数）

某五层钢筋混凝土框架结构办公楼，房屋高度25.45m。抗震设防烈度8度，设防类别丙类，设计基本地震加速度0.2g，设计地震分组第二组，场地类别为Ⅱ类，混凝土强度等级C30。该结构平面和竖向均规则。假定...

体系结构已成昭告后世善莫大焉（体系构架是什么意思）

实践先行也理论已初步完成框架结构留余后人后世子孙俗话说前人栽树后人乘凉在夏商周大明大清民国共和前人栽树下吾之辈已完成结构体系又俗话说青出于蓝而胜于蓝各个时期任务不同吾辈探索框架结构体系经历有限肯定发展...

框架柱抗震构造要求（框架柱抗震设计）

某现浇钢筋混凝土框架-剪力墙结构高层办公楼，抗震设防烈度为8度（0.2g），场地类别为Ⅱ类，抗震等级：框架二级，剪力墙一级，混凝土强度等级：框架柱及剪力墙C50，框架梁及楼板C35，纵向钢筋及箍筋均采...

梁的刚度、挠度控制（钢梁挠度过大会引起什么原因）

某办公楼为现浇钢筋混凝土框架结构，r0=1.0，混凝土强度等级C35，纵向钢筋采用HRB400，箍筋采用HPB300。其二层（中间楼层）的局部平面图和次梁L-1的计算简图如图1～3（Z）所示，其中，K...

死要面子!有钱做大玻璃窗，却没有钱做“柱和梁”，不怕房塌吗?

活久见，有钱做2层落地大玻璃窗，却没有钱做“柱子和圈梁”，这样的农村自建房，安全吗？最近刷到个魔幻施工现场，如下图，这栋5开间的农村自建房，居然做了2个全景落地窗仔细观察，这2个落地窗还是飘窗，为了追...

不是承重墙，物业也不让拆?话说装修就一定要拆墙才行么

最近发现好多朋友装修时总想拆墙“爆改”空间，别以为只要避开承重墙就能随便砸！我家楼上邻居去年装修，拆了阳台矮墙想扩客厅，结果物业直接上门叫停。后来才知道，这种配重墙拆了会让阳台承重失衡，整栋楼都可能变...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表