入门简单精通难，对于许多正在学习python的小伙，前期学习python基础知识的时候，有许多死记硬背的公式，所以会觉得有些无聊，但是只有掌握的这些知识，才能开始后面的实操。

在python编程中，爬虫是比较难以攻破的课程，要非常的细心，这里小编和大家一起学习，和分享，今天来分享python爬虫分享之框架scrapy。

Scrapy是什么？

蜘蛛爬虫框架，用于抓取web站点并从页面中提取结构化的数据，简单来说获取互联网上的各种信息,然后再对这些信息进行数据分析处理，所以这一知识点对于上班族来说，是非常重要的。

Scrapy最吸引人的一点就是它是一个框架，任何人都可以根据需求方便的修改，比较的随意，跟着用户的想法来。

学习安装Scrapy

Linux：

pip3 install scrapy

　　Windows：

a. pip3 install wheel

b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

c. 进入下载目录，执行 pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d. pip3 install pywin32

e. pip3 install scrapy

强调：如果windows10安装pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl失败，请自行换成32位的即可解决，网上乱七八槽的答案请绕过

注意：如果在pycharm中安装scrapy失败，两种解决办法：

1、把pycharm中的虚拟环境模式改成直接指向现在的python安装环境！

2、把python环境中的scrapy，twisted等直接复制到pycharm工程所在的虚拟环境中去！

了解Scrapy架构

一张图就能让你了解到Scrapy的全部

Scrapy实操

爬取糗百首页中段子的内容和标题：

# -*- coding: utf-8 -*-import scrapy

class QiubaiSpider(scrapy.Spider):

name = 'qiubai' #应用名称

allowed_domains = ['https://www.qiushibaike.com/']

start_urls = ['https://www.qiushibaike.com/']

def parse(self, response):

#xpath为response中的方法，可以将xpath表达式直接作用于该函数中

odiv = response.xpath('//div[@id="content-left"]/div')

content_list = [] #用于存储解析到的数据

for div in odiv:

#xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。

author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()

content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()

#将解析到的内容封装到字典中

dic={

'作者':author,

'内容':content

}

#将数据存储到content_list这个列表中

content_list.append(dic)

return content_list

执行爬虫程序：

执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储

scrapy crawl qiubai -o qiubai.json

scrapy crawl qiubai -o qiubai.xml

scrapy crawl qiubai -o qiubai.csv

爬取某网站招聘信息:

创建文件：

scrapy genspider s_tencent careers.tencent.com

访问url：

start_urls = []

for page in range(1, 62):

url = 'https://careers.tencent.com/tencentcareer/api/post/Query?keyword=python&pageIndex=%s&pageSize=10' % page

start_urls.append(url)

解析数据并保存：

content = response.body.decode('utf-8')

data = json.loads(content)

job_list = data['Data']['Posts']

for job in job_list:

name = job['RecruitPostName']

country = job['CountryName']

duty = job['Responsibility']

# info=name+country+duty+'\n'

info = {

"name": name,

"country": country,

"duty": duty,

}

with open('job.txt', 'a', encoding='utf-8') as fp:

fp.write(str(info)+'\n')

最后项目运行只需一步就可以得出结果了：

scrapy crawl s_tencent

结果如下：

最后：

如果还想了解到python爬虫知识，或者遇到一些难题可以加入python的交流群，有许多志同道合的小伙伴，还有老师帮你解除问题，想进群的小伙伴记得私信小编~