块 books_on_page = response.css('article.product_pod') for book in books_on_page: item = ToscrapeBookItem() # 创建一个容器准备装数据 # 用 CSS 选择器提取信息 item['title'] = book.css('h3 a::attr(title)').get() item['price'] = book.css('p.price_color::text').re_first(r"lb([\\d.]+)") # 提取价格数字 item['url'] = response.urljoin(book.css('h3 a::attr(href)').get()) # 拼接完整的详情页 URL # **重点**: 请求访问详情页，并指定回调函数处理详情页响应 yield scrapy.Request( url=item['url'], callback=self.parse_book_details, # 下一步交给这个函数处理 cb_kwargs={'item': item} # 把当前提取到的部分信息传过去 ) # 寻找"下一页"的链接，如果有就继续请求 next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, callback=self.parse) # 继续调用 parse 处理下一页 def parse_book_details(self, response, item): # 这个函数专门处理详情页 # 提取书籍描述 item['content'] = response.css('#product_description + p::text').get(default='').strip() yield item # 把包含描述的完整 item 交给 Pipeline