Facebook|scrapy实例进阶篇之下载中间件（四）

文章图片

文章图片

文章图片

文章图片

文章图片

我们经过上节课获取到了列表页的数据，就可以进行解析数据获取详情页的链接了：

1.详情页的链接获取
通过解析获得了详情的标题和链接

2.对详情页发送请求
通过yield关键字对详情页发送请求

3.对详情页解析数据

4.将标题及内容，设置在item中

5.将标题及内容进行封装
首先将标题封装到item中，其次由于标题及内容在不同的解析数据中因此，使用meta关键字，然后在内容解析数据中导入meta关键字，并封装到item中

6.将item提交给管道，管道内容自行设置

7.设置开启管道

8.将浏览器关闭

【Facebook|scrapy实例进阶篇之下载中间件（四）】这样我们就把网易新闻的案例讲解完了，主要的难点在于中间操作，中间件需要先找到需要调整的数据，并利用selenim进行获取数据，两者的配合最终得到动态加载的数据，其他的操作跟我们之前的翻页获取以及深度爬取数据操作是一样的。