带你用Python采集文档内容并保存PDF

知识点：

• requests

• css选择器

第三方库：

• requests >>> pip install requests

• parsel >>> pip install parsel

• pdfkit >>> pip install pdfkit

开发环境：

• 版 本：anaconda5.2.0（python3.6.5）

• 编辑器：pycharm (安装包/安装教程/激活码/使用教程/插件[翻译插件/主题/汉化包])

• 软件环境: wkhtmltopdf 把html文件转成pdf

本节课上课流程思路:

一. 数据来源分析

确定要爬目标: 文档内容

这些文档数据内容是可以从哪里获取的

分析数据的过程:

鼠标右键点击检查或者F12 打开开发者工具 选择 network

通过开发者工具进行搜索(相关一些数据) 虽然返回数据 (字体编码)

搜索没有返回数据 可以查看本身网址发送请求 服务器返回的数据内容

分析多个文章的url地址区别 请求url地址情况

二. 代码实现过程

1. 发送请求, 对于文章列表页面发送请求

2. 获取数据, 获取网页源代码

3. 解析数据, 提取文章url地址或者文章标题

4. 发送请求, 对于文章详情页url地址发送请求

5. 获取数据, 获取网页源代码

6. 解析数据, 提取文章内容

7. 保存数据, 保存成html文件内容

8. 保存PDF, 需要把html文件转成PDF文件内容

9. 多页爬取

代码

运行结果