python爬虫的处理流程及网页解析方法

爬虫处理流程 1. 将互联网上的网页获取到本地 2. 对网页进行解析 3. 网页解析是从网页中分离出我们所需要的、有价值的信息，以及新的待爬取的URL。网页的解析的方法 1. 正则表达式（采...

爬虫处理流程

1. 将互联网上的网页获取到本地

2. 对网页进行解析

3. 网页解析是从网页中分离出我们所需要的、有价值的信息，以及新的待爬取的URL。

网页的解析的方法

1. 正则表达式（采用模糊匹配的方式，找出我们所需要内容）

2. BeautifulSoup（是一个可以从HTML或XML文件中提取数据的第三方Python库）, BeautifulSoup可以采用Python自带的html.parse作为它的解析器，也可以采用lxml作为解析器。

lxml 是Python语言解析处得XML和HTML的库

3. XPath（XPath 是一门在 XML 文档中查找信息的语言，XPath 可用来在 XML 文档中对元素和属性进行遍历。）

使用BeautifulSoup

安装：

pip install beautifulsoup4

安装lxml:

pip install lxml

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

1. 首先必须要导入 bs4 库，创建BeautifulSoup对象

from bs4 import BeautifulSoupsoup = BeautifulSoup(html,'lxml') #html为下载的网页，lxml为解析器

2. 详细使用可以看Beautiful Soup 4.2.0 文档

掌握以下三个方法基本够用：

0 条评论