利用Python爬取汽车之家指定数据

一、项目介绍

（一）目标网址：https://k.autohome.com.cn/suva1/#pvareaid=2099126

 

（二）获取目标网址下所有车辆的信息（车名、价格、特点、评分）

二、网页分析

（一）打开网址，按下F12打开开发者工具，使用资源定位符定位一辆车的信息，然后点击href链接进入车辆二级目录网址；发现二级目录下有我们需要的所有信息

 

（二）在一级目录下，开发者工具中选中network>刷新页面>第一个包>在response响应框中搜索想要的内容>发现可以找到数据，说明抓包抓对了，同理在二级目录下也可以找到对应的数据；

 

（三）切换到Headers标签，查看包的url和请求方式等参数

 

（四）对抓到的包的url发起请求获取响应

response = requests.get(url=url, headers=self.headers).text

（五）数据清洗获取二级目录网址和车名；

 

（六）再对二级目录网址进行请求，清洗数据，获取需要的字段；

（七）将每辆车所有需要的字段封装起来，添加到一个列表中；

（八）将所有的车辆数据写入excel表格中，完成数据爬取。

 

 

三、Python与excel的连接

（一）Python与excel的连接

这里我使用的是xlwt包，导包代码cmd>pip install xlwt

（二）首先创建一个excel对象和sheet表单

# 定义一个excel表格
self.book = xlwt.Workbook(encoding='utf-8')
# 定义一个excel表格的sheet表单 '紧凑型SUV'为表单名，'cell_overwrite_ok=True'为覆盖原表格数据
self.sheet = self.book.add_sheet('紧凑型SUV', cell_overwrite_ok=True)

（三）在excel中写入数据

# 定义一个元组，用于写入excel的表头
col = ('序号', '车名', '价格', '特点', '评分')
# 写入表头
for i in range(5):
    self.sheet.write(0, i, col[i])
# 定义一个变量，用于写入excel是换行
cout = 1
# 遍历所有的车辆数据，每一个data就是一辆车的数据
for data in self.datas:
    # excel写入序号
    self.sheet.write(cout, 0, cout)
    # excel写入车名
    self.sheet.write(cout, 1, data['name'])
    # excel写入价格
    self.sheet.write(cout, 2, data['car_price'])
    # excel写入特点
    self.sheet.write(cout, 3, data['car_tags'])
    # excel写入评分
    self.sheet.write(cout, 4, data['car_star'])
    # 换行
    cout += 1
# 保存excel
self.book.save('汽车之家.xls')

 

四、Python代码实现及注释

# 需要的包

import requests  # 网页请求

from lxml import etree  # 源代码解析

import xlwt  # 导入excel表格

 

 

# 汽车之家类

class QiCheZhiJia(object):

 

    def __init__(self):

 

        # UA请求头

        self.headers = {

            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'

        }

 

        # 定义一个空列表用于存储数据

        self.datas = []

 

        # 定义一个excel表格

        self.book = xlwt.Workbook(encoding='utf-8')

 

        # 定义一个excel表格的sheet表单 '紧凑型SUV'为表单名，'cell_overwrite_ok=True'为覆盖原表格数据

        self.sheet = self.book.add_sheet('紧凑型SUV', cell_overwrite_ok=True)

 

    # 获取网页响应数据

    def get_page_info(self):

 

        # 抓包抓到需要的url

        url = 'https://k.autohome.com.cn/suva1/'

 

        # 发起请求，获取响应

        response = requests.get(url=url, headers=self.headers).text

 

        # 调用get_href方法

        self.get_href(response)

 

    # 获取汽车网页链接

    def get_href(self, response):

 

        # 实例化一个网页的etree对象，及用lxml来解析html

        tree = etree.HTML(response)

 

        # 每辆汽车的li标签，

        li_list = tree.xpath('/html/body/div[2]/div[2]/div/div/div[2]/dl/dd/ul/li')

 

        # 遍历每辆汽车的li标签

        for li in li_list:

 

            # 获取每辆汽车链接，这里需要拼接一下

            href = 'https://k.autohome.com.cn/series' + li.xpath('./div[1]/a/@href')[0]

 

            # 获取每辆汽车车名

            car_name = li.xpath('./div[2]/a/text()')[0]

 

            # 调用get_data方法

            self.get_data(href, car_name)

 

        # 所有车辆信息获取完成后调用save_data方法将数据存储到excel表格

        self.save_data()

 

    # 获取每辆汽车的价格、特点、评分信息

    def get_data(self, href, car_name):

 

        # 提示信息

        print(f'正在获取<{car_name}>的数据。。。')

 

        # 对每辆汽车url发起请求，获取响应

        response = requests.get(url=href, headers=self.headers).text

 

        # lxml解析响应数据

        tree = etree.HTML(response)

 

        # 获取汽车价格

        car_price = tree.xpath('//*[@id="__next"]/div[2]/div[1]/div[1]/ul[1]/li[2]/div[1]/div/text()')[0]

 

        # 获取汽车特点

        car_tag_li_list = tree.xpath('//*[@id="__next"]/div[2]/div[1]/div[1]/ul[2]/li')

 

        # 这里特点有多个，定义一个空列表用于暂存汽车特点

        car_tags = []

 

        # 遍历汽车特点，由于网页只显示了前面六个，这里就只取前六个特点，如果需要的话可以全部取

        for tag in car_tag_li_list[0:6]:

 

            # 获取每一个汽车特点

            car_tag = tag.xpath('./div/text()')[0]

 

            # 添加到car_tags列表中

            car_tags.append(car_tag)

 

        # 获取完每辆车的特点后，由于是一个列表类型，下面将他转化为字符串类型，方便写入excel

        car_tags = ','.join(car_tags)

 

        # 获取汽车评分

        car_star = tree.xpath('//*[@id="__next"]/div[2]/div[1]/div[1]/ul[1]/li[1]/div/div/em/text()')[0]

 

        # 数据封装，方便传递

        item = {

            'name': car_name,

            'car_price': car_price,

            'car_tags': car_tags,

            'car_star': car_star

        }

 

        # 将封装好的数据添加到self.datas中

        self.datas.append(item)

 

    # 保存数据的方法

    def save_data(self):

 

        # 定义一个元组，用于写入excel的表头

        col = ('序号', '车名', '价格', '特点', '评分')

 

        # 写入表头

        for i in range(5):

            self.sheet.write(0, i, col[i])

 

        # 定义一个变量，用于写入excel是换行

        cout = 1

 

        # 遍历所有的车辆数据，每一个data就是一辆车的数据

        for data in self.datas:

 

            # excel写入序号

            self.sheet.write(cout, 0, cout)

 

            # excel写入车名

            self.sheet.write(cout, 1, data['name'])

 

            # excel写入价格

            self.sheet.write(cout, 2, data['car_price'])

 

            # excel写入特点

            self.sheet.write(cout, 3, data['car_tags'])

 

            # excel写入评分

            self.sheet.write(cout, 4, data['car_star'])

 

            # 换行

            cout += 1

 

        # 保存excel

        self.book.save('汽车之家.xls')

 

        # 提示爬取完成

        print('over.....')

 

# 实例化类对象，开始执行

qichezhijia = QiCheZhiJia()

qichezhijia.get_page_info()