爬虫是指请求网站并获取数据的自动化程序,又称网页蜘蛛或网络机器,最常用领域是搜索引擎,它的基本流程是明确需求-发送请求-获取数据-解析数据-存储数据。
Python爬虫的主要作用有:
人工收集数据(比如问卷调查)12306抢票,网络投票
进行数据分析或者是机器学习相关的项目
爬虫的流程:
向起始url发送请求,并获取响应
对响应进行提取
如果提取url,则继续发送请求获取响应
如果提取数据,则将数据进行保存
1 篇文章
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!