爬虫 | 做一个简单的动态代理池

使用代理服务器一直是爬虫防BAN最有效的手段，但网上的免费代理往往质量很低，大部分代理完全不能使用，剩下能用的代理很多也只有几分钟的寿命，没法直接用到爬虫项目中。 下面简单记录一下我...

• 0
• 0
• Pack
• 发布于 2019-12-28 09:44
• 阅读 ( 639 )

快速排序的Python实现

快速排序(quick sort)的采用了分治的策略。 分治策略指的是：将原问题分解为若干个规模更小但结构与原问题相似的子问题。递归地解这些子问题，然后将这些子问题的解组合为原问题的解。快排的基...

• 0
• 0
• Pack
• 发布于 2019-12-27 11:25
• 阅读 ( 726 )

Python爬虫防封杀方法集合

我们在进行爬虫时难免发生IP被封和403错误等等，这都是网站检测出你是爬虫而进行的反爬措施，下面我总结了几个避免方法。 方法1：设置等待时间 有一些网站的防范措施可能会因为你快速提交表...

• 0
• 0
• Pack
• 发布于 2019-12-27 10:58
• 阅读 ( 783 )

一篇文章带你快速理解爬虫

网上有关爬虫的资料特别多，写的都挺复杂的，我这里不打算讲什么大道理，因为其实爬虫挺好理解的。 就是下面一个流程： 爬虫的功能就是把网页源代码想办法爬下来，然后分析出需要的内容。...

• 0
• 0
• Pack
• 发布于 2019-12-26 14:03
• 阅读 ( 922 )

隔壁女神追不到？那是你没用到python表白神器

很多人在问，python能干嘛？ 可以做数据分析，比如可视化爬虫。 可以做网站，比如知乎，youtube等等一些就是python写的。 可以做游戏，虽然我不知道有哪些大型游戏，但是还是能做。 但是pyt...

• 0
• 0
• Pack
• 发布于 2019-12-26 13:58
• 阅读 ( 961 )

Python 基础总结：文件和异常处理

1 打开文件 使用如下语法：fileVariable = open(filename, mode)filename指定一个文件，mode指定打开文件的方式，具体方式可选择下表中某一个： 例如： input = open(r"/home/usr/test.t...

• 0
• 0
• Pack
• 发布于 2019-12-25 14:37
• 阅读 ( 843 )

手把手教你用Python画小猪佩奇

我们先来看一下小猪佩奇的样子，如下图所示。 观察这个图像可以发现，小猪佩奇基本是由各种曲线构成的。 她的鼻子是个椭圆，头是几条弧线连接而成，耳朵也是由几条弧线构成的，眼睛是大圆套...

• 0
• 0
• Pack
• 发布于 2019-12-25 14:33
• 阅读 ( 740 )

python爬虫的处理流程及网页解析方法

爬虫处理流程 1. 将互联网上的网页获取到本地 2. 对网页进行解析 3. 网页解析是从网页中分离出我们所需要的、有价值的信息，以及新的待爬取的URL。 网页的解析的方法 1. 正则表达式（采...

• 0
• 0
• Pack
• 发布于 2019-12-24 16:49
• 阅读 ( 727 )

用Python实现堆栈和队列

python实现堆栈 堆栈是一个后进先出的数据结构，其工作方式就像一堆汽车排队进去一个死胡同里面，最先进去的一定是最后出来。 我们可以设置一个类，用列表来存放栈中元素的信息，利用列表的...

• 0
• 0
• Pack
• 发布于 2019-12-24 16:46
• 阅读 ( 663 )