page contents
首页 问答
正文

写爬虫是用多进程好？还是多线程好？ 为什么？

轩辕小不懂 发布于 2021-11-01 14:29
阅读 499
收藏 0
答案 1
分类：大数据
默认排序 时间排序
2295
Nen
Nen
- 程序员

IO 密集型代码(文件处理、网络爬虫等)，多线程能够有效提升效率(单线程下有 IO 操作会进行 IO 等待，造成不必要的时间浪费，而开启多线程能在线程 A 等待时，自动切换到线程 B，可以不浪费 CPU 的资源，从而能提升程序执行效率)。在实际的数据采集过程中，既考虑网速和响应的问题，也需要考虑自身机器的硬件情况，来设置多进程或多线程。


请先 登录 后评论
轩辕小不懂
1 关注
 
轩辕小不懂
提出于 2021-11-01 14:29
全部

轩辕小不懂 的其他提问

类似问题