假如每天爬取量在 5、6 万条数据，一般开几个线程，每个线程 ip 需要加锁限定吗？ - 好学星城学习论坛

page contents

轩辕小不懂发布于 2021-11-03 13:44

阅读 486

收藏 0

答案 1

分类：大数据

2318

Nen 2021-11-03 13:48

- 程序员

(1) 5、6 万条数据相对来说数据量比较小，线程数量不做强制要求(做除法得一个合理值即可）

(2) 多线程使用代理，应保证不在同时一刻使用一个代理 IP

评论 (0)

1 关注

提出于 2021-11-03 13:44

全部