项目介绍

derekhe/ProxyPool 是一个托管在 GitHub 上的开源项目,主要使用 Python 编写,目前获得 315 个 Star、67 次 Fork。

仓库全名
derekhe/ProxyPool
Star 数
315
Fork 数
67
未关闭 Issue
1

README 摘要

代理池 ============ 注意 本代码库仅用于学习研究使用,请勿用于非法用途,本人不承担由此带来的任何法律问题。 介绍 在《爬虫实战:从数据到产品》一书中,我讲到了一个基于ProxyBroker的代理池。经过我的长时间的实践,这个代理池用起来非常的方便和稳定。 这个Repo将基于ProxyBroker,增加了中国区域的代理资源。并引入了docker-compose,能够快速的方便的开始代理的抓取。 用法 然后浏览器打开http://localhost:8080/proxy.json 即可得代理列表。每个代理都经过类型的验证,代理资源会随着时间增长。每个代理的有效期为一天时间。 由于很多代理资源在中国无法访问的网站,部署在国内的服务器上会影响资源的获取,所以推荐将服务器部署到国外的服务器。服务器推荐使用DigitalOcean,我的多个服务器都在SFO2区域,非常的稳定

完整内容见 GitHub 原始 README 或本页 。

常见问题

ProxyPool 用什么语言开发?

主要使用 Python 编写,目前有 315 个 Star。

如何获取 ProxyPool 的源码?

可以直接克隆仓库:git clone https://github.com/derekhe/ProxyPool.git,默认分支为 master;安装与运行步骤见仓库 README。

ProxyPool 最近还在维护吗?

仓库最近一次更新为 2021年7月26日,当前有 1 个未关闭 Issue;Star 数为 315,可作为社区活跃度的参考。

简要分析

热度分
449
价值分
209
活跃状态
归档

语言占比

Dockerfile
Makefile
Python

README

代理池

注意

本代码库仅用于学习研究使用,请勿用于非法用途,本人不承担由此带来的任何法律问题。

介绍

在《爬虫实战:从数据到产品》一书中,我讲到了一个基于ProxyBroker的代理池。经过我的长时间的实践,这个代理池用起来非常的方便和稳定。

这个Repo将基于ProxyBroker,增加了中国区域的代理资源。并引入了docker-compose,能够快速的方便的开始代理的抓取。

用法

docker-compose up

然后浏览器打开http://localhost:8080/proxy.json 即可得代理列表。每个代理都经过类型的验证,代理资源会随着时间增长。每个代理的有效期为一天时间。

由于很多代理资源在中国无法访问的网站,部署在国内的服务器上会影响资源的获取,所以推荐将服务器部署到国外的服务器。服务器推荐使用DigitalOcean,我的多个服务器都在SFO2区域,非常的稳定。

评论

暂无评论