Python3WebSpider/ProxyPool

This is stars and forks stats for /Python3WebSpider/ProxyPool repository. As of 01 May, 2024 this repository has 4976 stars and 1783 forks.

ProxyPool 简易高效的代理池，提供如下功能： 定时抓取免费代理网站，简易可扩展。 使用 Redis 对代理进行存储并对代理可用性进行排序。 定时测试和筛选，剔除不可用代理，留下可用代理。 提供代理 API，随机取用测试通过的可用代理。 代理池原理解析可见「如何搭建一个高效的代理池」，建议使用之前阅读。 使用准备 首先当然是克隆代码并进入 ProxyPool 文件夹： git clone https://github.com/Python3WebSpider/ProxyPool.git cd ProxyPool 然后选用下面 Docker 和常规方式任意一个执行即可。 使用要求 可以通过两种方式来运行代理池，一种方式是使用 Docker（推荐），另一种方式是常规方式运行，要求如下： Docker 如果使用 Docker，则需要安装如下环境： Docker Docker-Compose 安装方法自行搜索即可。 官方 Docker Hub 镜像：germey/proxypool 常规方式 常规方式要求有 Python 环境、Redis 环境，具体要求如下： Python>=3.6 Redis Docker...