项目介绍
Python3Spiders/AllNewsSpider 是一个托管在 GitHub 上的开源项目，主要使用 Python 编写，采用 Apache License 2.0 许可证，目前获得 470 个 Star、75 次 Fork。
- 仓库全名
- Python3Spiders/AllNewsSpider
README 摘要
env 必须是 python 3.6.6 64 bit windows/linux/mac 如果要爬取纽约时报，则需要使用urllib3的1.25.11版本，否则代理可能出错 intro 新浪新闻，腾讯新闻，搜狐新闻，澎湃新闻。 短期目前旨在爬取所有新闻门户网站的新闻，每个门户网站爬虫开箱即用，并自动保存到同目录下的 csv/excel 文件中，禁止将所得数据商用。 长期目标是打造一个信息流聚合平台，或者进行更高层面的比如社会舆情、新闻地理可视化等的处理。 集成该爬虫的网站已上线，体验地址： https://xt98.tech:9494 http://buyixiao.xyz http://8.142.38.214 项目长期维护，欢迎 star，项目更多信息欢迎关注个人微信公众号 【月小水长】 how to use 每个文件夹下的代码就是对应平台的新闻爬虫 py 文件直接运行 pyd 文件需要，假设为…
完整内容见 GitHub 原始 README 或本页 。
常见问题
AllNewsSpider 用什么语言开发？
主要使用 Python 编写，采用 Apache License 2.0 许可证，目前有 470 个 Star。
AllNewsSpider 可以免费商用吗？
仓库采用 Apache License 2.0 许可证，可免费使用与修改，商业使用请遵守许可证条款（例如保留版权声明与许可声明）。
如何获取 AllNewsSpider 的源码？
可以直接克隆仓库：git clone https://github.com/Python3Spiders/AllNewsSpider.git，默认分支为 master；安装与运行步骤见仓库 README。
AllNewsSpider 最近还在维护吗？
仓库最近一次更新为 2022年10月18日，当前有 6 个未关闭 Issue；Star 数为 470，可作为社区活跃度的参考。
相关仓库
学习如何设计大规模系统。为系统设计面试做准备。包含 Anki 闪卡。
评论