data-scraper 开源项目推荐（83 个）

egbertbouman /youtube-comment-downloader

无需使用 YouTube API 下载 YouTube 评论的简单脚本

je-suis-tm /web-scraping

面向初学者的详细网络爬虫教程，涵盖 Reddit WallStreetBets、CME（期权与期货）、美国财政部、CFTC、LME、MacroTrends、SHFE 上的金融数据爬虫，以及 Tomtom、BBC、《华尔街日报》、半岛电视台、路透社、《金融时报》、彭博社、CNN、《财富》、《经济学人》上的另类数据爬虫

ScrapingBee /how-to-scrape-imdb-data

如何在 Python 或 Node 中抓取 IMDb 数据：通过 ScrapingBee 以 JSON 获取标题、评分、类型、演员阵容和导演。

kaymen99 /ai-web-scraper

使用 Crawl4AI 构建的 AI 网页抓取器，用于从网站提取结构化潜在客户数据。

erfanghorbanee /Telegram-File-Downloader

一个从 Telegram 实体（频道、群组、聊天或已保存消息）下载文件的 Python 脚本。它支持按文件类型（例如图片、PDF）过滤。

sallamy2580 /python-web-scrapping

面向初学者的详细网络爬虫教程，涵盖 Reddit WallStreetBets、CME（期权与期货）、美国财政部、CFTC、LME、MacroTrends、SHFE 上的金融数据爬虫，以及 Tomtom、BBC、《华尔街日报》、半岛电视台、路透社、《金融时报》、彭博社、CNN、《财富》、《经济学人》上的另类数据爬虫

r7avi /Google-Maps-Data-Scrapper

Google Maps/Place 商家数据抓取器，从 Google Maps 上列出的任何 Google 商家抓取数据。获取名称、地址、电话号码、Plus Code、评论、经度和纬度等。从可用网站抓取电子邮件，并提供 Docker 支持以实现自动化。

didvc /jseval

通过无头 Chrome 浏览器在 URL 上执行 JavaScript。

ShehrozAttique /Hevy-Exercises-Data-Scraper

该机器人自动化登录 Hevy 网站的过程：使用你的电子邮件和密码登录，导航到练习部分，并提取每个练习的详细数据。提取的属性包括：名称、器械、主要肌肉、次要肌肉、来源、来源类型、缩略图。数据会系统地存储在 CSV 文件中。

danielfrees /scrapemed

ScrapeMed：面向 PubMed Central 的数据抓取。

h26k2 /node-gui-scraper

基于 GUI 的网页抓取器，使用 NodeJS 抓取电子商务网站

darwiish1337 /league-of-legends-data-scraper

面向《英雄联盟》排位赛（单双排与灵活组排 5v5）的生产级数据抓取器，使用 Python、异步获取、SQLite 存储和企业级日志构建。

logan-lauton /nba_webscrape

为 Kaggle 数据集执行的网页抓取。

serptail /netDigger

一个 .NET 8.0 C# WPF 桌面应用，用于将网页抓取数据存入结构化数据库，具有现代 UI、全面日志记录和优化的高性能。

abtsousa /clippy

一个用于 NOVA School of Science and Technology 自有在线学习平台 CLIP 的稳健文件下载器和抓取器。

Vinicius-Teixeirac /GdeltForge

将原始 GDELT 档案（Events、GKG、Mentions）加工成干净、可复现采样且交叉引用的 Parquet。

FoamoftheSea /tda_scraper

一个使用 Selenium WebDriver 从 TD Ameritrade 网站获取深入数据以供 Python 使用的网页抓取器。

ranbot-ai /instagram-scraper

一个从 Instagram 个人资料抓取数据的 Nodejs 脚本。

logan-lauton /nfl_webscrape

为 Kaggle 数据集执行的网页抓取。

farukalamai /yelp-scraper-scrapy-python

使用 Python、Scrapy 爬虫抓取 Yelp 餐厅数据