etl-pipeline 开源项目推荐（5,080 个）

risingwavelabs /risingwave

面向智能体 AI 的事件流平台。以大规模、实时方式持续摄取、转换并提供事件流。

orchest /orchest

Build data pipelines, the easy way 🛠️

apache /hamilton

Apache Hamilton帮助数据科学家和工程师定义可测试的、模块化的、自我记录的数据流，这些数据流对谱系/跟踪和元数据进行编码。扩展和扩展Python所做的任何地方。

AlexIoannides /pyspark-example-project

为PySpark ESL作业和应用程序实施最佳实践。

san089 /Udacity-Data-Engineering-Projects

涉及数据工程的若干项目，包括数据建模、云上基础设施搭建、数据仓库与数据湖开发。

san089 /goodreads_etl_pipeline

An end-to-end GoodReads Data Pipeline for Building Data Lake, Data Warehouse and Analytics Platform.

Open-Source-Legal /OpenContracts

面向构建者和黑客的开放文档智能平台——面向智能体世界的 DMS

DataWithBaraa /sql-data-warehouse-project

使用 SQL Server 构建现代数据仓库的综合指南，涵盖 ETL 流程、数据建模和分析。

stitchfix /hamilton

用于定义数据流的可扩展通用微框架。本代码库已迁移至 www.github.com/dagworks-inc/hamilton

techascent /tech.ml.dataset

一个 Clojure 高性能数据处理系统

SorellaLabs /brontes

一个极快的通用区块链分析引擎，专注于系统性 MEV 检测

Pravko-Solutions /FlashLearn

将 LLM 集成到任意流水线——拟合/预测模式、JSON 驱动流程以及内置并发支持。

YotpoLtd /metorikku

基于 Apache Spark 的简化、轻量级 ETL 框架

unbody-io /unbody

AI 时代的 Supabase。用于构建 AI 原生软件的模块化开源后端——为知识而设计，而非静态数据。

Edwardvaneechoud /Flowfile

Flowfile是一个可视化的RTL工具和Python库，将拖放工作流程与Polars格式结合起来。可视化地构建数据管道，使用类似Polars的API以编程方式定义流，并输出到独立的Python代码。非常适合从开发到生产的快速、直观的数据处理。

marciok /gust

基于任务的工作流编排引擎

airscholar /e2e-data-engineering

一个端到端数据工程流水线，使用 Apache Airflow、Python、Apache Kafka、Apache Zookeeper、Apache Spark 和 Cassandra 编排数据摄取、处理和存储。所有组件均通过 Docker 容器化，便于部署和扩展。

ebonnal /streamable

用于 Python 的同步/异步可迭代流（并发、限流、缓冲等）

AgentSwarms-fyi /agentswarms

统一的智能体 AI 与数据平台

jitsucom /bulker

用于向数据库批量加载数据并自动管理模式的服务（Redshift、Snowflake、BigQuery、ClickHouse、Postgres、MySQL）