mapreduce 开源项目推荐（1,661 个）

donnemartin /data-science-ipython-notebooks

数据科学 Python notebook：深度学习（TensorFlow、Theano、Caffe、Keras）、scikit-learn、Kaggle、大数据（Spark、Hadoop MapReduce、HDFS）、matplotlib、pandas、NumPy、SciPy、Python 基础、AWS 以及各种命令行。

heibaiying /BigData-Notes

大数据入门指南

PowerJob /PowerJob

Enterprise job scheduling middleware with distributed computing ability.

douban /dpark

Python clone of Spark, a MapReduce alike framework in Python

collabH /bigdata-growth

大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等。

water8394 /BigData-Interview

【大数据面试题】分享在网络上收集的大数据相关面试题及自己的答案总结。目前包含 Hadoop/Hive/Spark/Flink/Hbase/Kafka/Zookeeper 框架的面试题知识总结

mahmoudparsian /data-algorithms-book

《Data Algorithms》一书所用的 MapReduce、Spark、Java 和 Scala

microsoft /Mobius

Apache Spark 的 C# 和 F# 语言绑定与扩展

happyer /distributed-computing

分布式计算包括 mapreduce、kvstore 等。

bcongdon /corral

为 AWS Lambda 编写的无服务器 MapReduce 框架

sunnyandgood /BigData

💎🔥大数据学习笔记

grailbio /bigslice

面向 Go 编程语言的无服务器集群计算系统

apache /uniffle

Uniffle 是一个高性能、通用的远程 Shuffle 服务。

CamDavidsonPilon /tdigest

Python 中的 t-Digest 数据结构。适用于百分位数和分位数，包括 PySpark 等分布式环境。

cubefs /compass

Compass 是一个面向大数据的任务诊断平台

RedisGears /RedisGears

用于 Redis 数据的动态执行框架

datawhalechina /juicy-bigdata

🎉🎉🐳 Datawhale大数据处理导论教程 | 大数据技术方向的开篇课程🎉🎉

cwensel /cascading

Cascading is a feature rich API for defining and executing complex and fault tolerant data processing flows locally or on a cluster.

DigitalPebble /behemoth

Behemoth is an open source platform for large scale document analysis based on Apache Hadoop.

Tencent /Firestorm

Firestorm 是一个远程 Shuffle 服务，为 Apache Spark 和 Apache Hadoop MapReduce 应用提供将 shuffle 数据存储在远程服务器上的能力。