GitRead 中文社区
首页趋势排行榜原创文章严选周刊
更多资源
新手训练营
精选专题热门话题GitHub 文档资源精选实战指南

PaddleFleetX

飞桨大模型开发套件,提供大语言模型、跨模态大模型、生物计算大模型等领域的全流程开发工具链。

  • 语言Python
  • 默认分支develop
  • 大小651.8 MB
  • 更新2024年5月24日
  • Issues41
在 GitHub 打开
avatarPaddlePaddle

项目介绍

PaddlePaddle/PaddleFleetX 是一个托管在 GitHub 上的开源项目,主要使用 Python 编写,采用 Apache License 2.0 许可证,目前获得 484 个 Star、165 次 Fork。

仓库全名
PaddlePaddle/PaddleFleetX

README 摘要

简介 PaddleFleetX是基于飞桨深度学习框架开发的大模型套件,旨在提供高性能、灵活易用的大模型全流程应用能力,在开发、训练、精调、压推、推理、部署六大环节提供端到端全流程优化。 特色介绍 大模型开发:动静统一开发模式,4D混合并行策略灵活配置 基于飞桨动静统一的开发模式,大模型套件全面使用动态图开发,在Generate API中可自动完成算子融合具备静态图的调试性能。全场景统一训练器Trainer可以轻松完成4D混合并行的配置,在预训练与精调环节皆可使用。 大模型训练:发挥基础计算潜能、全面提升分布式效率 飞桨针对大模型训练,对数据读取、混合精度计算策略、高性能算子库、并行策略自动寻优、流水线调度的整个全流程实现优化,助力文心大模型训练速度提升3倍。 大模型精调:主流精调算法实现性能全面领先 提供了主流的精调算法,包括SFT、Prefix-Tuning、LoRA三种主流的精调算法,有效降低的大模型训练的资源门槛…

完整内容见 GitHub 原始 README 或本页 。

常见问题

PaddleFleetX 用什么语言开发?

主要使用 Python 编写,采用 Apache License 2.0 许可证,目前有 484 个 Star。

PaddleFleetX 可以免费商用吗?

仓库采用 Apache License 2.0 许可证,可免费使用与修改,商业使用请遵守许可证条款(例如保留版权声明与许可声明)。

如何获取 PaddleFleetX 的源码?

可以直接克隆仓库:git clone https://github.com/PaddlePaddle/PaddleFleetX.git,默认分支为 develop;安装与运行步骤见仓库 README。

PaddleFleetX 最近还在维护吗?

仓库最近一次更新为 2024年5月24日,当前有 41 个未关闭 Issue;Star 数为 484,可作为社区活跃度的参考。

本页面展示项目元数据与原始 README,GitRead 中文社区 编辑团队负责选题收录。

相关仓库

public-apis/public-apis avatar
public-apispublic-apis
12 小时前
499.4k
54.5k
70

免费 API 汇总列表

apipublic-apisfree+7
Python
16.8 MB
7
详情
EbookFoundation/free-programming-books avatar
free-programming-booksEbookFoundation
3 天前
401.7k
67.9k
116

免费可获取的编程书籍

bookseducationhacktoberfest+2
Python
21.8 MB
3
详情
donnemartin/system-design-primer avatar
system-design-primerdonnemartin
9月15日
378.0k
59.3k
644

学习如何设计大规模系统。为系统设计面试做准备。包含 Anki 闪卡。

designdesign-patternsdesign-system+10
Python
11.0 MB
0
详情
vinta/awesome-python avatar
awesome-pythonvinta
1 天前
335.1k
28.0k
0

回答“我想用 Python 做 X,该用哪个工具?”的权威清单

awesomeawesome-listpython+3
Python
6.9 MB
2
详情
practical-tutorials/project-based-learning avatar
project-based-learningpractical-tutorials
46 分钟前
289.8k
36.2k
154

精选的项目实战教程列表

tutorialprojectbeginner-project+5
Python
472 KB
1
详情
NousResearch/hermes-agent avatar
hermes-agentNousResearch
30 分钟前
263.7k
59.5k
53.4k

与你共同成长的智能体

aiai-agentai-agents+10
Python
1.4 GB
4
详情
TheAlgorithms/Python avatar
PythonTheAlgorithms
3 天前
226.2k
51.3k
118

所有算法均用 Python 实现

algorithmalgorithm-competitionsalgorithms-implemented+11
Python
18.0 MB
2
详情
yt-dlp/yt-dlp avatar
yt-dlpyt-dlp
10 小时前
208.2k
18.1k
2.1k

功能丰富的命令行音视频下载器

youtube-dlpythonsponsorblock+4
Python
63.8 MB
0
详情

关于

benchmarkclouddata-parallelismdistributed-algorithmelasticfleet-apilarge-scalelightningmodel-parallelismpaddlecloudpaddlepaddlepipeline-parallelismpretrainingself-supervised-learningunsupervised-learning
  • Apache License 2.0
  • 484 Stars
  • 165 Forks
  • 20 Watching

简要分析

热度分
834
价值分
339
活跃状态
活跃
GitHub

语言占比

C++
Cuda
Dockerfile
Makefile
Python
Shell

Release

  • PaddleFleetX v2.4.12023年1月10日
  • PaddleFleetX v2.4.02022年12月2日
  • PaddleFleetX v2.4.0rc2022年11月29日

贡献者

haohongxianghaohongxiangForFishesForFishesGuoxiaWangGuoxiaWangLiujie0926Liujie0926FeixLiuFeixLiukuizhiqingkuizhiqingzhaoyingliazhaoyingliaheavengateheavengatefuyinno4fuyinno4BoqiangDuanBoqiangDuansljlpsljlpGhostScreamingGhostScreaming


简介

PaddleFleetX是基于飞桨深度学习框架开发的大模型套件,旨在提供高性能、灵活易用的大模型全流程应用能力,在开发、训练、精调、压推、推理、部署六大环节提供端到端全流程优化。

飞桨大模型套件

特色介绍

大模型开发:动静统一开发模式,4D混合并行策略灵活配置

大模型开发

基于飞桨动静统一的开发模式,大模型套件全面使用动态图开发,在Generate API中可自动完成算子融合具备静态图的调试性能。全场景统一训练器Trainer可以轻松完成4D混合并行的配置,在预训练与精调环节皆可使用。

大模型训练:发挥基础计算潜能、全面提升分布式效率

飞桨针对大模型训练,对数据读取、混合精度计算策略、高性能算子库、并行策略自动寻优、流水线调度的整个全流程实现优化,助力文心大模型训练速度提升3倍。

飞桨支持大模型训练

大模型精调:主流精调算法实现性能全面领先

提供了主流的精调算法,包括SFT、Prefix-Tuning、LoRA三种主流的精调算法,有效降低的大模型训练的资源门槛。统一的训练器Trainer实现了预训练加速技术在精调场景的复用,并通过变长数据流优化大幅提升精调性能。

大模型精调

大模型压缩:自研量化压缩算法实现无损量化

飞桨自研的Shift-SmoothQuant算法相比SmoothQuant算法可以实现更平滑的激活分布,有效提升量化后模型的精度度和生成结果的稳定性。通过PaddleSlim的大模型压缩工具,我们在 C-Eval 和 NL2SQL 两个数据集上对主流开源大模型可以实现无损量化。更多技术介绍与使用说明可以参考PaddleSlim。

模型压缩

模型压缩

大模型推理:针对大模型场景特性匹配最优量化推理方案

Paddle Inference针对大模型Prompt阶段与Token Generation阶段的计算特性的不同,在通用场景提供静态量化,在访存受限场景提供混合量化与低比特的推理方案。

飞桨支撑大模型推理

推理引擎

大模型部署:实时感知负载动态插入请求,最大化硬件利用率

由于大模型生成场景解码阶段耗时较长,且不同Query下生成长度不一,为了最大化服务吞吐,我们在FastDeploy服务框架结合推理引擎实现了动态插入技术,科实时感知服务负载,动态插入用户请求最大化推理硬件利用率。

大模型服务部署

PaddleFleetX 应用案例

大语言模型

基于PaddleFleetX的核心能力,我们在PaddleNLP中提供了丰富的大语言模型全流程开发与应用示例,更多详细使用说明可以参考PaddleNLP大语言模型。

跨模态大模型

除了大语言模型外,PaddleFleetX还提供跨模态大模型的开发与训练,如多模态预训练、文生图扩散模型等,覆盖图片、文本、视频和音频等模态,更多详细使用说明可以参考PaddleMIX。

生物计算大模型

在生物计算领域,基于飞桨4D并行策略与高性能优化,我们在PaddleHelix中提供众多业界领先的生物计算预训练模型,更多详细使用说明可以参考PaddleHelix。

Citation

@misc{paddlefleetx,
    title={PaddleFleetX: An Easy-to-use and High-Performance One-stop Tool for Deep Learning},
    author={PaddleFleetX Contributors},
    howpublished = {\url{https://github.com/PaddlePaddle/PaddleFleetX}},
    year={2022}
}

License

PaddleFleetX 基于 Apache 2.0 license 许可发布。

评论

登录 后发表评论
暂无评论
GitRead 中文社区
深度解读 · 趋势洞察 · 价值精选

关于

关于我们联系我们编辑准则收录标准赞赏人员

发现

技术趋势新手训练营资源精选实战指南精选专题热门话题GitHub 文档

条款

隐私政策服务条款网站地图
26.9万收录项目
7.7万中文话题
157精选专题
发现技术价值,连接开源智慧
© 2026 GitRead · GitHub 中文社区 本站与 GitHub, Inc. 无隶属关系;GitHub 是 GitHub, Inc. 的商标。