Skip to content

Commit

Permalink
clean llama static modeling file (PaddlePaddle#9301)
Browse files Browse the repository at this point in the history
* clean llama static modeling file

* update readme

* fix

---------

Co-authored-by: wangnian01 <wangnian01@baidu.com>
  • Loading branch information
2 people authored and lvdongyi committed Oct 23, 2024
1 parent 6ea6847 commit 80fa645
Show file tree
Hide file tree
Showing 9 changed files with 21 additions and 3,437 deletions.
28 changes: 21 additions & 7 deletions llm/auto_parallel/llama/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,16 +2,30 @@

## 1. 模型组网介绍

- 动静统一自动并行组网[modeling_auto.py](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/llama/modeling_auto.py),支持动态图和动转静训练,建议使用。
- 静态图自动并行组网[modeling_auto_static.py](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/llama/modeling_auto_static.py),仅支持静态图训练,未来可能会下线。
- 动静统一自动并行组网[modeling_auto.py](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/llama/modeling_auto.py),当前主要支持预训练,包括动态图和动转静训练,未来会扩展支持 SFT 等流程。

## 2. 动静统一组网的训练方式
## 2. 预训练准备
下载预先处理好的数据,并解压到 `./data` 目录下:
```shell
# llama 模型数据下载
wget https://bj.bcebos.com/paddlenlp/models/transformers/llama/data/llama_openwebtext_100k.bin
wget https://bj.bcebos.com/paddlenlp/models/transformers/llama/data/llama_openwebtext_100k.idx

mkdir data
mv llama_openwebtext_100k.bin ./data
mv llama_openwebtext_100k.idx ./data
```

安装自定义算子:
```shell
# 编译自定义算子,可选
cd ../../../legacy/model_zoo/gpt-3/external_ops/ && python3 setup.py install && cd -

```
## 3. 预训练
- 动态图训练
参考训练脚本 **run_pretrain_auto.sh**,运行8卡 dp2mp2pp2的并行策略。
- 动转静训练
参考训练脚本 **run_pretrain_auto.sh**,并开启 `to_static=1`,运行8卡 dp2mp2pp2的并行策略。

## 3. 静态图组网的训练方式

参考训练脚本 **run_pretrain_auto_static.sh**,运行8卡 dp2sharding2mp2pp2vpp2的并行策略。
参考训练脚本 **run_pretrain_auto_static_sp.sh**,运行8卡 dp2sharding2mp2pp2vpp2sp 的并行策略。
您可以参考 **run_pretrain_auto.sh**,按需求修改相关参数进行训练。
Loading

0 comments on commit 80fa645

Please # to comment.