Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[WeeklyReports] 2023.10.10~2023.10.24 周报汇总 #34

Closed
23 tasks done
MarioLulab opened this issue Oct 25, 2023 · 23 comments
Closed
23 tasks done

[WeeklyReports] 2023.10.10~2023.10.24 周报汇总 #34

MarioLulab opened this issue Oct 25, 2023 · 23 comments
Assignees
@Ligoml @MarioLulab @Lylinnnnn
Labels
weekly reports weekly report commits from members

Comments

@MarioLulab
Copy link
Collaborator

MarioLulab commented Oct 25, 2023 •
edited
Loading

[WeeklyReports] 2023.10.10~2023.10.24 周报汇总

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周四晚，格式示例如下：

### 姓名

xxx

### 本周工作

1. xxx
2. xxx
 
### 下周工作

1. xxx
2. xxx

### 详细周报链接：

https://github.com/PFCCLab/Camp/pulls/xxx

请各营员完成后在下面的对应项目前打勾，完成情况：

项目一：算子规范和 ProgramTranslator 功能优化

项目二：新 IR Pass 建设和依赖的核心组件完善

项目三：新 IR API + 自动微分推全和核心组件完善

项目四：组合机制前反向架构统一

项目五：算子支持复数计算专项

项目六：量化算子集成

项目七：开源模型加速复现

项目八：CPU 融合算子 / GPU 算子融合 pass

项目九：动态图半自动并行架构研发

项目十：静态图半自动并行执行架构升级

项目十一：分布式能力矩阵建设

项目十二：全自动并行架构升级

项目十三：科学计算领域拓展专项

项目十四：Clas 套件全流程建设

项目十五：3D 方向模型全流程建设

项目十六：Nougat 复现及优化

项目十七：NLP 大模型复现

项目十八：套件压缩能力建设

项目十九：PIR 适配 AI 编译器 CINN

项目二十：PIR 子图验证+核心机制完善

项目二十一：PIR 核心组件建设与机制完善

项目二十二：PIR 动转静组件建设与单测验证推全

项目二十三：模型迁移工具建设
@MarioLulab MarioLulab added the weekly reports weekly report commits from members label Oct 25, 2023
@AndSonder
Copy link
Collaborator

AndSonder commented Oct 25, 2023 •
edited
Loading

姓名

卢畅

本周工作

本项目第一个功能为可视化静态图自动并行时序图。由于当下大模型的训练时间较长，分布式训练时序图的可视化对于调试和分析模型的训练过程非常重要。当下没有工具能够直接给出各个GPU设备上不同Job的运行区间，因此我们需要设计一个可视化工具来实现这个功能。

本周工作如下：

  1. 设计静态图自动并行可视化时序图
  2. 编码实现讨论后的方案

相关PR:

下周工作

  1. 将 flag 修改为命令行参数
  2. 完善可视化时序图的功能、在多机环境下测试
  3. 完善设计文档和使用文档

详细周报链接：

@MarioLulab
Copy link
Collaborator Author

MarioLulab commented Oct 25, 2023 •
edited by Ligoml
Loading

姓名

陆琦

本周工作

本项目的第一步是统计待迁移验证的 PIR API， paddle 内部研发人员之前已统计了使用频次 >= 40 次的 API 表格，我需要统计 < 40 次的 API 表格。目前该项目的第一步已经完成，正式发布了 272 个 API。

本周工作如下：

  1. 整理统计和正式发布第三期的 PIR 待迁移的API。发布 2 个 issues，任务发布 issue 接入黑客松助手进行任务统计
  2. 推进 PIR API 推全验证工作，完成 9 个 PR

下周工作

  1. 与外部开发者协作沟通，管理任务发布和 bug 修复 issue，推进 API PIR 下的推全验证工作
  2. 继续推进 API PIR 下的迁移工作

详细周报链接：

@DanGuge
Copy link
Contributor

DanGuge commented Oct 25, 2023 •
edited by Ligoml
Loading

姓名

吴晨灿

本周工作

本项目的第一个优化模型为Vision Transformer，需要先对现有模型进行性能分析，通过profile结果，分析性能瓶颈并进行优化

本周工作如下：

  1. 学习了解Vision Transformer基本结构
  2. 对transformer attention qkv计算算子进行性能优化

相关PR：

下周工作

  1. 优化attention中transpose/reshape等操作

详细周报链接：

@kevincheng2
Copy link
Contributor

kevincheng2 commented Oct 25, 2023 •
edited by Ligoml
Loading

姓名

程延福

本周工作

了解组合规则迁移和组合规则下沉，完成 relu 的反向规则迁移

本周工作如下：

  1. 熟悉静态图场景组合机制的迁移方法，熟悉单测，完成relu的反向迁移
  2. 熟悉组合规则下沉方法，准备完成relu的前向下沉
    相关PR：

下周工作

  1. 实现relu的前向拆解下沉
  2. 结合源码，理解 call_decomp 、call_vjp 的调用规则
  3. 其他算子的迁移和拆解工作

详细周报链接：

@zrr1999
Copy link
Contributor

zrr1999 commented Oct 25, 2023 •
edited
Loading

姓名

詹荣瑞

本周工作

  1. 熟悉 PIR 核心组件与机制
  2. 迁移部分算子到 PIR

相关PR：

下周工作

  1. 迁移 expand、solve、diag、linspce 等算子到 PIR。

详细周报链接：

This was referenced Oct 25, 2023
Merged
Merged
@Wanglongzhi2001
Copy link
Contributor

Wanglongzhi2001 commented Oct 25, 2023 •
edited
Loading

姓名

王龙志

本周工作

  1. 熟悉 PaddleSlim 和 Paddle Inference 现状
  2. 阅读源码熟悉 PaddleSlim 的量化流程、Paddle Inference 的 TRT 低精度推理流程以及从 PaddleSlim 的产物到 Paddle Inference之间的联系

下周工作

  1. 开始相关 Pass 的开发

详细周报链接：

@MarioLulab MarioLulab mentioned this issue Oct 25, 2023
Merged
@zyt1024
Copy link
Contributor

zyt1024 commented Oct 25, 2023

姓名

张玉涛

本周工作

  1. 学习复数自动微分
  2. 添加复数算子支持

相关PR：

下周工作

  1. 完成tril和tril_grad、triu和triu_grad、tril_triu和tril_triu_grad、put_along_axis和put_along_axis_grad等算子的复数支持工作
  2. 继续研读 复数自动微分文档
  3. 对需要额外增加复数逻辑的复数算子进行增强

详细周报链接：

@xingmingyyj
Copy link
Contributor

xingmingyyj commented Oct 25, 2023 •
edited by Ligoml
Loading

姓名

朱新明

本周工作

  1. 阅读Paddle基于Yaml配置自动生成算子定义逻辑
  2. 梳理静态图执行流程
  3. 学习新Ir计算图翻译机制
  4. 尝试修复部分算子

下周工作

  1. 修复算子exponential，randint，real_imag, seed_op, sparse_momentum，repeat_interleave
  2. 继续熟悉算子执行流程

详细周报链接：

@gouzil
Copy link
Contributor

gouzil commented Oct 25, 2023 •
edited
Loading

姓名

田川

本周工作

  1. cityscapes 模型问题复现
  2. 熟悉动转静单测机制
  3. 参与 hackathon No.49 python端补齐OpResult的patch方法 熟悉 PIR

下周工作

  1. 动转静单测机制推全
  2. OpResult运算逻辑补全

详细周报链接：

@HermitSun
Copy link
Contributor

HermitSun commented Oct 25, 2023 •
edited by Ligoml
Loading

姓名

孙逸伦

本周工作

  1. 跟进自动并行最新进展，阅读相关论文
  2. 了解任务需求，学习自动并行 reshard 策略

下周工作

  1. 尝试补全同placement一维mesh相关策略

详细周报链接：

@xusuyong
Copy link
Contributor

xusuyong commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

徐苏勇

本周工作

  1. 改造PaddleScience下的案例laplace2d的代码为Hydra的形式
  2. 学习理解用DDPM算法从低分辨数据重构高分辨率数据

相关PR：

下周工作

  1. 学习物理信息扩散模型，理解它是如何将物理信息加入DDPM算法的。
  2. 调研SU2与DDPM的结合使用方式

详细周报链接：

@DrRyanHuang
Copy link
Contributor

DrRyanHuang commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

黄子豪

本周工作

  1. 熟悉 PIR 核心组件与机制
  2. 阅读 build_cinn_pass_test 源码
  3. 新IR Python API适配升级
  4. matmul 算子映射收尾工作

相关PR：

下周工作

  1. 新IR Python API适配升级：178, 169, 137, 34, 129, 152, 187, 197, 219-221, 225, 227
  2. 完成新IR build_cinn_pass_test

详细周报链接：

@ranchongzhi
Copy link
Contributor

ranchongzhi commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

冉崇治

本周工作

  1. 熟悉PaddleSlim以及Paddle Inference
  2. 尝试解决PaddleSeg在自动压缩过程中的问题

下周工作

  1. 总结Paddle Inference的基本原理
  2. 尝试解决PaddleDetection中使用ACT用到的问题

详细周报链接：

@Xinyu302
Copy link
Contributor

Xinyu302 commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

杨新宇

本周工作

  1. 新IR-Pass-推理单测基础设施搭建

  2. 完成fuse_conv pass的迁移

  3. 自动混合精度pass迁移工作的准备

相关pr:

下周工作

  1. 撰写自动混合精度pass的实现方案

详细周报链接：

@yangguohao
Copy link
Contributor

yangguohao commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

杨国浩

本周工作

  1. 在新IR下添加 memcpyOp，修复动转静单测 test_tensor_memcpy_to_cpu, test_tensor_memcpy_to_gpu
  2. 修复了新 IR 下 memcpyOp 选 kernel 的相关问题。**
  3. 撰写代码串讲的相关内容

下周工作

  1. 在新 IR 下添加 fused_elemwise_add_activation Op，修复test_build_strategy.
  2. 完成串讲材料的补充，和导师进行第二次讨论
  3. 对 test_len、test_seq2seq 单测错误的分析定位。

详细周报链接：

@SecretXV
Copy link
Contributor

SecretXV commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

SecretXV

本周工作

  1. sharding stage1 fp16添加main_grad支持
  2. 验证sharding stage1 fp16/bf16 + main_grad功能

相关PR：

  1. Stage1 support main grad PaddlePaddle/Paddle#57972
  2. Stage1 support bf16 PaddlePaddle/Paddle#58212

下周工作

  1. 组合并行策略验证（例如：sharding + dp）

详细周报链接：

@kongdebug
Copy link
Contributor

kongdebug commented Oct 26, 2023 •
edited by Ligoml
Loading

姓名

孔远杭

本周工作

  1. 阅读与理解实习项目需要复现的论文Fast-BEV
  2. 为Paddle3D添加Fast-BEV对NuScenes数据预处理的代码

相关代码：create_fastbev_nus_infos_seq_converter

下周工作

  1. 完成Fast-BEV的NuScenes数据集类的定义
  2. 完成Fast-BEV模型组网复现，并前向对齐

详细周报链接：

@rampage0303
Copy link
Contributor

rampage0303 commented Oct 27, 2023 •
edited by Ligoml
Loading

姓名

罗震宇

本周工作

  1. 模型原文分析
  2. 复现指标分析
  3. 结合复现指南及源码明确工作安排

下周工作

  1. 完成仿真环境的搭建
  2. 在此基础上完成对gpt-j-6B模型依次进行权重转换、前向对齐、评价指标对齐、损失函数对齐

详细周报链接：

@RedContritio
Copy link
Contributor

RedContritio commented Oct 31, 2023 •
edited
Loading

姓名

刘宇博

本周工作

  1. 更新部分 Tensor inplace method api 的映射规则
  2. 添加部分 Tensor inplace method api 的映射文档
  3. 修复部分不符合规范的映射文档
  4. 映射主目录自动生成

下周工作

  1. 添加目录中存在，但内容缺失的映射文档；
  2. 参考现有构建流程，将映射目录生成流程加入到文档构建过程中；
  3. 参考现有 ci 流程，将映射文档检查流程加入到 ci 流程中；
  4. 在 PaConvert 中添加检查工具，用于验证映射文档与映射规则 （api_aliases 和 api_mapping）的一致性，并兼顾检查缺失文档、未添加映射功能。

详细周报链接：

@zhangyuqin1998
Copy link
Contributor

zhangyuqin1998 commented Oct 31, 2023 •
edited by Ligoml
Loading

姓名

张钰钦

本周工作

  1. 梳理飞桨目前执行器的流程
  2. 新IR常量折叠问题分析

下周工作

  1. 搭建 新 ir 常量折叠的 demo 并跑通
  2. 搭建 UT

详细周报链接：

@psky1111
Copy link
Contributor

psky1111 commented Nov 1, 2023 •
edited by Ligoml
Loading

姓名

宋铠玉

本周工作

  1. swin transformer, CLIP vision 多分辨率支持
  2. 大模型研讨

下周工作

  1. 大模型backbone视觉部分前向对齐
  2. 研讨backward对齐

详细周报链接：

@Frida-a
Copy link
Contributor

Frida-a commented Nov 1, 2023 •
edited by Ligoml
Loading

姓名

侯悦欣

本周工作

  1. 文献和源码阅读
  2. 实现思路整理

下周工作

  1. 复现原仓库推理结果、工具函数
  2. 制作简单数据集，复现训练过程
  3. 阅读原仓库源码，与PPOCR现有模块进行对比，确定可复用的模块和需要添加的新模块

详细周报链接：

@Corle-hyz
Copy link
Contributor

Corle-hyz commented Nov 2, 2023 •
edited by Ligoml
Loading

姓名

何咏哲

本周工作

  1. 学习Llama显存模型的相关内容
  2. 尝试建立一个初步的模型预估Llama 1-13B模型在单机8卡下的显存占用

下周工作

  1. 明确Llama相较于Transformer修改的地方
  2. 仿照《Reducing Activation Recomputation in Large Transformer Models》的方式，从理论推导给出Llama的激活内存模型。

详细周报链接：

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@Ligoml Ligoml

@MarioLulab MarioLulab

@Lylinnnnn Lylinnnnn

Labels
weekly reports weekly report commits from members
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests