[MoE] add expert tensor parallelism support for NeMo2.0 MoE #69220
Job | Run time |
---|---|
3m 42s | |
3m 35s | |
3m 43s | |
3m 47s | |
3m 44s | |
3m 56s | |
2m 22s | |
2m 0s | |
2m 9s | |
2m 47s | |
2m 2s | |
2m 42s | |
36m 29s |
Job | Run time |
---|---|
3m 42s | |
3m 35s | |
3m 43s | |
3m 47s | |
3m 44s | |
3m 56s | |
2m 22s | |
2m 0s | |
2m 9s | |
2m 47s | |
2m 2s | |
2m 42s | |
36m 29s |