99方法
1010:::::::::::: 
1111all_reduce(input, mode="sum", comm_world="worker")
12- ''''''''' 
12+ ''''''''''''''''''''''''''''''''''''''''''''''''''  
1313在指定的通信集合间进行归约操作,并将归约结果返回给集合中每个实例。
1414
1515**参数 **
@@ -27,7 +27,7 @@ Numpy.array|None:一个和 ``input`` 形状一致的 numpy 数组或 None。
2727COPY-FROM: paddle.distributed.fleet.UtilBase.all_reduce
2828
2929barrier(comm_world="worker")
30- ''''''''' 
30+ ''''''''''''''''''''''''''''  
3131在指定的通信集合间进行阻塞操作,以实现集合间进度同步。
3232
3333**参数 **
@@ -39,7 +39,7 @@ barrier(comm_world="worker")
3939COPY-FROM: paddle.distributed.fleet.UtilBase.barrier
4040
4141all_gather(input, comm_world="worker")
42- ''''''''' 
42+ ''''''''''''''''''''''''''''''''''''''''  
4343在指定的通信集合间进行聚合操作,并将聚合的结果返回给集合中每个实例。
4444
4545**参数 **
@@ -56,7 +56,7 @@ all_gather(input, comm_world="worker")
5656COPY-FROM: paddle.distributed.fleet.UtilBase.all_gather
5757
5858get_file_shard(files)
59- ''''''''' 
59+ '''''''''''''''''''''  
6060在数据并行的分布式训练中,获取属于当前训练节点的文件列表。
6161
6262.. code-block :: text 
@@ -77,8 +77,7 @@ get_file_shard(files)
7777COPY-FROM: paddle.distributed.fleet.UtilBase.get_file_shard
7878
7979print_on_rank(message, rank_id)
80- ''''''''' 
81- 
80+ ''''''''''''''''''''''''''''''''' 
8281在编号为 `rank_id ` 的节点上打印指定信息。
8382
8483**参数 **
@@ -88,4 +87,4 @@ print_on_rank(message, rank_id)
8887
8988**代码示例 **
9089
91- COPY-FROM: paddle.distributed.fleet.UtilBase.print_on_rank
90+ COPY-FROM: paddle.distributed.fleet.UtilBase.print_on_rank
0 commit comments