使用昇腾卡910B时编译安装报错

[GenerallyCovetous]

-- PADDLE_CORE_LIB: /home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/paddle/base/libpaddle.so
-- Run 'git submodule update --init Paddle' in /home/ma-user/work/evaluation-sh/dulin_OCR/task3/layoutxlm_infer/PaddleCustomDevice-develop
fatal: not a git repository (or any parent up to mount point /home/ma-user)
Stopping at filesystem boundary (GIT_DISCOVERY_ACROSS_FILESYSTEM not set).
CMake Error at cmake/paddle.cmake:72 (message):
Failed to get submodule Paddle', please check your network !
Call Stack (most recent call first):
CMakeLists.txt:22 (include)

-- Configuring incomplete, errors occurred!

• cmake_error=1
• '[' 1 '!=' 0 ']'
• echo 'CMake Error Found !!!'
  CMake Error Found !!!
• exit 7
  这个 -submodule是指的什么？因为有网关的原因无法通过外网下载，该如何规避这个问题?

[YanhuiDua]

你好，这里指的是Paddle，报错是拉取Paddle的代码由于网络原因失败了。可以试一下手动把PaddleCustomDevice/Paddle更新到最新

[GenerallyCovetous]

你好，这里指的是Paddle，报错是拉取Paddle的代码由于网络原因失败了。可以试一下手动把PaddleCustomDevice/Paddle更新到最新
你好，请问具体应该怎么操作呢，我无法git外网，在Paddle主仓下载了zip解压然后rename成Paddle放在了PaddleCustomDevice目录下还是不行

[YanhuiDua]

你好，需要把cmake中

PaddleCustomDevice/cmake/paddle.cmake

Line 67 in c08dbdc

execute_process(

这句话删掉，但是编译时也会拉取第三方库，需要手动替换成gitee的源；

请问下你这里是有源码编译的需求吗？没有的话我可以编一个custom-npu给你

[GenerallyCovetous]

你好，需要把cmake中

PaddleCustomDevice/cmake/paddle.cmake

Line 67 in c08dbdc

execute_process(

这句话删掉，但是编译时也会拉取第三方库，需要手动替换成gitee的源；
请问下你这里是有源码编译的需求吗？没有的话我可以编一个custom-npu给你

你好，我没有源码编译的需求，目前是希望能在NPU上运行paddlepaddle的layoutxlm(paddleocr)模型，如果您能给我一个custom-npu就最好了，我的硬件是NPU 910B3, CANN 8.0.RC2

[YanhuiDua]

我们现在只支持CANN 8.0.RC1，请问满足你的需求吗

[GenerallyCovetous]

我们现在只支持CANN 8.0.RC1，请问满足你的需求吗

你好，可以试一下。如果不行的话，相当于就算编译拉取第三方库成功，在我RC2的硬件上也会有问题对吗

[GenerallyCovetous]

我们现在只支持CANN 8.0.RC1，请问满足你的需求吗
您好，请问能编一个custom-npu给我吗，感谢！

[GenerallyCovetous]

请问third_party里的库都需要吗，我看third_party.cmake中只写了gflags等四五个第三方库，但是我看paddle主仓的third_party目录下有很多第三方库，我是否可以直接下载zip然后解压到paddle/third_party目录下然后到paddlecustomdevice/backends/npu下执行bash tools/compile.sh？

[YanhuiDua]

稍等，我编译给你，CANN的版本不是硬件版本，是软件的toolkit的版本，你可以把你环境里的切换到CANN8.0.RC1。直接使用我们提供的镜像也是CANN8.0.RC1

[GenerallyCovetous]

稍等，我编译给你，CANN的版本不是硬件版本，是软件的toolkit的版本，你可以把你环境里的切换到CANN8.0.RC1。直接使用我们提供的镜像也是CANN8.0.RC1

请问我第三方库一个个解压的方式是否可行？

[YanhuiDua]

可以的，还需要修改cmake文件，把相关的git submodule update --init 删掉就行

whl包：https://ecloud.baidu.com?t=4224d15a9f6dd9e677464c2f5dd3dd3b

[GenerallyCovetous]

可以的，还需要修改cmake文件，把相关的git submodule update --init 删掉就行

whl包：https://ecloud.baidu.com?t=4224d15a9f6dd9e677464c2f5dd3dd3b
实在不好意思，您发的whl包链接我也打不开。我尝试自己解压第三方库，也删掉相关的git语句，现在报错如下:
[ 5%] Performing build step for 'extern_gflags'
[ 75%] Building CXX object CMakeFiles/gflags_static.dir/src/gflags_reporting.cc.o
[ 75%] Building CXX object CMakeFiles/gflags_static.dir/src/gflags_completions.cc.o
[ 75%] Building CXX object CMakeFiles/gflags_static.dir/src/gflags.cc.o
[ 75%] Building CXX object CMakeFiles/gflags_nothreads_static.dir/src/gflags.cc.o
[ 75%] Building CXX object CMakeFiles/gflags_nothreads_static.dir/src/gflags_reporting.cc.o
[ 75%] Building CXX object CMakeFiles/gflags_nothreads_static.dir/src/gflags_completions.cc.o
[ 87%] Linking CXX static library lib/libgflags_nothreads.a
[100%] Linking CXX static library lib/libgflags.a
[100%] Built target gflags_nothreads_static
[100%] Built target gflags_static
[ 6%] Performing install step for 'extern_gflags'
[100%] Built target gflags_nothreads_static
[100%] Built target gflags_static
Install the project...
[ 6%] Completed 'extern_gflags'
[ 6%] Built target extern_gflags
make: *** [Makefile:91: all] Error 2

• make_error=2
• '[' 2 '!=' 0 ']'
• echo 'Make Error Found !!!'
  Make Error Found !!!
• exit 7
  请问这个extern_第三方库是什么意思呢，还需要修改哪个位置才能编译呀

[GenerallyCovetous]

可以的，还需要修改cmake文件，把相关的git submodule update --init 删掉就行

whl包：https://ecloud.baidu.com?t=4224d15a9f6dd9e677464c2f5dd3dd3b

前面还有一些报错+ cmake_error=0

• '[' 0 '!=' 0 ']'
• '[' aarch64 == x86_64 ']'
• make TARGET=ARMV8 -j30
  [ 0%] Built target ascend_cl
  [ 0%] Creating directories for 'extern_gflags'
  [ 1%] Creating directories for 'extern_pybind'
  [ 1%] No download step for 'extern_gflags'
  [ 2%] No download step for 'extern_pybind'
  [ 2%] No update step for 'extern_gflags'
  [ 3%] No update step for 'extern_pybind'
  [ 4%] No patch step for 'extern_gflags'
  [ 4%] Performing patch step for 'extern_pybind'
  [ 5%] Performing configure step for 'extern_gflags'

[YanhuiDua]

你好，可以给我一个你的邮箱，我发给你whl包；

上面的编译错误应该是编译gflags库时的报错，具体报错从你提供的信息里看不出来;

可以参考这个issue：https://github.com/PaddlePaddle/Paddle/issues/40210，
把依赖的第三方库切换为gitee版本，具体修改在Paddle/external/*.cmake，例如glog.cmake修改为：https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake

[GenerallyCovetous]

你好，可以给我一个你的邮箱，我发给你whl包；

上面的编译错误应该是编译gflags库时的报错，具体报错从你提供的信息里看不出来;

可以参考这个issue：https://github.com/PaddlePaddle/Paddle/issues/40210， 把依赖的第三方库切换为gitee版本，具体修改在Paddle/external/*.cmake，例如glog.cmake修改为：https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake
我的邮箱是[email protected], 谢谢您的帮助

[GenerallyCovetous]

你好，可以给我一个你的邮箱，我发给你whl包；

上面的编译错误应该是编译gflags库时的报错，具体报错从你提供的信息里看不出来;

可以参考这个issue：https://github.com/PaddlePaddle/Paddle/issues/40210， 把依赖的第三方库切换为gitee版本，具体修改在Paddle/external/*.cmake，例如glog.cmake修改为：https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake

不好意思，请问可以再编译一个轮子发我邮箱吗，忘记说明环境是aarch64的了，不是x86的

[qili93]

你好，可以给我一个你的邮箱，我发给你whl包；
上面的编译错误应该是编译gflags库时的报错，具体报错从你提供的信息里看不出来;
可以参考这个issue：https://github.com/PaddlePaddle/Paddle/issues/40210， 把依赖的第三方库切换为gitee版本，具体修改在Paddle/external/*.cmake，例如glog.cmake修改为：https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake

不好意思，请问可以再编译一个轮子发我邮箱吗，忘记说明环境是aarch64的了，不是x86的

您好，现在飞桨官网已经支持最新WHL的包的下载了，您可以直接参考这个官网文档安装
https://www.paddlepaddle.org.cn/install/quick?docurl=undefined

也可以直接在2个链接里面下载到对应的whl安装包，x86和aarch64的都有
https://www.paddlepaddle.org.cn/packages/nightly/cpu/paddlepaddle/
https://www.paddlepaddle.org.cn/packages/nightly/npu/paddle-custom-npu/

[GenerallyCovetous]

你好，可以给我一个你的邮箱，我发给你whl包；
上面的编译错误应该是编译gflags库时的报错，具体报错从你提供的信息里看不出来;
可以参考这个issue：https://github.com/PaddlePaddle/Paddle/issues/40210， 把依赖的第三方库切换为gitee版本，具体修改在Paddle/external/*.cmake，例如glog.cmake修改为：https://gitee.com/kyleson/Paddle/blob/build_cn/cmake/external/glog.cmake

不好意思，请问可以再编译一个轮子发我邮箱吗，忘记说明环境是aarch64的了，不是x86的

您好，现在飞桨官网已经支持最新WHL的包的下载了，您可以直接参考这个官网文档安装 https://www.paddlepaddle.org.cn/install/quick?docurl=undefined

也可以直接在2个链接里面下载到对应的whl安装包，x86和aarch64的都有 https://www.paddlepaddle.org.cn/packages/nightly/cpu/paddlepaddle/ https://www.paddlepaddle.org.cn/packages/nightly/npu/paddle-custom-npu/

我看到python39只有x86的，aarch64只有cp310的，请问能提供一下cp39的aarch64吗

[YanhuiDua]

可以装一个虚拟的py10环境会更方便哈

[GenerallyCovetous]

可以装一个虚拟的py10环境会更方便哈
@qili93
你好，使用whl安装发生报错:
Traceback (most recent call last):
File "", line 1, in
File "/envs/paddle_npu/lib/python3.10/site-packages/paddle/init.py", line 37, in
from .base import core # noqa: F401
File "/envs/paddle_npu/lib/python3.10/site-packages/paddle/base/init.py", line 207, in
bootstrap()
File "/envs/paddle_npu/lib/python3.10/site-packages/paddle/base/init.py", line 199, in bootstrap
core.init_devices()
ValueError: (InvalidArgument) Fail to open library: /envs/paddle_npu/lib/python3.10/site-packages/paddle_custom_device/libpaddle-custom-npu.so with error: liblcal.so: cannot open shared object file: No such file or directory
[Hint: dso_handle should not be null.] (at /paddle/paddle/fluid/platform/init.cc:152)

[YanhuiDua]

你好，请按照readme中的步骤启动容器（https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/npu/README.md），需要把物理机的/usr/local/Ascend/driver映射进容器里

docker run -it --name paddle-npu-dev -v $(pwd):/work
--privileged --network=host --shm-size=128G -w=/work
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi
-v /usr/local/dcmi:/usr/local/dcmi
-e ASCEND_RT_VISIBLE_DEVICES="0,1,2,3,4,5,6,7"
registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-$(uname -m)-gcc84-py310 /bin/bash

[Irisnotiris]

你好，需要把cmake中

PaddleCustomDevice/cmake/paddle.cmake

Line 67 in c08dbdc

execute_process(

这句话删掉，但是编译时也会拉取第三方库，需要手动替换成gitee的源；
请问下你这里是有源码编译的需求吗？没有的话我可以编一个custom-npu给你

老师您好，我这边910显卡编译时也遇到了同样的网络问题。请问下如何手动替换成gitee的源呢？