Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

paddle2.0.0.beta0的内存泄露问题 #971

Closed
w-Bro opened this issue Oct 20, 2020 · 13 comments
Closed

paddle2.0.0.beta0的内存泄露问题 #971

w-Bro opened this issue Oct 20, 2020 · 13 comments

Comments

@w-Bro
Copy link

w-Bro commented Oct 20, 2020

cpu下初始化完占用内存300多兆,识别完一张图片会到6G,识别完也不会释放内存,之后会越占越高。

@littletomatodonkey
Copy link
Collaborator

可以提供下你的运行平台,运行脚本和配置吗?

@acrobatman
Copy link

可以提供下你的运行平台,运行脚本和配置吗?

我的机器配置为8核64G内存,centos7+docker,只要连续的识别图片,内存就会持续上涨,最终内存会耗尽,进程退出;
运行脚本如下:
/usr/local/python3.7.0/bin/python3 ./tools/infer/paddle_httpsrv.py --det_model_dir="./inference/ch_ppocr_server_v1.1_det_infer/" --rec_model_dir="./inference/ch_ppocr_server_v1.1_rec_infer-vm/" --cls_model_dir="./inference/ch_ppocr_mobile_v1.1_cls_infer/" --enable_mkldnn=True --rec_batch_num=6 --use_zero_copy_run=True --det_max_side_len=960 --use_angle_cls=False --use_gpu=False

至于配置你希望了解哪个配置?

@littletomatodonkey
Copy link
Collaborator

你好,麻烦确保使用Paddle2.0.0b0版本的Paddle,同时看下是否为最新代码吧~

@w-Bro
Copy link
Author

w-Bro commented Oct 22, 2020

你好,麻烦确保使用Paddle2.0.0b0版本的Paddle,同时看下是否为最新代码吧~

我也是centos7,docker和非docker都是用的hubserving,Paddle2.0.0b0。

@littletomatodonkey
Copy link
Collaborator

hubserving中的话,这个是一个已知问题哈~可以参考这里:PaddlePaddle/PaddleHub#682

@acrobatman
Copy link

acrobatman commented Oct 22, 2020

可以提供下你的运行平台,运行脚本和配置吗?

我的机器配置为8核64G内存,centos7+docker,只要连续的识别图片,内存就会持续上涨,最终内存会耗尽,进程退出;
运行脚本如下:
/usr/local/python3.7.0/bin/python3 ./tools/infer/paddle_httpsrv.py --det_model_dir="./inference/ch_ppocr_server_v1.1_det_infer/" --rec_model_dir="./inference/ch_ppocr_server_v1.1_rec_infer-vm/" --cls_model_dir="./inference/ch_ppocr_mobile_v1.1_cls_infer/" --enable_mkldnn=True --rec_batch_num=6 --use_zero_copy_run=True --det_max_side_len=960 --use_angle_cls=False --use_gpu=False

至于配置你希望了解哪个配置?

我今天上午从github上下载最新代码,重新部署了一遍,测试了60张图片,内存占用从2.18G上涨到12.4G,并且只要进程不退出,内存就不下降。我目前没有使用GPU,仅用CPU

@w-Bro
Copy link
Author

w-Bro commented Oct 22, 2020

hubserving中的话,这个是一个已知问题哈~可以参考这里:PaddlePaddle/PaddleHub#682

pdserving会有这个问题吗,好像pdserving的部署文档不见了

@moneyonmymind12
Copy link

hubserving中的话,这个是一个已知问题哈~可以参考这里:PaddlePaddle/PaddleHub#682

用的移动版的模型chinese_ocr_db_crnn_mobile,CPU版 调用模型测试也有内存溢出问题,大概测试十几张会占到8G CPU,有解决办法吗

9 def get_image(url):
10 try:
11 request = urllib.request.Request(url)
12 response = urllib.request.urlopen(request)
13 get_img = response.read()
14 with open('1.jpg','wb') as fp:
15 fp.write(get_img)
16 print('图片下载完成')
17 except:
18 print('访问空')
19
20 def main():
21 passmac=[]
22 imglist=[]
23 imgcsv=pd.read_csv('drop.csv',names=['link'])
24 for i,r in imgcsv.iterrows():
25 print(r['link'])
26 get_image(r['link'])
27 paddle('1.jpg')
28
29 def paddle(img):
30 image_path= img
31 ocr = hub.Module(name="chinese_ocr_db_crnn_mobile")
34 np_images =[cv2.imread(image_path)] #读取测试文件夹test.txt中的照片路径
35 results = ocr.recognize_text(
36 images=np_images, #图片数据,ndarray.shape 为 [H, W, C],BGR格式;
37 use_gpu=False, #是否使用 GPU;若使用GPU,请先设置CUDA_VISIBLE_DEVICES环境变量
38 output_dir='ocr_result', #图片的保存路径,默认设为 ocr_result;
39 visualization=True, #是否将识别结果保存为图片文件;
40 box_thresh=0.5, #检测文本框置信度的阈值;
41 if name=='main':
64 main()

@BrightHai
Copy link

遇到相同问题,移动版模型CPU计算,第一次调用后达到3G内存然后持续增加

@nblib
Copy link

nblib commented Nov 9, 2020

我调试修改代码观察发现:

  1. 将检测和识别的图片固定大小,比如检测固定为(960,960), 识别固定为(3,32,512)
  2. 将识别算法的batch_size固定大小,比如固定为10,不足10的,重复为10, 确保每次调用识别的zero_copy_run()时的batch_size都固定大小

满足以上两个条件,GPU内存不再增长
@littletomatodonkey

@paddle-bot-old
Copy link

Since you haven't replied for more than 3 months, we have closed this issue/pr.
If the problem is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up.
It is recommended to pull and try the latest code first.
由于您超过三个月未回复,我们将关闭这个issue/pr。
若问题未解决或有后续问题,请随时重新打开(建议先拉取最新代码进行尝试),我们会继续跟进。

@xbbkok
Copy link

xbbkok commented Dec 15, 2021

这个问题都没解决,就关闭了?

@rikichou
Copy link

我也遇到了,2.2.1+cu111,内存一直往上飙,最后64G内存全部用完就被系统kill了,真是无语

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

8 participants