启用GPU索引时,GPU内存池的作用是什么? #46905
Replies: 1 comment 8 replies
-
|
initMemSize是milvus启动时就预先划了一块显存,其他进程不能使用这块显存,只能milvus使用。 很简单,打个比方,你这张显卡有48个车位(48GB),milvus公司先占用了2个作为自己的固定车位,如果milvus公司2个车位(2GB)不够用,它就会申请获得更多的车位,但最多它只能获得4个车位(4GB)。其他的车位随便其他公司或者社会车辆使用。 “While there is no set limit for GPU_BRUTE_FORCE, it is recommended not to exceed 4,096 to avoid potential performance issues.” ------------ 这里说的 "limit"是指topk,就是search时指定要返回的结果集个数。不是指的maxMemSize |
Beta Was this translation helpful? Give feedback.
Uh oh!
There was an error while loading. Please reload this page.
-
环境
概述
GPU_BRUTE_FORCE。float16。Maximum pool size exceeded、Not enough room to grow的错误。检查后确认是“GPU内存池”的最大值不足,导致不能申请更多的显存。该值从4096调大为8192,运行一段时间后仍会报此错误。注意:此时显存还有10GB左右的可用空间。疑问
4096会导致不足,那么设置为更大是不是错误的?Beta Was this translation helpful? Give feedback.
All reactions