启用GPU索引时，GPU内存池的作用是什么？

[fox0001]

环境

• Milvus版本：2.5.19-GPU-Standalone
• 部署模式：Docker Compose
• GPU：Nvidia GeForce RTX 4090D
• 显存：48GB

概述

• 为了实现召回率1（即召回100%），使用GPU索引GPU_BRUTE_FORCE。
• 数据量为800万级别，维度1536，类型float16。
• 启动Milvus后，所有向量顺利加载到GPU显存，并能正常查询。
• 由于业务需要，新数据逐条插入，并在插入后立刻查询，确保该数据已插入Milvus。
• 项目运行一段时间后，日志会出现Maximum pool size exceeded、Not enough room to grow的错误。检查后确认是“GPU内存池”的最大值不足，导致不能申请更多的显存。该值从4096调大为8192，运行一段时间后仍会报此错误。注意：此时显存还有10GB左右的可用空间。

疑问

• 1. “GPU内存池”的作用是什么？
  • 官方文档提到“从 Milvus 2.4.1 起，GPU 内存池仅用于搜索期间的临时 GPU 数据。”，我理解的是“GPU内存池”与GPU索引数据是两个空间，互不干扰，对吧？
  • “搜索期间的临时 GPU 数据”，具体是什么？我理解，应该是搜索时传入的向量，需要放入GPU显存。除了这个，是否还包含其它数据？
• 2. “GPU内存池”的临时数据，如何清理？
  • 既然是临时数据，应该有个逻辑或机制，实现自动清理，避免无限膨胀吧？
  • 是否有API可以手动清理？遇到自动清理不及时的情况，想手动清理。
• 3. “GPU内存池”的值该如何设置？
  • 对应的参数为：

    gpu:
      initMemSize: 2048
      maxMemSize: 4096
    

  • 官方文档提到“虽然GPU_BRUTE_FORCE 没有设定限制，但建议不要超过 4096，以避免潜在的性能问题”，但是设置为4096会导致不足，那么设置为更大是不是错误的？
  • 如果“GPU内存池”的临时数据，有自动清理的机制，是不是我应该减慢插入速度，或者插入后等1秒再查询该新数据？

[yhmo]

initMemSize是milvus启动时就预先划了一块显存，其他进程不能使用这块显存，只能milvus使用。
maxMemSize，当预先分配的那块initMemSize显存不够milvus用时，milvus会继续申请更多的显存，直到达到maxMemSize就不能再继续申请。

很简单，打个比方，你这张显卡有48个车位(48GB)，milvus公司先占用了2个作为自己的固定车位，如果milvus公司2个车位(2GB)不够用，它就会申请获得更多的车位，但最多它只能获得4个车位(4GB)。其他的车位随便其他公司或者社会车辆使用。
那如果milvus公司有8辆车，就停不下了，你就会看到Maximum pool size exceeded、Not enough room to grow的错误。
那milvus公司到底有几辆车？看数据大小，800万级别，维度1536，类型float16，这就是至少24GB(我按16位算的，但有可能是按32位加载)，也就是24辆车，远远不够用。
它要搜索，就必须把这800万数据全加载进显存，而不是以"swap"的方式加载，这是关键。

“While there is no set limit for GPU_BRUTE_FORCE, it is recommended not to exceed 4,096 to avoid potential performance issues.” ------------ 这里说的 "limit"是指topk，就是search时指定要返回的结果集个数。不是指的maxMemSize

[yhmo]

在maxMemSize之内的使用量，不会看作是内存泄漏。目前已知的issue里也没有关于GPU显存泄漏的bug。也没有接口可以清理。
你可以试一下用较小的数据集，比如100万条数据，不停地search，并观察显存的使用情况，看是否呈现上升趋势。

[xiaofan-luan]

我的理解是因为索引建不出来，growing无法替换，写满了8G了。

最好能提供一下日志看看

[xiaofan-luan]

因为走的FLAT，逻辑上不应该存在索引建不出来

[fox0001]

我的理解是因为索引建不出来，growing无法替换，写满了8G了。

最好能提供一下日志看看

是不是可以这样理解？

1. 新增数据，未创建索引，但又要查询，就会先放到这个“GPU内存池”。
2. 新增数据，索引创建完成，就会清除“GPU内存池”中对应的数据。

[yhmo]

我的理解是因为索引建不出来，growing无法替换，写满了8G了。
最好能提供一下日志看看

是不是可以这样理解？

1. 新增数据，未创建索引，但又要查询，就会先放到这个“GPU内存池”。
2. 新增数据，索引创建完成，就会清除“GPU内存池”中对应的数据。

GPU_BRUTE_FORCE实际上是FLAT索引，也就是暴搜，其实没有索引，向量数据原封不动地加载进显存，搜索时每条向量都计算distance。
新增数据，形成sealed segment之后，直接放进GPU显存。只要你调用了load_collection()，这张表的新增数据形成的sealed segment都会自动加载进显存。
由于2.4.1的这个改动 zilliztech/knowhere#559 ，那个显存池只用来限制搜索的临时数据，所谓临时数据就是搜索时临时存放的中间结果集之类的。sealed segment加载所占用的那部分显存，不算在maxMemSize之内。
大致就是显存里分成两个房间，一个用来放向量，一个用来放搜索的临时数据，各管各的