推荐一篇讲decoding搜索策略的文章，应该可以通过设置decoding参数解决issue里很多输出不停的问题

[sunyuhan19981208]

https://towardsdatascience.com/the-three-decoding-methods-for-nlp-23ca59cb1e9d

就是这篇文章，主要就是将了大模型也会用到的三种decoding搜索策略，issue里面很多人都提到了输出不停，循环输出的问题，那么通过设置temperature提高random sampling的使用概率我觉得就有可能能解决这一问题，无论是greedy decoding还是beam search都会导向固定的结果，就有可能出现循环，random sampling是在多种可能的token里按置信度概率去随机选下一个token，这样就可能跳出循环

[airaria]

但temperature过高也有坏处，可能会导致对事实性问题回答的准确率降低。