[BUG/Help] <Out of range: piece id is out of range.>

[LiuChen19960902]

Is there an existing issue for this?

• I have searched the existing issues

Current Behavior

今天早上跟着hf里面更新的一遍模型和几个py文件，然后就开始出这个错误了

Expected Behavior

今天早上跟着hf里面更新的一遍模型和几个py文件，然后就开始出这个错误了

Steps To Reproduce

• OS:
• Python:
• Transformers:
• PyTorch:
• CUDA Support (python -c "import torch; print(torch.cuda.is_available())") :

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[natureLanguageQing]

我也遇到了这个问题

[duzx16]

如果是在ptuning里遇到这个问题的话，请重新pull一下本仓库的代码

[FeiWard]

重新pull之后还是一样的错误

[zy86603465]

我也遇到同样的问题，怎么解决呢？

[genius0182]

我发现https://huggingface.co/THUDM/chatglm-6b/blob/main/configuration_chatglm.py上的这里

和https://huggingface.co/THUDM/chatglm-6b/blob/main/config.json

数据不一样。不知道是不是这里的问题。 @duzx16

[zy86603465]

@genius0182
我都改成
"bos_token_id": 130004,
"eos_token_id": 130005,
"mask_token_id": 130000,
"gmask_token_id": 130001,
试了一下，还是报原来的错

[Data2Me]

我也遇到了这个问题

[zy86603465]

这个问题我解决了，把所有的模型文件和配置及代码更新一下就可以了

[duzx16]

我发现https://huggingface.co/THUDM/chatglm-6b/blob/main/configuration_chatglm.py上的这里 和https://huggingface.co/THUDM/chatglm-6b/blob/main/config.json 数据不一样。不知道是不是这里的问题。 @duzx16

图1是默认的值，图2是实际设置的值，不冲突。

[kingtigerc]

我今天新拉的代码和模型，也发生这个问题。这是什么原因导致的?

[kingtigerc]

重新pull,重新拉模型，重新pip install -r requirements.txt,解决了

[lrx1213]

遇到了同样的问题

[JimXiongGM]

遇到了同样的问题，应该是tokenizer decode时候有bug，但是再次生成，有时候又不会有问题。

可以尝试加try绕过这个问题：

  retry_cnt=0
  while retry_cnt < 5:
      try:
          response, history = model.chat(
              tokenizer,
              query,
              history=[],
              max_length=512,
              num_beams=5,
              do_sample=True,
              top_p=0.7,
              temperature=0.95,
          )
          break
      except Exception as e1:
          retry_cnt += 1

[zhangyuanscall]

就是decode源码有问题，我用同一个权重版本的chatglm，尝试多种解码参数，有的解码参数没问题，有的解码参数就有问题

[ysanimals]

用的是另外的仓库微调的代码，请问应该如何解决这个decode出现问题

[Doufanfan]

+1, decode源码的这个问题要怎么解决。。。

[godcrying]

所以，这个issue为什么关闭了？

[ryzn0518]

所以，这个issue为什么关闭了？

+1 我也遇到了

[yecphaha]

参考 https://huggingface.co/THUDM/chatglm3-6b/commit/ea563876364622a0a5c24e6b71db0b93a9861ba0#d2h-069285
在 tokenization_chatglm.py 里新增两行代码

[ayrnb]

+1

[yecphaha]

+1

可以参考 https://huggingface.co/THUDM/chatglm3-6b/commit/ea563876364622a0a5c24e6b71db0b93a9861ba0#d2h-069285
在 tokenization_chatglm.py 里新增两行代码

[greyovo]

参考 https://huggingface.co/THUDM/chatglm3-6b/commit/ea563876364622a0a5c24e6b71db0b93a9861ba0#d2h-069285 在 tokenization_chatglm.py 里新增两行代码

有用。再明确一些的话，对于ChatGLM-6B来说，则是在 tokenization_chatglm.py 中：

class TextTokenizer:
    def __init__(self, model_path):
        self.sp = spm.SentencePieceProcessor()
        self.sp.Load(model_path)
        self.num_tokens = self.sp.vocab_size()
   # .... 省略其他方法

    def convert_id_to_token(self, idx):
        if idx > self.num_tokens:  # 在这里添加判断
            return ""
        return self.sp.IdToPiece(idx)