读文件

[lc365]

bert-base-chinese的文件读取不下来，解码有问题，请问要怎么解决呀

[BlackWaterDrop]

bert-base-chinese的文件读取不下来，解码有问题，请问要怎么解决呀

请问解决了吗

[caiusy]

bert-base-chinese的文件读取不下来，解码有问题，请问要怎么解决呀

请问解决了吗
教程没写清楚，有误导性，我一开始也以为是将转好的文件改名字，但并不是，花了一两个小时查这个问题。。。。
huggingface/transformers#1620 (comment) 参考这个issue

[qy-guo]

来自于楼上的解决方法+GPT解答：
1、在 prev_trained_model 文件夹下创建 bert-base-chinese 文件夹，文件夹内放入 "pytorch_model.bin"（模型权重文件），"config.json"（模型结构配置文件），"vocab.txt"（词汇表）。

其他遇到的问题：
1、"UnicodeDecodeError: 'gbk' codec can't decode byte 0xad in position 51: illegal multibyte sequence"：
文件编码格式不匹配导致的错误，来自于 Python 默认使用了系统编码（Windows 通常是 GBK），而你的数据文件可能是 UTF-8 编码的中文文本文件。在...\Read_Bert_Code-master\bert_read_step_to_step\processors\utils.py文件内，将 _read_txt 方法的 "with open(input_file, "r") as f:" 修改成 "with open(input_file, "r", encoding='utf-8') as f:"。

2、"_pickle.UnpicklingError: Weights only load failed. This file can still be loaded, to do so you have two options, do those steps only if you trust the source of the checkpoint."：
修改 torch.load() 的调用，显式添加 weights_only=False。将 run_classifier.py 第 288 行 "features = torch.load(cached_features_file)" 修改成 "features = torch.load(cached_features_file, weights_only=False)"。

修改以上问题后成功运行。