hugging face的预训练模型下载慢的问题(使用BertModel.from_pretrained()等下载慢)_#苦行僧的博客-CSDN博客 (1)
| 2022-12-11
0  |  阅读时长 0 分钟

🚀下面步骤以手动下载代替代码自动下载预训练模型。

在代码中用如下 from_pretrained() 函数下载 bert 等预训练模型时下载巨慢:
这里以 ‘bert-base-uncased’ 预训练模型为例(下其它预训练模型也一样的步骤),自己手动下载:hugging face 官网https://huggingface.co/models【建议用谷歌浏览器打开,我用 qq 浏览器打开会有奇奇怪怪的问题】

⭐步骤 1:在搜索栏搜索 ‘bert-base-uncased’,如下:

notion image

⭐步骤 2:然后点进去会有模型的使用方法介绍及其对应论文等相关资料信息,点击 Files and version,一般下载一下 3 个文件即可,因为我使用的是 pt,所有下对应的 pytorch_model.bin,如果是 tf 就下 tf 对应的。

notion image

⭐步骤 3:下好这 3 个文件后,在当前代码路径下建一个文件夹起名叫:bert-base-uncased,然后把这 3 个文件放进去即可。

输出如下,成功调用预训练模型:
3 torch.Size([2, 5, 768]) torch.Size([2, 768]) torch.Size([2, 5, 768])

🚀!!! 后来发现了一个更方便的方法:

清华源镜像了 Hugging Face Model Hub,为国内用户下载预训练模型数据提供便利。  在 from_pretrained() 中加入参数 mirror=’tuna’即可加速下载,绝了。【!!!⭐不过清华源上可能有些模型没有,且可能没 hugging face 官网更新的及时。所以有时还是得手动下载】
当这种方法下载不了时,就手动下载就好。
notion image
  • Giscus
目录