Xyea的知识库

切换主题

字数
664 字
阅读时间
3 分钟

好的，我们来总结一下这次交流中所有值得记忆的核心知识点。

1. Hugging Face 下载与断点续传 ​

  • huggingface-cli download 支持断点续传：这是默认行为，无需任何额外参数。如果下载中断，重新运行完全相同的命令即可从断点处继续。
  • 新命令 hf download：官方推荐使用 hf download，它功能更强，是 huggingface-cli download 的现代替代品。
  • 高速下载工具 hf-transfer：
    • 安装：pip install hf-transfer
    • 启用：设置环境变量 export HF_HUB_ENABLE_HF_TRANSFER=1
    • 效果：启用后，下载会变为多线程，速度显著提升，但可能会表现为“下一会儿停一会儿”的现象，这通常是正常的。

2. 使用国内镜像源加速 ​

  • 目的：解决连接 Hugging Face 官方服务器慢或不稳定的问题。
  • 方法：通过设置环境变量 HF_ENDPOINT 来指定镜像地址。
  • 常用镜像：https://hf-mirror.com (HF-Mirror), https://modelscope.cn/api/v1 (魔搭社区) 等。
  • 使用示例：
    bash
    HF_ENDPOINT=https://hf-mirror.com hf download <模型名> --local-dir <本地路径>
  • 注意事项：镜像地址末尾不要加斜杠 /。

3. 理解模型文件名 ​

文件名 pytorch_model-00001-of-00007.safetensors 包含三层含义：

  • pytorch_model: 这是一个用 PyTorch 框架保存的模型。
  • -00001-of-00007: 这是整个大模型被分割后的第1个文件，总共有7个。这种分割（称为 Sharding）是为了便于传输、存储和加载超大模型。
  • .safetensors: 一种更安全、更快的模型权重存储格式。它能防止恶意代码执行，并且加载速度通常优于传统的 .bin 或 .pth 文件。

4. Linux 常用命令 ​

  • 查看文件夹大小：

    • 最常用的命令是 du -sh，它可以清晰地显示一个文件夹的总大小。
    • 命令格式：du -sh <文件夹路径>
    • 示例：du -sh ./Wan2.1-I2V-14B-720P

  • 清空下载缓存：

    • Hugging Face (推荐方法)：使用官方交互式工具，安全可控。
    bash
    huggingface-cli delete-cache
    • Hugging Face (手动删除)：
    bash
    rm -rf ~/.cache/huggingface/hub
    • ModelScope (手动删除)：
    bash
    rm -rf ~/.cache/modelscope/hub

这些就是我们讨论过的核心内容，涵盖了从下载、加速、理解模型文件到磁盘空间管理的整个流程。希望这个总结对您有帮助！

贡献者

The avatar of contributor named as Xyea Xyea

页面历史