本地部署阿里的万象2.1文生视频(Wan2.1-T2V-1.3B)模型

news/2025/2/27 10:35:12

文章目录

  • (零)在线体验
  • (一)本地部署
    • (1.1)克隆仓库
    • (1.2)安装依赖
      • (1.2.1)安装 flash-attention
      • (1.2.2)重新安装依赖
      • (1.2.3)替换pytorch成CUDA版本
    • (1.3)下载模型
    • (1.4)CUDA和CUDNN
      • (1.4.1)CUDA Toolkit 12.8 和 Visual Studio 2022 v17.13.0 冲突
  • (二)本地生成
    • (2.1)官方例子
    • (2.2)执行过程
    • (2.3)执行结果
      • (2.3.1)默认文件名无法保存
      • (2.3.2)成功

在这里插入图片描述

引用:2月25日晚间,阿里云旗下视觉生成基座模型万相2.1(Wan)正式开源,此次开源采用最宽松的Apache2.0协议,14B和1.3B两个参数规格的全部推理代码和权重全部开源,同时支持文生视频和图生视频任务。

(零)在线体验

本地部署之前可以在线体验。
在线可以图生视频呢。

在线的通义万相图生视频(2005届超女)示例

再到阿里自己的平台上看API的价格,顿时发现生成类都是天价,还是对话的AI便宜啊。

(一)本地部署

(1.1)克隆仓库

和其它开源项目类似,先克隆代码仓库。

> git clone https://github.com/Wan-Video/Wan2.1.git
> cd Wan2.1

(1.2)安装依赖

国内环境先把Python换成国内源。
最好还是先建个虚拟环境。

> python -m venv venv

按照下面官方的方式直接装是不会成功的。

# Ensure torch >= 2.4.0
(venv) > pip install -r requirements.txt

(1.2.1)安装 flash-attention

依赖中有flash_attn这项,没指定版本,安装依赖时编译轮子总是失败。

查询其官方的二进制发布后发现最新版是v2.7.4.post1,且只有Linux版本。
发现第三方有flash_attn-2.7.4.post1+cu124torch2.6.0cxx11abiFALSE-cp310-cp310-win_amd64.whl,下载后手动安装。

记下来这两个cu124,以及torch2.6.0

(1.2.2)重新安装依赖

这时候我们有flash-attention了,直接安装requirements.txt吧。

(venv) > pip install -r requirements.txt

(1.2.3)替换pytorch成CUDA版本

国内环境先把Pytorch换成国内源,或手动下载安装。

(venv) > pip uninstall torch torchvision
......
(venv) > pip install torch torchvision --index-url https://download.pytorch.org/whl/cu126

(1.3)下载模型

按照新闻上的说法,本地能部署Wan2.1-T2V-1.3B模型。
国内环境请换huggingface源,或手动去hf-mirror下载。

(venv) > pip install "huggingface_hub[cli]"
(venv) > huggingface-cli download Wan-AI/Wan2.1-T2V-1.3B --local-dir ./Wan2.1-T2V-1.3B

(1.4)CUDA和CUDNN

因为之前接触的项目都是CUDA11,所以我这部分也都得重装一次。
如果已经是CUDA12则无视。

  • CUDA Toolkit 12 官网地址。
  • CUDNN 下载地址。

请注意版本号对应。
正常都会向下兼容,所以我用了最新的CUDA12.8。

(1.4.1)CUDA Toolkit 12.8 和 Visual Studio 2022 v17.13.0 冲突

安装程序进度条会在nsight visual studio edition卡住。
且不报错,请参考。

看到不是我一个人的问题,就放心了。
神仙打架,我等绕过吧。

(二)本地生成

(2.1)官方例子

两只拟人的猫咪穿着舒适的拳击装备,戴着鲜艳的拳击手套,在聚光灯照亮的舞台上激烈搏斗。

(venv) > python generate.py  --task t2v-1.3B --size 832*480 --ckpt_dir ./Wan2.1-T2V-1.3B --prompt "Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage."

(2.2)执行过程

[2025-02-26 19:54:53,860] INFO: offload_model is not specified, set to True.
[2025-02-26 19:54:53,860] INFO: Generation job args: Namespace(task='t2v-1.3B', size='832*480', frame_num=81, ckpt_dir='./Wan2.1-T2V-1.3B', offload_model=True, ulysses_size=1, ring_size=1, t5_fsdp=False, t5_cpu=False, dit_fsdp=False, save_file=None, prompt='Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage.', use_prompt_extend=False, prompt_extend_method='local_qwen', prompt_extend_model=None, prompt_extend_target_lang='ch', base_seed=2819604094901642957, image=None, sample_solver='unipc', sample_steps=50, sample_shift=5.0, sample_guide_scale=5.0)
[2025-02-26 19:54:53,860] INFO: Generation model config: {'__name__': 'Config: Wan T2V 1.3B', 't5_model': 'umt5_xxl', 't5_dtype': torch.bfloat16, 'text_len': 512, 'param_dtype': torch.bfloat16, 'num_train_timesteps': 1000, 'sample_fps': 16, 'sample_neg_prompt': '色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手 指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走', 't5_checkpoint': 'models_t5_umt5-xxl-enc-bf16.pth', 't5_tokenizer': 'google/umt5-xxl', 'vae_checkpoint': 'Wan2.1_VAE.pth', 'vae_stride': (4, 8, 8), 'patch_size': (1, 2, 2), 'dim': 1536, 'ffn_dim': 8960, 'freq_dim': 256, 'num_heads': 12, 'num_layers': 30, 'window_size': (-1, -1), 'qk_norm': True, 'cross_attn_norm': True, 'eps': 1e-06}
[2025-02-26 19:54:53,860] INFO: Input prompt: Two anthropomorphic cats in comfy boxing gear and bright gloves fight intensely on a spotlighted stage.
[2025-02-26 19:54:53,860] INFO: Creating WanT2V pipeline.
[2025-02-26 19:55:26,106] INFO: loading ./Wan2.1-T2V-1.3B\models_t5_umt5-xxl-enc-bf16.pth
[2025-02-26 19:55:34,677] INFO: loading ./Wan2.1-T2V-1.3B\Wan2.1_VAE.pth
[2025-02-26 19:55:35,471] INFO: Creating WanModel from ./Wan2.1-T2V-1.3B
[2025-02-26 19:55:42,221] INFO: Generating video ...
 40%|██████████████████████████████████████████████████████████████████████████████                                                                                                                     | 20/50 [52:05<1:18:05, 156.18s/it]

我的电脑是

  • CPU:i9-12900F
  • RAM:64GB
  • 显卡:4060Ti16GB

预计生成时间超过2个小时。😓
所以我才有时间把踩过的坑记录下来。

CPU基本没占用,内存有一定的占用,显卡跑满。
现在我准备去看电视剧了……

在这里插入图片描述

(2.3)执行结果

(2.3.1)默认文件名无法保存

等了2个多小时,最后一步保存文件失败了???
仅仅是文件名的格式问题,蛤?
这小bug太折磨人了。

[2025-02-26 19:55:42,221] INFO: Generating video ...
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [2:02:40<00:00, 147.20s/it]
[2025-02-26 22:12:12,834] INFO: Saving generated video to t2v-1.3B_832*480_1_1_Two_anthropomorphic_cats_in_comfy_boxing_gear_and__20250226_221212.mp4
[out#0/mp4 @ 000002818aa85c40] Error opening output \t2v-1.3B_832*480_1_1_Two_anthropomorphic_cats_in_comfy_boxing_gear_and__20250226_221212.mp4: Invalid argument
Error opening output file \t2v-1.3B_832*480_1_1_Two_anthropomorphic_cats_in_comfy_boxing_gear_and__20250226_221212.mp4.
Error opening output files: Invalid argument
cache_video failed, error: result type Float can't be cast to the desired output type Byte
[2025-02-26 22:12:16,213] INFO: Finished.
(venv) >

(2.3.2)成功

两个小时又悄悄的过去了。
增加--save_file参数后OK。

[2025-02-26 22:26:56,407] INFO: Generating video ...
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [2:15:32<00:00, 162.64s/it]
[2025-02-27 00:43:17,461] INFO: Saving generated video to D:\TestIt.mp4
[2025-02-27 00:43:17,918] INFO: Finished.
(venv) >

本地部署阿里万象2.1文生视频(Wan2.1-T2V-1.3B)模型生成的示例


http://www.niftyadmin.cn/n/5869959.html

相关文章

深入理解高阶函数:提升JavaScript编程技巧

在JavaScript中&#xff0c;函数是一等公民&#xff0c;这意味着函数可以像其他数据类型一样被传递、赋值和返回。高阶函数&#xff08;Higher-Order Function&#xff09;是函数式编程中的一个核心概念&#xff0c;它能够极大地提升代码的灵活性和可重用性。本文将深入探讨高阶…

Nuxt.js 3【详解】敏感信息处理 -- 环境变量配置

部分敏感信息不便存在代码中&#xff0c;需在环境变量中配置 新建 .env NUXT_API_KEY123以 apiKey 为例&#xff0c;在 .env 中&#xff0c;必须以 NUXT_ 开头&#xff0c;全部大写&#xff0c;驼峰用 _连接 nuxt.config.ts 中添加运行时配置 runtimeConfig: {apiKey: "…

Kafka和Zookeeper的基本概念及使用方法

一、什么是Kafka和Zookeeper&#xff1f; Kafka概念&#xff1a; Kafka 是一种分布式流处理平台&#xff0c;最初由 LinkedIn 开发&#xff0c;后成为 Apache 开源项目。它主要用于构建实时数据管道和流应用&#xff0c;具有高吞吐量、低延迟和可扩展性。 Zookeeper概念&#x…

3DUNet-Pytorch-master环境配置(3dunet)

1. 移除虚拟环境 conda remove --name 3dUnet --all 2. 查看虚拟环境 conda env list 2. 创建虚拟环境的命令 conda create --name 3dunet python3.8 &#xff08;之前用的 python3.6 因为重装了系统这个版本不能用了&#xff09; 3. 安装依赖包 pip3 install torch pi…

003 SpringBoot集成Kafka操作

4.SpringBoot集成Kafka 文章目录 4.SpringBoot集成Kafka1.入门示例2.yml完整配置3.关键配置注释说明1. 生产者优化参数2. 消费者可靠性配置3. 监听器高级特性4. 安全认证配置 4.配置验证方法5.不同场景配置模板场景1&#xff1a;高吞吐日志收集场景2&#xff1a;金融级事务消息…

C# tostring 转换成16进制

在 C# 中&#xff0c;将整数或其他数据类型转换为十六进制字符串可以使用 ToString 方法&#xff0c;并指定格式化字符串为 "X" 或 "x"。以下是详细的实现方法和示例&#xff1a; 1. 整数转换为十六进制字符串 使用 ToString 方法并指定格式化字符串为 &q…

Kotlin 随记 (1)

最近在使用Kotlin做科研项目开发&#xff0c;这里随手记录下开发过程中遇到的问题与积累的经验。 ConcurrentSkipListSet 大坑 ConcurrentSkipListSet是Java实现的一个线程安全的Set&#xff0c;说到底&#xff0c;它是直接服务于Java那套线程部署方式的&#xff0c;而在Kotl…

AI工具集合

设计相关 1. mastrtgo&#xff08;暂时免费&#xff09; &#xff1a;可以根据自然语言生成UI设计稿和前端代码 MasterGo 莫高设计 - AI 时代的数字界面生产平台 2. reddy.ai&#xff08;暂时免费&#xff09;: 国外类似mastrtgo的平台 Readdy 3. midjourney &#xff08;…