问答社区
Novel2Video 是一个在将小说内容批量转换为图片和音频,最终生成小说推文
分类:语言模型
项目介绍
Novel2Video 是一个工具,旨在将小说内容批量转换为图片和音频,最终生成小说推文。
- 使用免费的llama-3.1-405b提取小说场景
- 支持 Stable Diffusion web UI 和 ComfyUI
- 支持人物锁定,确保角色一致性
- 支持批量出图以及单张重绘
- 使用 EdgeTTS 进行文本到语音转换
安装
# 克隆仓库
git clone https://github.com/zzy7517/novel2video.git
cd novel2video
# 后端 python版本3.10以上就行
pip install -r requirements.txt
python main.py
# 前端
## 到下面这个地址下载nvm-setup.exe
https://github.com/coreybutler/nvm-windows/releases
## 按照安装向导的指示进行安装
使用命令 nvm install <version> 来安装特定版本的 Node.js。例如,安装最新的 LTS 版本可以使用 nvm install lts
## 安装依赖
npm install next --registry=https://registry.npmmirror.com
npm install toastify-js --registry=https://registry.npmmirror.com
## 运行
cd front
npm run dev
使用说明
以comfyui为例
- 如图所示,先保存一下你的配置
- 然后在保存文本页面,保存你的小说文本和提示词, 提示词用来提取小说的场景
- 为了保证人物的一致性,需要写死角色,这一步一定要在第3步之后,如果之前没有生成过角色,点击 '提取角色' 按钮
-
- 配置好角色之后,点击 '翻译成英文' 按钮,翻译完成之后可以点击 '一键生成' 或者 '重新生成',生成全部或者单张图片,'一键生成' 的过程中,可以点击 '刷新' 按钮加载本地的图片
- 与此同时,可以点击 '生成音频' 生成声音
- 生成的文本文件/图像/音频都在temp目录下
- 等文本和语音生成完成后,可以一键生成视频,后续的字幕,BGM等视频处理可以使用剪映
- TBD
- 一键反推
- midjourney 支持
- 更丰富的语音合成功能