图龙网络科技

问答社区

原创作者: 图龙网络科技 发布时间: 2023-09-23 231.93K 人阅读

Novel2Video 是一个在将小说内容批量转换为图片和音频,最终生成小说推文

太极混元 发布于 1个月前 分类:语言模型

项目介绍

Novel2Video 是一个工具,旨在将小说内容批量转换为图片和音频,最终生成小说推文。

  • 使用免费的llama-3.1-405b提取小说场景
  • 支持 Stable Diffusion web UI 和 ComfyUI
  • 支持人物锁定,确保角色一致性
  • 支持批量出图以及单张重绘
  • 使用 EdgeTTS 进行文本到语音转换

安装

# 克隆仓库
git clone https://github.com/zzy7517/novel2video.git
cd novel2video

# 后端 python版本3.10以上就行
pip install -r requirements.txt
python main.py
# 前端
## 到下面这个地址下载nvm-setup.exe
https://github.com/coreybutler/nvm-windows/releases
## 按照安装向导的指示进行安装
使用命令 nvm install <version> 来安装特定版本的 Node.js。例如,安装最新的 LTS 版本可以使用 nvm install lts
## 安装依赖
npm install next --registry=https://registry.npmmirror.com
npm install toastify-js --registry=https://registry.npmmirror.com
## 运行
cd front
npm run dev

使用说明

以comfyui为例

  1. 如图所示,先保存一下你的配置1732282335-843ac66b3848b511732282356-c81e728d9d4c2f6
  2. 然后在保存文本页面,保存你的小说文本和提示词, 提示词用来提取小说的场景1732282789-eccbc87e4b5ce2f
  3. 为了保证人物的一致性,需要写死角色,这一步一定要在第3步之后,如果之前没有生成过角色,点击 '提取角色' 按钮1732282802-a87ff679a2f3e71
    1. 配置好角色之后,点击 '翻译成英文' 按钮,翻译完成之后可以点击 '一键生成' 或者 '重新生成',生成全部或者单张图片,'一键生成' 的过程中,可以点击 '刷新' 按钮加载本地的图片
    2. 与此同时,可以点击 '生成音频' 生成声音
    3. 生成的文本文件/图像/音频都在temp目录下
    4. 等文本和语音生成完成后,可以一键生成视频,后续的字幕,BGM等视频处理可以使用剪映
    •  TBD
      •  一键反推
      •  midjourney 支持
      •  更丰富的语音合成功能

0个回复

  • 龙族们都在等待回复

提供中小企业建站高端正版精品系统

正品模板 购买协议