问答社区

原创作者: 图龙网络科技发布时间： 2023-09-23 229.8K 人阅读

电脑变成AI计算机，使用 OpenAI 端点在本地 100% 运行开源 LLM

太极混元发布于 5个月前分类：CHATGPT

Jan 是 ChatGPT 的开源替代品，可在您的计算机上 100% 离线运行。多引擎支持（llama.cpp、TensorRT-LLM）

Jan - 将您的计算机变成人工智能计算机

1719198539-79c012e4356fb91

Jan 目前处于开发阶段：预计会出现重大变化和错误！

Jan 是一个开源的 ChatGPT 替代品，可以在您的计算机上 100% 离线运行。

Jan 可在任何硬件上运行。从 PC 到多 GPU 集群，Jan 支持通用架构：

NVIDIA GPU（快速）
Apple M系列（快速）
苹果英特尔
Linux 的 Debian
Windows x64

故障排除

由于 Jan 处于开发模式，您可能会陷入损坏的构建中。

要重置安装：

使用以下命令删除任何悬空的后端进程：
```
ps aux | grep nitro
```
查找“nitro”和“nitro_arm_64”之类的进程，然后使用以下命令逐个终止它们：
```
kill -9 <PID>
```
从“应用程序”文件夹和“缓存”文件夹中删除 Jan
```
make clean
```
这将删除所有构建工件和缓存文件：
- ~/jan/extensions从文件夹中删除 Jan 扩展
- 删除node_modules当前文件夹中的所有内容
- 清除应用程序缓存~/Library/Caches/jan

运行 Jan 的要求

MacOS：13 或更高版本
视窗：
- Windows 10 或更高版本
- 要启用 GPU 支持：
  - 带有 CUDA Toolkit 11.7 或更高版本的 Nvidia GPU
  - Nvidia 驱动程序 470.63.01 或更高版本
Linux：
- glibc 2.27 或更高版本（使用检查ldd --version）
- gcc 11、g++ 11、cpp 11 或更高版本，请参阅此链接了解更多信息
- 要启用 GPU 支持：
  - 带有 CUDA Toolkit 11.7 或更高版本的 Nvidia GPU
  - Nvidia 驱动程序 470.63.01 或更高版本

贡献

欢迎贡献！请阅读CONTRIBUTING.md文件

先决条件

节点 >= 20.0.0
纱线> = 1.22.0
制作 >= 3.81

指示

克隆存储库并准备：

git clone https://github.com/janhq/jan
cd jan
git checkout -b DESIRED_BRANCH

运行开发并使用 Jan Desktop
```
make dev
```

这将启动开发服务器并打开桌面应用程序。

（可选）运行不带前端的 API 服务器
```
yarn dev:server
```

对于生产构建

# Do steps 1 and 2 in the previous section
# Build the app
make build

这将为生产构建应用程序 MacOS m1/m2（已完成代码签名）并将结果放入dist文件夹中。

Docker 模式

支持的操作系统：Linux、WSL2 Docker
先决条件：
- 需要 Docker Engine 和 Docker Compose 才能在 Docker 模式下运行 Jan。按照以下说明在 Ubuntu 上开始使用 Docker Engine。
```
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh ./get-docker.sh --dry-run
```
- 如果您打算以 GPU 模式运行 Jan，则需要安装nvidia-driver和。按照此处的nvidia-docker2说明进行安装。
以 Docker 模式运行 Jan

用户可以选择docker-compose.yml最新的预构建 docker 镜像或docker-compose-dev.yml本地 docker 构建

Docker compose 配置文件	描述
`cpu-fs`	使用默认文件系统在 CPU 模式下运行 Jan
`cpu-s3fs`	使用 S3 文件系统在 CPU 模式下运行 Jan
`gpu-fs`	使用默认文件系统以 GPU 模式运行 Jan
`gpu-s3fs`	使用 S3 文件系统以 GPU 模式运行 Jan

环境变量	描述
`S3_BUCKET_NAME`	S3 存储桶名称 - 对于默认文件系统留空
`AWS_ACCESS_KEY_ID`	AWS 访问密钥 ID - 对于默认文件系统留空
`AWS_SECRET_ACCESS_KEY`	AWS 秘密访问密钥 - 对于默认文件系统留空
`AWS_ENDPOINT`	AWS 端点 URL - 对于默认文件系统留空
`AWS_REGION`	AWS 区域 - 默认文件系统留空
`API_BASE_URL`	Jan Server URL，请修改为你的公网ip地址或者域名默认http://localhost:1377

选项 1：在 CPU 模式下运行 Jan

# cpu mode with default file system
docker compose --profile cpu-fs up -d

# cpu mode with S3 file system
docker compose --profile cpu-s3fs up -d

选项 2：以 GPU 模式运行 Jan

步骤 1nvidia-smi ：通过运行并检查输出中的 CUDA 版本来检查 CUDA 与 NVIDIA 驱动程序的兼容性

nvidia-smi

# Output
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 531.18                 Driver Version: 531.18       CUDA Version: 12.1     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                      TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf            Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 4070 Ti    WDDM | 00000000:01:00.0  On |                  N/A |
|  0%   44C    P8               16W / 285W|   1481MiB / 12282MiB |      2%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
|   1  NVIDIA GeForce GTX 1660 Ti    WDDM | 00000000:02:00.0 Off |                  N/A |
|  0%   49C    P8               14W / 120W|      0MiB /  6144MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
|   2  NVIDIA GeForce GTX 1660 Ti    WDDM | 00000000:05:00.0 Off |                  N/A |
| 29%   38C    P8               11W / 120W|      0MiB /  6144MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|

第 2 步：访问NVIDIA NGC 目录并找到与您的 CUDA 版本匹配的图像标签的最小次要版本（例如，12.1 -> 12.1.0）
步骤 3：Dockerfile.gpu使用步骤 2 中镜像标签的最新次要版本更新行号 5 （例如更改FROM nvidia/cuda:12.2.0-runtime-ubuntu22.04 AS base为FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04 AS base）

步骤 4：运行命令以 GPU 模式启动 Jan

# GPU mode with default file system
docker compose --profile gpu-fs up -d

# GPU mode with S3 file system
docker compose --profile gpu-s3fs up -d

这将启动网络服务器，然后您就可以访问 Jan 了http://localhost:3000。

注意：s3fs 的 Docker 模式尚不支持 RAG 功能。

0个回复

龙族们都在等待回复