模型介绍

🎉🎉🎉我们开源了360智脑大模型的系列工作，本次开源了以下模型：

• 360Zhinao-7B-Base
• 360Zhinao-7B-Chat-4K
• 360Zhinao-7B-Chat-32K
• 360Zhinao-7B-Chat-360K

360智脑大模型特点如下：

• 基础模型：采用 3.4 万亿 Tokens 的高质量语料库训练，以中文、英文、代码为主，在相关基准评测中，同尺寸有竞争力。
• 对话模型：具有强大的对话能力，开放4K、32K、360K三种不同文本长度。据了解，360K（约50万字）是当前国产开源模型文本长度最长的。

更新信息

• [2024.04.12] 我们发布了360Zhinao-7B 1.0版本，同时开放Base模型和4K、32K、360K三种文本长度的Chat模型。

目录

下载地址

本次发布版本和下载链接见下表：

模型评估

基础模型

我们在OpenCompass的主流评测数据集上验证了我们的模型性能，包括C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADA，考察的能力包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等。

以上结果，在官方Opencompass上可查询或可复现。

Chat模型

4K和32K的Chat模型使用相同的4K SFT数据训练。

我们采用了两阶段的方式训练长文本模型.

第一阶段：我们增大RoPE base，将上下文长度扩展至32K训练：

• 首先，对基础模型进行了约5B tokens的32K窗口继续预训练。
• 接着，SFT阶段使用了多种形式和来源的长文本数据，包括高质量的人工标注32K长文本数据。

第二阶段：我们将上下文长度扩展至360K进行训练，使用数据如下：

• 少量高质量人工标注数据。
• 由于带有标注的超长文本数据的稀缺性，我们构造了多种形式的合成数据：
  • 多文档问答：类似Ziya-Reader，我们基于360自有数据构造了多种类型的多文档问答数据，同时将问答改为多轮，显著提升长文本的训练效率。
  • 单文档问答：类似LLama2 Long，我们构造了基于超长文本各个片段的多轮问答数据。

我们在多种长度和多种任务的评测Benchmark上验证不同版本模型的性能。

• 360Zhinao-7B-Chat-32K模型长文本能力评测

  我们使用LongBench验证长文本效果。LongBench是第一个多任务、中英双语、针对大语言模型长文本理解能力的评测基准。LongBench由六大类、二十一个不同的任务组成，我们选择其中与中文长文本应用最密切相关的中文单文档问答、多文档问答、摘要、Few-shot等任务进行评测。

  Model	Avg	单文档QA	多文档QA	摘要	Few-shot学习	代码补全
  GPT-3.5-Turbo-16k	37.84	61.2	28.7	16	29.2	54.1
  ChatGLM2-6B-32k	37.16	51.6	37.6	16.2	27.7	52.7
  ChatGLM3-6B-32k	44.62	62.3	44.8	17.8	42	56.2
  InternLM2-Chat-7B	42.20	56.65	29.15	17.99	43.5	63.72
  Qwen1.5-Chat-7B	36.75	52.85	30.08	14.28	32	54.55
  Qwen1.5-Chat-14B	39.80	60.39	27.99	14.77	37	58.87
  360Zhinao-7B-Chat-32K	45.18	57.18	48.06	15.03	44	61.64

• 360Zhinao-7B-Chat-360K“大海捞针”测试

  大海捞针测试（NeedleInAHaystack）是将关键信息插入一段长文本的不同位置，再对该关键信息提问，从而测试大模型的长文本能力的一种方法。

  360Zhinao-7B-Chat-360K在中英文大海捞针中都能达到98%以上的准确率。

• 快速开始

  简单的示例来说明如何利用🤖 ModelScope和🤗 Transformers快速使用360Zhinao-7B-Base和360Zhinao-7B-Chat

  依赖安装

  • python 3.8 and above
  • pytorch 2.0 and above
  • transformers 4.37.2 and above
  • CUDA 11.4 and above are recommended.

  pip install -r requirements.txt 
  

  我们推荐安装flash-attention（当前已支持flash attention 2）来提高你的运行效率以及降低显存占用。(flash-attention只是可选项，不安装也可正常运行该项目)

  flash-attn >= 2.3.6

  FLASH_ATTENTION_FORCE_BUILD=TRUE pip install flash-attn==2.3.6
  

  🤗 Transformers

  Base模型推理

  此代码演示使用transformers快速使用360Zhinao-7B-Base模型进行推理

  from transformers import AutoTokenizer, AutoModelForCausalLM
  from transformers.generation import GenerationConfig
  
  MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Base"
  
  tokenizer = AutoTokenizer.from_pretrained(
      MODEL_NAME_OR_PATH, 
      trust_remote_code=True)
  
  model = AutoModelForCausalLM.from_pretrained(
      MODEL_NAME_OR_PATH,
      device_map="auto",
      trust_remote_code=True)
  
  generation_config = GenerationConfig.from_pretrained(
      MODEL_NAME_OR_PATH,
      trust_remote_code=True)
  
  inputs = tokenizer('中国二十四节气\n1. 立春\n2. 雨水\n3. 惊蛰\n4. 春分\n5. 清明\n', return_tensors='pt')
  inputs = inputs.to(model.device)
  
  pred = model.generate(input_ids=inputs["input_ids"], generation_config=generation_config)
  print("outputs:\n", tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))
  

  Chat模型推理

  此代码演示使用transformers快速使用360Zhinao-7B-Chat-4K模型进行推理

  from transformers import AutoTokenizer, AutoModelForCausalLM
  from transformers.generation import GenerationConfig
  
  MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Chat-4K"
  
  tokenizer = AutoTokenizer.from_pretrained(
      MODEL_NAME_OR_PATH, 
      trust_remote_code=True)
  
  model = AutoModelForCausalLM.from_pretrained(
      MODEL_NAME_OR_PATH,
      device_map="auto",
      trust_remote_code=True)
  
  generation_config = GenerationConfig.from_pretrained(
      MODEL_NAME_OR_PATH,
      trust_remote_code=True)
  
  messages = []
  #round-1
  messages.append({"role": "user", "content": "介绍一下刘德华"})
  response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
  messages.append({"role": "assistant", "content": response})
  print(messages)
  
  #round-2
  messages.append({"role": "user", "content": "他有什么代表作？"})
  response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
  messages.append({"role": "assistant", "content": response})
  print(messages)
  

  🤖 ModelScope

  Base模型推理

  此代码演示使用ModelScope快速使用360Zhinao-7B-Base模型进行推理

  from modelscope import AutoModelForCausalLM, AutoTokenizer
  from modelscope import GenerationConfig
  
  MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Base"
  
  tokenizer = AutoTokenizer.from_pretrained(
      MODEL_NAME_OR_PATH, 
      trust_remote_code=True)
  
  model = AutoModelForCausalLM.from_pretrained(
      MODEL_NAME_OR_PATH,
      device_map="auto",
      trust_remote_code=True)
  
  generation_config = GenerationConfig.from_pretrained(
      MODEL_NAME_OR_PATH,
      trust_remote_code=True)
  
  inputs = tokenizer('中国二十四节气\n1. 立春\n2. 雨水\n3. 惊蛰\n4. 春分\n5. 清明\n', return_tensors='pt')
  inputs = inputs.to(model.device)
  
  pred = model.generate(input_ids=inputs["input_ids"], generation_config=generation_config)
  print("outputs:\n", tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))
  

  Chat模型推理

  此代码演示使用ModelScope快速使用360Zhinao-7B-Chat-4K模型进行推理

  from modelscope import AutoModelForCausalLM, AutoTokenizer
  from modelscope import GenerationConfig
  
  MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Chat-4K"
  
  tokenizer = AutoTokenizer.from_pretrained(
      MODEL_NAME_OR_PATH, 
      trust_remote_code=True)
  
  model = AutoModelForCausalLM.from_pretrained(
      MODEL_NAME_OR_PATH,
      device_map="auto",
      trust_remote_code=True)
  
  generation_config = GenerationConfig.from_pretrained(
      MODEL_NAME_OR_PATH,
      trust_remote_code=True)
  
  messages = []
  #round-1
  messages.append({"role": "user", "content": "介绍一下刘德华"})
  response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
  messages.append({"role": "assistant", "content": response})
  print(messages)
  
  #round-2
  messages.append({"role": "user", "content": "他有什么代表作？"})
  response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
  messages.append({"role": "assistant", "content": response})
  print(messages)
  

  终端 Demo

  可使用终端交互实现快速体验

  python cli_demo.py
  

  注：我们尚未支持Mac上device = 'mps'。

  网页 Demo

  也可使用网页交互实现快速体验

  streamlit run web_demo.py
  

  API Demo

  启动命令

  python openai_api.py
  

  请求参数

  curl 'http://localhost:8360/v1/chat/completions' \
  -H 'Content-Type: application/json' \
  -d '{
      "max_new_tokens": 200,
      "do_sample": true,
      "top_k": 0,
      "top_p": 0.8,
      "temperature": 1.0,
      "repetition_penalty": 1.0,
      "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "你好"}
      ]
  }'
  

  模型推理

  模型量化

  我们提供了基于AutoGPTQ的量化方案，并开源了Int4量化模型。

  模型部署

  vLLM安装环境

  如希望部署及加速推理，我们建议你使用 vLLM==0.3.3。

  如果你使用CUDA 12.1和PyTorch 2.1，可以直接使用以下命令安装vLLM。

  pip install vllm==0.3.3
  

  否则请参考vLLM官方的安装说明。

  安装完成后，还需要以下操作~

  1. 把vllm/zhinao.py文件复制到env环境对应的vllm/model_executor/models目录下。
  2. 把vllm/serving_chat.py文件复制到env环境对应的vllm/entrypoints/openai目录下。
  3. 然后在vllm/model_executor/models/__init__.py文件增加一行代码

     "ZhinaoForCausalLM": ("zhinao", "ZhinaoForCausalLM"),
     

  vLLM服务启动

  启动服务

  python -m vllm.entrypoints.openai.api_server \
      --served-model-name 360Zhinao-7B-Chat-4K \
      --model qihoo360/360Zhinao-7B-Chat-4K \
      --trust-remote-code \
      --tensor-parallel-size 1 \
      --max-model-len 4096 \
      --host 0.0.0.0 \
      --port 8360
  

  使用curl请求服务

  curl http://localhost:8360/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
      "model": "360Zhinao-7B-Chat-4K",
      "max_tokens": 200,
      "top_k": -1,
      "top_p": 0.8,
      "temperature": 1.0,
      "presence_penalty": 0.0,
      "frequency_penalty": 0.0,
      "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "你好"}
      ],
      "stop": [
          "<eod>",
          "<|im_end|>",
          "<|im_start|>"
      ]
  }'
  

  使用python请求服务

  from openai import OpenAI
  # Set OpenAI's API key and API base to use vLLM's API server.
  openai_api_key = "EMPTY"
  openai_api_base = "http://localhost:8360/v1"
  
  client = OpenAI(
      api_key=openai_api_key,
      base_url=openai_api_base,
  )
  
  chat_response = client.chat.completions.create(
      model="360Zhinao-7B-Chat-4K",
      messages=[
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "你好"},
      ],
      stop=[
          "<eod>",
          "<|im_end|>",
          "<|im_start|>"
      ],
      presence_penalty=0.0,
      frequency_penalty=0.0
  )
  print("Chat response:", chat_response)
  

  注意：如需要开启重复惩罚，建议使用 presence_penalty 和 frequency_penalty 参数。

  模型微调

  训练数据

  我们提供了微调训练样例数据 data/test.json，该样例数据是从 multiturn_chat_0.8M 采样出 1 万条，并且做了格式转换。

  数据格式:

  [
    {
      "id": 1,
      "conversations": [
          {
              "from": "system",
              "value": "You are a helpful assistant."
          },
          {
              "from": "user",
              "value": "您好啊"
          },
          {
              "from": "assistant",
              "value": "你好！我今天能为您做些什么？有什么问题或需要帮助吗? 我在这里为您提供服务。"
          }
      ]
    }
  ]
  

  微调训练

  训练脚本如下：

  set -x
  
  HOSTFILE=hostfile
  DS_CONFIG=./finetune/ds_config_zero2.json
  
  # PARAMS
  LR=5e-6
  EPOCHS=3
  MAX_LEN=4096
  BATCH_SIZE=4
  NUM_NODES=1
  NUM_GPUS=8
  MASTER_PORT=29500
  
  IS_CONCAT=False # 是否数据拼接到最大长度（MAX_LEN）
  
  DATA_PATH="./data/training_data_sample.json"
  MODEL_PATH="qihoo360/360Zhinao-7B-Base"
  OUTPUT_DIR="./outputs/"
  
  deepspeed --hostfile ${HOSTFILE} \
          --master_port ${MASTER_PORT} \
          --num_nodes ${NUM_NODES} \
          --num_gpus ${NUM_GPUS} \
          finetune.py \
          --report_to "tensorboard" \
          --data_path ${DATA_PATH} \
          --model_name_or_path ${MODEL_PATH} \
          --output_dir ${OUTPUT_DIR} \
          --model_max_length ${MAX_LEN} \
          --num_train_epochs ${EPOCHS} \
          --per_device_train_batch_size ${BATCH_SIZE} \
          --gradient_accumulation_steps 1 \
          --save_strategy steps \
          --save_steps 200 \
          --learning_rate ${LR} \
          --lr_scheduler_type cosine \
          --adam_beta1 0.9 \
          --adam_beta2 0.95 \
          --adam_epsilon 1e-8 \
          --max_grad_norm 1.0 \
          --weight_decay 0.1 \
          --warmup_ratio 0.01 \
          --gradient_checkpointing True \
          --bf16 True \
          --tf32 True \
          --deepspeed ${DS_CONFIG} \
          --is_concat ${IS_CONCAT} \
          --logging_steps 1 \
          --log_on_each_node False
  

  bash finetune/ds_finetune.sh
  

  • 可通过配置hostfile，实现单机、多机训练。
  • 可通过配置ds_config，实现zero2、zero3。
  • 可通过配置fp16、bf16实现混合精度训练，建议使用bf16，与预训练模型保持一致。
  • 可通过配置is_concat参数，控制训练数据是否拼接，当训练数据量级较大时，可通过拼接提升训练效率。