AI大模型核心知识点

# 常见名词盘点

# 01.知识库

存储知识和信息的系统
传统知识库和AI知识库
与LLM结合，AI系统更好的利用本地知识来响应查询和执行任务

# 02.Embeding(嵌入、向量化)

Embeding是将文本数据（如单次、短语或整个文档）转换为数值向量的过程。这些数值向量捕捉到了文本项的语义和语法特征，使得计算机能够处理文本数据。
通过Embeding，可以将每个文本项表示为一个较低纬度的稠密向量，这些向量在较小的纬度空间内保持了原始数据的重要特征。
Embeding向量能够编码语义信息，使得语义上相似的词汇在向量空间中彼此接近。这一特性使得Embeding在信息检索、文本分类、情感分析等任务中非常有效。

# 03.Prompt engineer(提示词工程)

# 04.RAG(检索增强生成)

# 05.Finetuning(微调)

# 06.AI agent(AI代理人)

ChatGKM2 + Langchain

# 部署DB-GPT

# 切换管理员
sudo -i

# 克隆项目
git clone https://github.com/eosphoros-ai/DB-GPT.git

# 下载miniconda
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh
~/miniconda3/bin/conda init bash

# 创建虚拟环境
conda create -n dbgpt_env python=3.10
conda activate dbgpt_env

# 切换目录
cd /root/DB-GPT

#拷贝配置文件
cp .env.template .env

# 安装依赖包
pip install -e ".[default]"
pip install -e ".[openai]"

# 导入官方示例数据库
bash ./scripts/examples/load_examples.sh

# 下载模型
  # 创建目录
  mkdir models
  cd models
  # 更新索引
  sudo apt update
  # 安装git-lfs
  sudo apt install git-lfs
  # 初始化lfs
  git lfs install
  # 拉取模型
  # embeding模型，只负责处理知识库
  git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
  # 对话模型
  git clone https://huggingface.co/THUDM/chatglm3-6b

  # 进入目录
  cd text2vec-large-chinese
  # 拉取仓库里的大文件
  git lfs pull
  # 检查仓库的完整性
  git lfs ls-files

# 进入项目目录
cd /root/DB-GPT

# 编辑配置文件
vi .env
  
  LLM_MODEL=chatglm3-6b
  # 如果是openapi模式可以不用下载对话模型，直接配置，且使用cpu机型就可以
  # 通义千问
  LLM_MODEL=tongyi_proxyllm
  TONGYI_PROXY_API_KEY=xxx
  PROXY_SERVER_URL=https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation

# 启动项目
python pilot/server/dbgpt_server.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68

# Dify

# autodl langchat

https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat

cd /root/Langchain-Chatchat
conda activate /root/pyenv
python startup.py -a

ssh -p 12317 root@connect.westc.gpuhub.com

ssh -CNg -L 6006:127.0.0.1:6006 root@connect.westc.gpuhub.com -p 12317


密码
JMVFqrH7Kxpi

http://127.0.0.1:6006

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

上次更新: 2024/05/10, 14:29:22