LLM笔记4:LLM向量数据库构建 1、知识库的数据1.1、需要什么数据库?如何来构建一个适用于LLM的数据库,不同于传统的关系型数据库SQL那些,LLM中所存储的数据均为向量格式,在LLM中进行运算的也是以向量作为语料。也正是这个特殊点,LLM的数据库也称之为向量数据库。当前的方案是使用LangChain架构来构建出一个向量数据库,在LangChain中已经集成了30多个向量数据库工具,考虑到轻巧加载快捷的特点,这里使用Chrom 2023-11-21 AI&ML > LLM #Datawhale #LLM #AI&ML
LLM笔记3:LLM项目设计及开发流程 1、大模型开发1.1、大模型开发概念初级大模型的开发,一般是将LLM作为一个调用工具,通过 Prompt Engineering、数据工程、业务逻辑分解等手段来发挥大模型的能力,一般不会去大幅度改动模型本身。通过调用LLM来适配不同的任务,之后在应用场景中去优化。 由于不需要对模型进行训练,无需构造类似于传统AI开发需要用到的训练集等内容,可以直接从我们所处的业务中自行构造出一小批特定场景的小验证 2023-11-20 AI&ML > LLM #Datawhale #LLM #AI&ML
Python执行websocket连接出现websocket has no attribute enableTrace错误 1、问题现象在websocket同服务器进行连接时,出现没有enableTrace属性: 2、问题原因检查一下当前安装的库,websocket: 1pip show websocket 检查这个库的相关发布信息:已经很久没维护了,早已被弃用: 1pip_search websocket 3、问题解决方法后续Python中websocket库改为使用websocket-client,需要重 2023-11-19 Python #Python #websocket #pip
LLM笔记2-1:Python实现大模型API的调用 1、Prompt认识1.1、Prompt基本概念关于LLM大模型,在前面已经有了了解,现在来了解一下什么是prompt。在LLM发展早期,prompt是一个被用来给LLM下发任务的模板,每种分类任务或聚类任务对应一种prompt,当然不局限于此。随着LLM技术的发展以及ChatGPT的诞生,prompt已经泛指为给大模型的所有输入内容,不仅限与文字。我们与LLM的每次对话,都可视为一个prompt 2023-11-19 AI&ML > LLM #Datawhale #LLM #AI&ML
SQL学习笔记1:SQL语法结构及DDL CREATE指令 1、SQL基本语法结构SQL分为三类: 1、数据定义语言DDL 用于创建和定义数据库对象,并且将对这些对象的定义保存到数据字典中。通过DDL语句可以创建数据库对象,修改数据库对象和删除数据库对象等。 常用的DDL语句及其功能: DDL语句 功能说明 CREATE 创建数据库 ALTER 修改数据库 DROP 删除数据库 RENAME 更改数据库对象的名称 TRUNC 2023-11-17 SQL #SQL
Git基本原理及基础指令 一、GIT工作原理1、工作流程图一般工作流程如下: 克隆 Git 资源作为工作目录。 在克隆的资源(本地工作目录)上添加或修改文件。 如果其他人修改了,你可以更新资源。 在提交前查看修改。 提交修改。 在修改完成后,如果发现错误,可以撤回提交并再次修改并提交。 2、内部结构图 左侧为工作区 右侧为版本库 版本库中标记为 “index” 的区域是暂存区(stage/index) 标记 2023-11-16 Git #Git
Gitee连接指导 1、git生成公钥打开ssh bash面板,执行以下命令生成公钥 123# -t 公钥名称, -C 指定生成sshkey的名称ssh-keygen -t ed25519 -C "[email protected]" # Generating public/private ed25519 key pair... 三次回车之后,结果如下: 公钥生成结束,存放位置如下: 12345 2023-11-16 Git #Git #Gitee
GitKraken代码基本操作指导 1、克隆仓库1.1、基本步骤点击“+”号打开新的页签New Tab,选择Clone a repo: 选定本地一个文件夹,并填入仓库的url地址,点击**“Clone the repo!”**即可: ==注:==需要选取的文件夹必须为空文件夹,否则会clone失败或覆盖掉本地文件。 仓库url获取:Gitee及GitHub所在的位置如下,看到后直接复制即可 2023-11-16 Git #Git #Gitkraken #Git可视化工具
Gitkraken安装过程指南 1、软件下载Gitkraken最后一个免费版本为:6.5.1。后续的新版本本地私有库打开都为收费功能。 可用的下载链接: 平台 文件名 下载链接 win-x86 GitKrakenSetup-6.5.1-x86.exe 下载 win-x64 GitKrakenSetup-6.5.1-x64.exe 下载 linux-rpm GitKraken-v6.5.1.rpm 下载 l 2023-11-16 Git #Git #Gitkraken #Git可视化工具
LLM笔记1:了解大模型的历史及特点 1、概述1.1、词义解惑部分专业名词缩略词表: 缩写 全称 说明 LLM Large Language Model 大语言模型:参数量达到10亿级别以上的(不同领域定义会存在偏差) PLM Pre-trained Language Model 预训练语言模型:这种模型是在大规模文本数据上进行预训练,然后可以通过微调或其他技术来适应特定的自然语言处理任务。常见的PLM包括BERT、G 2023-11-15 AI&ML > LLM #Datawhale #LLM #AI&ML