
发布日期:2025-03-18 03:52 点击次数:105
把之前的deepseek +土产货学问库的部署本色作念了一版性都花花世界,
加多本色:
1, ollama 装配
2,cherry studio在线模子树立
3,anythingLLM的在线以及文分内割树立
关系联的著述。
国产AI之光!DeepSeek土产货部署教程,着力忘形GPT-4,
DeepSeek+土产货学问库:果然太香了(企业有预备)
最轻量级的deepseek哄骗,撑握联网或学问库
土产货DeepSeek下载慢,中断、内网无法装配有预备来了
先画个数据经由经由。
图片
Ollama装配(非必须)14B及以上有推颖异力,32b相比实用。显卡最低12GB。内存最佳32GB.
关系的软件,我照旧放入到网盘,网不好的同学,不错径直下载。
下载相连:https://pan.quark.cn/s/b69829720b68
电脑树立低:不错参考
职业器难熬,电脑树立太低,别急deepseek满血版来了
下载ollama
https://ollama.com/download/
默许为现时电脑的对应的版块,径直下载即可。下载以后,一开首点点即可。
环境变量斥地
装配完以后先不要使用,先斥地下环境变量。默许模子下载到C盘。一个模子最小也得几个GB.
通过 我的电脑->右键-> 属性-> 高等系统斥地-> 环境变量->新建用户变量即可。
图片
OLLAMA_HOST: 0.0.0.0 OLLAMA_MODELS:E:\ai\ollama\modelsOLLAMA_HOST:斥地为0.0.0.0 会将ollama职业流露到总计的收集,默许ollama只绑定到了127.0.0.1,只可通过localhost或0.0.0.0窥伺。
OLLAMA_MODELS:斥地了模子的存放的地址。
https://ollama.com/library/deepseek-r1
装配DeepSeek模子(可选)大开:https://ollama.com/library/deepseek-r1遴荐合乎我方的模子,12GB~16GB显存提议最大遴荐14B,24GB显存提议32B.
装配谈话模子
# 下载模子ollama pull deepseek-r1:14b# 下载或初始模子,平素ollama不会初始模子的ollama run deepseek-r1:14b装配向量模子
基于土产货的deepseek搭建个东说念主学问库。使用土产货职业,装配镶嵌模子,用于将文本数据退换为向量记号的模子。
需要先下载向量模子
# 号令行窗话柄行拉取下即可。ollama pull bge-m3基于Cherry Studio搭建(首选)cherry Studio 文分内割不可遴荐文本长度和类似度。
下载cherry studio凭据我方的环境下载cherry studio
图片
装配的时刻,瞩目装配到其他磁盘,不要在c盘装配。土产货模子学问库树立土产货ollama图片
图片
操作法子:
找到左下角斥舆图标遴荐模子职业遴荐ollama点击惩处点击模子后头的加号(会自动查找到土产货装配的模子)减号示意照旧遴荐了树立在线模子:图片
1,在模子职业里,遴荐对应的模子职业商,比如硅基流动
2,瞩目开关
3,填写我方的密钥
图片
1,遴荐镶嵌模子
2,遴荐要添加的模子
学问库树立图片
遴荐学问库遴荐添加遴荐镶嵌模子,这个时刻有在线和土产货的填写学问库称号添加学问文档cherry不错添加文档,也不错添加目次(这个极其浅易),添加完以后出现绿色的对号,示意向量化完成。
图片
搜索考证图片
点击搜索学问库输入搜索规则点击搜索 大师不错看下我搜索的本色和并莫得十足匹配,不外照旧和田地关系上了。大模子处理图片
点击左上角的聊天图标点击助手点击默许助手(你也不错添加助手)遴荐大模子遴荐土产货deepseek,也不错遴荐我方照旧通畅的在线职业斥地学问库(不斥地不会参考)输入提问本色提问图片
大师不错看到deepseek照旧把扬弃整理了,并告诉了咱们参考了哪些贵寓。
满血版折柳即是大模子的遴荐,在模子职业里树立下在线的deepseek职业即可。
如若你的学问库有诡秘数据,不要联网!不要联网!不要联网!
有预备二 基于AnythingLLM搭建 下载AnythingLLM Desktop图片
下载以后,装配的时刻,瞩目装配到其他磁盘,不要在c盘装配。
AnythingLLM 树立图片
点击左下角的斥地Ollama树立图片
1. 点击 LLM首选项2. 遴荐ollama当作模子提供商3. 遴荐已装配的deepsek 模子4. 瞩面前地址,如若土产货就127.0.0.15. 保存腾讯云树立(推选,当今最露出的)图片
1,遴荐openAi通用接口2,树立腾讯云的大模子BASE地址 : https://api.lkeap.cloud.tencent.com/v13,树立取得到的APIKEY4,输入模子:deepseek-r15, 斥地Token context window 模子单次大致处理的最大长度(输入+输出),如若你的使用学问库提议放大,想多关系波折文也调大;6,max tokens 模子最大生成tokenapiKey央求地址https://console.cloud.tencent.com/lkeap/api
接口地址
https://cloud.tencent.com/document/product/1772/115969
ollama show deepseek-r1:14b Model architecture qwen2 parameters 14.8B context length 131072 embedding length 5120 quantization Q4_K_M
14b的最大长度是131072,ollama 默许是无须斥地的。
不良少妇向量库模子树立图片
切换使用土产货ollama,也不错自带的。1,遴荐ollama2,遴荐对应的向量模子3,斥地分段最大长度4,瞩面前url文分内割树立图片
1,斥地文本块大小,凭据我方的文本输入。
2,斥地文本块类似(提议类似10%~25%)
树立使命区图片
图片
在1里点击New Thread 新建一个聊天框默许会话上传学问库文档图片
将文档拖拽到上传框。ps: 只需要拖拽一次就行了,它在聊天框能看到。不知说念为什么,我这拖拽以后,没看到上传成效,然后又拖拽了几次。然后聊天框就很多份。
图片
图片
诚然你不错树立而已文档,confluence、github齐不错。
图片
ps: 需要瞩想法是文档在使命区间内是共用的。
api功能AnythingLLM 不错提供api窥伺的功能,这个不错当作人人学问库使用。
图片
记忆总计这个词操作下来,AnythingLLM 的体验莫得cherry好。AnythingLLM就像一个包壳的web哄骗(自后查了下,照实是)。AnythingLLM 得具备一定的要领念念维,给时刻东说念主员用的。非时刻东说念主员如故使用cherry吧。当作心爱折腾的开发东说念主员,咱们不错蚁集dify使用。
临了个东说念主学问库+土产货大模子的优点
诡秘性很好,无须惦记我方的贵寓外泄、离线可用在使命和学习过程中对我方整理的文档,能快速找到,并自动关系在代码开发上,能参考你的开发习尚,快速生成代码创作不易,防止大师动动发家的小手。
if 著述有效: 点赞() # 👍 小手一抖,bug莫得 储藏() # 📂 贯注迷途,代码永驻 关爱() # 🔔 追更最新本色else: 留言吐槽() # 💬 驳倒区等你来战临了,咱们邀请了各个AI赛说念的极客和大咖,开了一个10多天的免费公开课,有图文共享,有直播实操栽植。
如若你想深度使用学习AI,何况想要收拢AI风口得益,请尽快扫码进群听课程共享。
限额有限,先到先得!
本站仅提供存储职业性都花花世界,总计本色均由用户发布,如发现存害或侵权本色,请点击举报。
Powered by telegram 偷拍 @2013-2022 RSS地图 HTML地图
Copyright Powered by365建站 © 2013-2024