Ollama基于Casaos一键部署,并接入Dify知识库,无需再为API付费

ollama">什么是Ollama

Ollama是一个开源的大型语言模型服务工具,它帮助用户快速的运行大模型。浪浪云将它做为一键部署通过简单的安装,用户可以执行一条命令就可以运行开源大型语言模型,如 llama3 ,通以千问。极大地简化了部署和管理LLM的过程,使得用户能够快速地在本地运行大型语言模型

优点:通过服务器自身算力来运行大模型,无需再为API付费

缺点:非常消耗算力,低配置也就只能跑跑小模型

相关文档

  • Dify知识库基于Casaos一键部署
  • Dify知识库接入微信

服务器推荐

推荐使用浪浪云服务器,省心 省时 省力 稳定且安全

效果演示

ollama">一键部署ollama

Pasted image 20240629115945

dify后无需再为api付费">接入到Dify后,无需再为api付费

Pasted image 20240629134250

选择这个最低配置就可以安装

Pasted image 20240623121606

设置端口转发访问casaos

ollama端口转发">设置Ollama端口转发

Pasted image 20240629120911

访问casaos

打开应用商店

Pasted image 20240623143411

ollama">搜索安装ollama

Pasted image 20240629120136


 

Pasted image 20240629120207

Pasted image 20240629115945

安装大模型

选择设置

Pasted image 20240629121209

点击终端

Pasted image 20240629121237

下载千问大模型

ollama run qwen:1.8b

Pasted image 20240629121423

安装成功

Pasted image 20240629121507

测试一下问个你好

Pasted image 20240629121537

可以看到可以回答问题了,但是使用界面不太好,现在将它接入到dify里面使用

dify里面使用">现在将它接入到dify里面使用

dify-设置">打开dify 设置

Pasted image 20240629121854

ollama">找到模型供应商ollama

Pasted image 20240629121938

ollama的api接口">访问ollama的api接口

Pasted image 20240629122435

添加千问大模型

Pasted image 20240629133648

可以看到添加模型成功

Pasted image 20240629133734

系统模型设置里的推理模型换为qwen1.8b

Pasted image 20240629134013

切换模型为qwen:1.8b

Pasted image 20240629134155

询问一下看看效果如何,这就成功了

Pasted image 20240629134250


http://www.niftyadmin.cn/n/5535104.html

相关文章

使用go语言实现快速排序、归并排序、插入排序、冒泡排序、选择排序

冒泡排序(Bubble Sort): 原理:比较相邻的元素,如果前一个比后一个大,就交换它们。这个过程会使得每一轮最大的元素“冒泡”到数组的末尾。时间复杂度:O(n^2)稳定性:稳定 // Bubble…

DIY智能音箱:基于STM32的低成本解决方案 (附详细教程)

摘要: 本文详细介绍了基于STM32的智能音箱的设计与实现过程,包括硬件设计、软件架构、语音识别、音乐播放等关键技术。通过图文并茂的方式,结合Mermaid流程图和代码示例,帮助读者深入理解智能音箱的工作原理,并提供实际操作指导。…

SpringBoot 启动流程一

SpringBoot启动流程一 我们首先创建一个新的springboot工程 我们不添加任何依赖 查看一下pom文件 我们创建一个文本文档 记录我们的工作流程 我们需要的是通过打断点实现 我们首先看一下启动响应类 package com.bigdata1421.start_up;import org.springframework.boot.Spr…

Linux 程序置顶脚本

引言 当希望我们运行的程序,一直保持在最顶端运行,即置顶状态,那么有很多种方式,这边给出一种脚本方式处理。 通过持续监控,当发现活动窗口不是我们所希望的窗口时,将我们希望置顶的程序窗口置顶。 脚本 …

docker初始化运行mysql容器时自动导入数据库存储过程问题

问题:用navicat导出的数据库脚本,在docker初始化运行mysql容器时,导入到存储过程时出错。 ERROR 1064 (42000) at line 2452: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for t…

AI:开发者的超级助手,而非取代者

AI:开发者的超级助手,而非取代者 引言 在这个日新月异的科技时代,人工智能(AI)已悄然渗透到我们生活的方方面面,尤其是在软件开发领域,它正以一种前所未有的方式改变着我们的工作方式。作为一名…

删除账户相关信息

功能需求 获取正确的待删除账户名杀死系统中正在运行的属于该账户的进程确认系统中属于该账户的所有文件删除该账户 1. 获取正确的待删除账户名 #让用户输入账户名 read -t 10 -p "please input account name: " accountif [ -z $account ] thenecho "account…

手机取证基础知识(一)

文章关键词:手机取证、电子数据取证 手机取证,也称为移动设备取证或智能手机取证,是数字取证的一个分支,专注于从智能手机和其他移动设备中提取、分析和呈现证据的过程。这项技术通常用于法律调查,尤其是在犯罪调查中…