- 博客(55)
- 收藏
- 关注
RSS订阅原创 在 Ubuntu 24.04 LTS 上 Docker 部署 DB-GPT
DB-GPT是一个开源的AI原生数据应用开发框架，旨在简化大模型应用的构建过程。它通过多模型管理、Text2SQL优化、RAG框架、Multi-Agents协作和AWEL工作流编排等技术，帮助开发者更便捷地围绕数据库构建大模型应用。DB-GPT支持多种安装方式，包括Docker和Docker Compose，并提供详细的文档和快速部署指南。使用DB-GPT时，开发者需要配置模型供应商、维护数据源和知识库，并创建个性化的应用程序和工作流。DB-GPT支持多种对话模式，如Excel对话、数据库对话和知识库对话，
2025-05-22 18:09:59
4
原创 在Window10 和 Ubuntu 24.04LTS 上 Ollama 在线或离线安装部署
Ollama 是一个开源的大型语言模型（LLM）服务框架，旨在通过轻量化、跨平台的设计，简化大模型在本地环境中的部署与应用。
2025-05-05 22:44:53
1111
原创 在 Ubuntu 24.04 LTS 一台机子上同时部署Dify 1.3.1 和 RAGflow 0.18.0
为什么要 RAGflow 和 Dify 结合呢？是因为 RAGflow 可以解决 Dify 在RAG 和 知识库解析和检索短板。
2025-04-28 22:16:04
1262
原创 在 Ubuntu24.04 LTS 上 Docker 部署英文版 n8n 和 部署中文版 n8n-i18n-chinese
n8n 有开源免费的社区版（本次部署均基于社区版）开源协议目前为 Apache 2.0协议，支持自部署保障数据安全；支持可视化编排、拖拽式节点设计，无需编程基础；支持JavaScript/Python自定义节点，兼容AI大模型；专注workflow（工作流）这块的，节点更丰富，支持更加细粒度的配置，自由度更高，可以集成LLM，但不限于此，可以更自由的定制AI流程，，全场景覆盖和超强扩展性等优势。
2025-04-26 18:16:29
1207
1
原创 AI领域：MCP 与 A2A 协议的关系
MCP是由Anthropic提出并于2024年11月开源的通信协议，旨在标准化大型语言模型与外部数据源和工具的交互方式，为LLM提供上下文和工具支持。在MCP协议，一些专业工具、软件、系统都可以向大模型提供服务支持，这样用户在大模型交互的时候，就能支持更丰富的能力专业能力。A2A也是一个开源通信协议，由谷歌推出，旨在为不同系统和平台中的智能体提供标准化的交互方式。智能体是能够执行特定任务的AI实体，A2A确保这些智能体通过一致的标准进行通信和协作，实现跨平台协同工作。
2025-04-22 22:17:02
763
原创 Django3 - 开启Django Hello World
要学习Django首先需要了解Django的操作指令，了解了每个指令的作用，才能在MyDjango项目里编写Hello World网页，然后通过该网页我们可以简单了解Django的开发过程。
2025-04-13 18:07:42
856
原创 Django3 - 建站基础
网站(Website)是指在因特网上根据一定的规则，使用HTML（Hyper Text Markup Language，超文本标记语言）等工具制作并用于展示特定内容相关网页的集合。简单地说，网站是一种沟通工具，人们可以通过网站来发布自己想要公开的资讯，或者利用网站来提供相关的网络服务，也可以通过网页浏览器来访问网站，获取自己需要的资讯或者享受网络服务。
2025-04-13 16:08:25
1054
原创 在 Ubuntu24.04 LTS 上 Docker Compose 部署基于 Dify 重构二开的开源项目 Dify-Plus
Dify-Plus，该名字不是说比 Dify 项目牛的意思，意思是想说比 Dify 多做了一些针对企业场景多了一些二开的功能而已。简而言之：该项目基于 gin-vue-admin 做了 Dify 的管理中心，基于 Dify 做了一些适合企业场景的二开功能。Dify-Plus 是 Dify 的企业级增强版，集成了基于 gin-vue-admin 的管理中心，并针对企业场景进行了功能优化。🚀 Dify-Plus = 管理中心 + Dify 二开。
2025-04-06 22:44:35
881
原创 使用Scrapy官方开发的爬虫部署、运行、管理工具：Scrapyd
Scrapyd是Scrapy官方开发的，用来部署、运行和管理Scrapy爬虫的工具。使用Scrapyd，可以实现一键部署Scrapy爬虫，访问一个网址就启动/停止爬虫。Scrapyd自带一个简陋网页，可以通过浏览器看到爬虫当前运行状态或者查阅爬虫Log。Scrapyd提供了官方API，从而可以通过二次开发实现更多更加复杂的功能。Scrapyd可以同时管理多个Scrapy工程里面的多个爬虫的多个版本。
2025-04-05 23:47:03
1944
原创 (一) 互联网云服务模型提供商介绍 — 硅基流动
Max Tokens ： 模型生成回复时允许的最大Token数量。Token可以是单词、子词或标点等语言基本单元。图中设置为8192，表示生成内容的上限为8192个Token。Temperature ： 温度系数，控制生成文本的随机性。值越高，文本越具创造性和多样性，但可能偏离主题；值越低，文本更保守和确定。图中值为0.6，处于适中范围。Top - P ： 核采样（nucleus sampling）参数。从概率分布中选取累计概率达到0.95的词作为候选集，再从中采样生成。
2025-03-17 12:49:23
106
原创 在 Ubuntu24.04 LTS 上 Docker Compose 部署 Dify 社区版 1.0.1
LLMOps（Large Language Model Operations）是一个涵盖了大型语言模型（如GPT系列）开发、部署、维护和优化的一整套实践和流程。LLMOps 的目标是确保高效、可扩展和安全地使用这些强大的 AI 模型来构建和运行实际应用程序。它涉及到模型训练、部署、监控、更新、安全性和合规性等方面。下表说明了使用 Dify 前后开发 AI 应用的各环节差异：在使用 LLMOps 平台如 Dify 之前，基于 LLM 开发应用的过程可能会非常繁琐和耗时。
2025-03-15 00:04:08
1691
原创 Ubuntu24.04 LTS 版本 Linux 系统在线和离线安装 Docker 和 Docker compose
在 Ubuntu 24.04 LTS 中，系统引入了全新的软件源配置格式。现在的源配置文件内容更加结构化且清晰，主要包含了软件类型 (Types)、源地址 (URIs)、版本代号 (Suites) 以及组件 (Components) 等信息。由于首次更新会包含内核更新，我们需要执行重启操作，让内核和各种补丁生效。
2025-03-14 00:16:15
1936
原创 在 Windows 系统下使用 VMware 安装 Ubuntu 24.04 LTS 系统
Ubuntu24.04桌面端官方下载：https://cn.ubuntu.com/download/desktop。
2025-03-13 18:09:13
3698
原创 下载安装启动 VMware 个人免费版本
如果本身是要在 Windows 系统安装 VMware ，那找到 VMware Workstation Pro for PC 点击 DOWNLOAD NOW ；如果本身是要在 Mac 系统安装 VMware ，那找到 VMware Fusion Pro for Mac 点击 DOWNLOAD NOW 。
2025-03-12 18:33:35
1880
2
原创 Python3 爬虫 爬虫中间件
爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间键的作用对象是爬虫，更具体地来说，就是写在spiders文件夹下面的各个文件。
2025-03-08 23:49:30
1735
原创 Python3 爬虫 开发Scrapy下载器中间件
能在中间件中实现的功能，都能通过直接把代码写到爬虫中实现。使用中间件的好处在于，它可以把数据爬取和其他操作分开。在爬虫的代码里面专心写数据爬取的代码；在中间件里面专心写突破反爬虫、登录、重试和渲染AJAX等操作。对团队来说，这种写法能实现多人同时开发，提高开发效率；对个人来说，写爬虫的时候不用考虑反爬虫、登录、验证码和异步加载等操作。另外，写中间件的时候不用考虑数据怎样提取。一段时间只做一件事，思路更清晰。没有自由的秩序和没有秩序的自由，同样具有破坏性。
2024-12-22 21:23:34
1623
原创 Python3 爬虫 Scrapy 与 Redis
Scrapy是一个分布式爬虫的框架，如果把它像普通的爬虫一样单机运行，它的优势将不会被体现出来。因此，要让Scrapy往分布式爬虫方向发展，就需要学习Scrapy与Redis的结合使用。Redis在Scrapy的爬虫中作为一个队列存在。
2024-12-15 19:00:36
1380
原创 Scrapy与MongoDB
Scrapy可以在非常短的时间里获取大量的数据。这些数据无论是直接保存为纯文本文件还是CSV文件，都是不可取的。爬取一个小时就可以让这些文件大到无法打开。这个时候，就需要使用数据库来保存数据了。MongoDB由于其出色的性能，已经成为爬虫的首选数据库。它的出现，使得Scrapy如虎添翼，从此可以放心大胆地爬数据了。
2024-12-08 21:44:00
1121
原创 Python3 爬虫 Scrapy的安装
Scrapy是基于Python的分布式爬虫框架。使用它可以非常方便地实现分布式爬虫。Scrapy高度灵活，能够实现功能的自由拓展，让爬虫可以应对各种网站情况。同时，Scrapy封装了爬虫的很多实现细节，所以可以让开发者把更多的精力放在数据的提取上。
2024-11-24 20:09:44
1533
原创 Android原生App爬虫-实现原理
爬虫常见两种情况：第一种情况，爬虫伪装成浏览器，向服务器要数据；第二种情况，在服务器往浏览器发送数据时，爬虫从中拦截，获取信息。这两种情况，无论是暗号（参数）不对还是行为不对，都会被服务器识别。那么有没有什么办法可以做到几乎毫无痕迹地爬取数据呢？答案是有的。
2024-11-16 22:36:17
3313
原创 Python3 爬虫 数据抓包
使用Charles，可以轻松截获手机App和微信小程序的数据包，从而开发出直接抓取App后台和小程序后台的爬虫。
2024-08-04 20:19:01
1530
原创 Python3 爬虫 模拟登录
模拟登录有多种实现方法，使用Selenium操作浏览器登录和使用Cookies登录虽然简单粗暴，但是有效。使用模拟提交表单登录虽然较为麻烦，但可以实现自动化。
2024-06-23 18:11:47
1836
原创 Python3 之 模拟浏览器
虽然在网页的源代码中无法看到被异步加载的内容，但是在Chrome的开发者工具的“Elements”选项卡下却可以看到网页上的内容，这就说明Chrome开发者工具“Elements”选项卡里面的HTML代码和网页源代码中的HTML代码是不一样的。而这个条件就是“presence_of_element_located”，其中的“located”是“locate”的被动式，表示“被定位的”，“presence”的英文意思是“出现”。使用Windows的开发者在写这个参数的时候，要注意反斜杠的问题。
2024-01-01 13:36:01
2112
原创 Python3 爬虫之异步加载
JSON是一种格式化字符串。JSON字符串与Python的字典或者列表非常相似，仅存在一些细微差别。为什么需要JSON这种字符串呢？举一个例子：一个会英语不会德语的中国人，和一个会英文不会中文的德国人，他们可以使用英语愉快地交谈。英语在他们的交流中扮演了一个中介的角色。JSON在网络通信里面就是这个中介。JSON的全称是JavaScript Object Notation，是一种轻量级的数据交换格式。网络之间使用HTTP方式传递数据的时候，绝大多数情况下传递的都是字符串。
2023-11-26 19:32:19
1156
原创 Python3 爬虫信息读取 MongoDB 和 Redis 的使用建议
虽然MongoDB相比于MySQL来说，速度快了很多，但是频繁读写MongoDB还是会严重拖慢程序的执行速度。
2023-11-12 18:41:22
424
原创 Python3 之 Redis 安装
Redis是一个基于内存的数据库，数据库可以作为一个媒介来实现人与程序或者程序与程序的沟通。比如，如果程序的一些关键变量的值是实时从数据库里面读出来的，那么如果控制者想改变程序的一些行为，只需要修改这几个关键变量的值就可以了。例如爬虫的目标页面的网址是从数据库里面实时读出来的，那么如果想临时增加几个新的网址，只需要把网址添加到数据库中即可，不需要重启爬虫。
2023-07-16 20:21:23
691
原创 Python3 之 PyMongo 的安装与使用
PyMongo 模块是 Python 对 MongoDB 操作的接口包，能够实现对 MongoDB 的增删改查及排序等操作。
2023-07-09 11:33:43
8865
原创 Python3 之 MongoDB 的安装
MongoDB 是一款基于C++开发的开源文档数据库，数据在 MongoDB 中以Key-Value的形式存储，就像是Python中的字典一样。使用 MongoDB 管理软件RoboMongo。需要注意的是，RoboMongo 已经被 Studio 3T 所在的 3T Software Labs 收购，因此，RoboMongo 的后续版本改名为 Robo 3T。Robo 3T 与 RoboMongo 除了名字不一样以外，其他地方都是一样的。
2023-07-01 22:25:22
270
原创 微服务框架为什么首选前后端分离开发模式
当业务变得越来越复杂或产品线越来越多时，原有的开发模式就无法满足业务需求了。产品越来越多，展现层的变化越来越快、越来越多，此时应该进行前后端分离的分层抽象，简化数据获取过程。
2023-04-02 13:54:35
964
原创 Python3 使用 XPath 和 Beautiful Soup4 进行HTML内容解析
XPath（XML Path）是一种查询语言，它能在XML（Extensible Markup Language，可扩展标记语言）和HTML的树状结构中寻找结点。形象一点来说，XPath就是一种根据“地址”来“找人”的语言。用正则表达式来提取信息，经常会出现不明原因的无法提取想要内容的情况。最后即便绞尽脑汁终于把想要的内容提取了出来，却发现浪费了太多的时间。需要寻找的内容越复杂，构造正则表达式所需要花费的时间也就越多。
2023-03-22 21:53:04
1234
原创 Python3 多线程爬虫
由于爬虫是I/O密集型的操作，特别是在请求网页源代码的时候，如果使用单线程来开发，会浪费大量的时间来等待网页返回，所以把多线程技术应用到爬虫中，可以大大提高爬虫的运行效率。
2022-12-29 10:39:05
296
原创 使用 Python3 获取网页源代码
爬虫的数据爬取量非常大，显然不可能对每个页面都手动复制源代码，因此就有必要使用自动化的方式来获取网页源代码。
2022-12-23 21:57:59
9454
1
原创 Python3 的文件操作
Python3 爬虫操作涉及对文件的读/写与编码的处理是爬虫工程师必须要掌握的。 使用Python3 来读/写文本需要用到“open”这个关键字。它的作用是打开一个文件，并创建一个文件对象。 使用Python3打开文件，有两种常用写法。 第1种方式，如下： 第2种方式，如下： 第1种方式需要手动关闭文件，但是在程序开发中经常会出现忘记关闭文件的情况。第二种方法不需要手动关闭文件，只要代码退出了缩进，Python就会自动关闭文
2022-12-12 23:34:24
2434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人