- 博客(46)
- 收藏
- 关注
RSS订阅原创 7GB显存如何部署bf16精度的DeepSeek-R1 70B大模型？
本文介绍了在AutoDL算力云平台上通过优化显存管理技术，成功在7GB显存下运行DeepSeek-R170B大模型的过程。通过降低模型精度至bfloat16，显存需求减少50%，再通过INT4对称量化，模型体积压缩至原始尺寸的25%（140G→35G）。结合vLLM PageAttention显存管理引擎，显存碎片率降低80%以上，并启用GPU-CPU交换空间，进一步降低显存需求。最终，在单机单卡7GB显存下成功启动模型，尽管推理速度较慢（0.4token/s），但展示了在有限资源下运行大模型的可行性。
2025-05-19 18:34:09
891
原创 构建RAG混合开发---PythonAI+JavaEE+Vue.js前端的实践
构建RAG混合开发---通过PythonAI加载大模型以及RAG知识库，结合Java访问Python与Vue.js前端的实践交互案例
2025-05-15 19:40:05
932
原创 服务容错治理框架resilience4j&sentinel基础应用---微服务的限流/熔断/降级解决方案
Slf4j/*** 案例一：自定义局部异常拦截：* blockHandler：Sentinel 流量控制或熔断、降级触发时执行的回调方法；方法参数、返回值类型要和partSentinel()方法一致；* fallback：业务逻辑抛出异常时才会执行；方法参数、返回值类型要和partSentinel()方法一致..*/throw new NullPointerException("抛出异常...");log.info("partSentinel 休眠...{}s", time);
2025-05-01 20:28:25
1275
原创 服务容错治理框架resilience4j&sentinel基础应用---微服务的限流/熔断/降级解决方案
通过@RestControllerAdvice定义全局异常处理类System.out.println("熔断异常全局处理");return "熔断异常全局处理";System.out.println("超时异常全局处理");System.out.println("隔板异常全局处理");System.out.println("限流异常全局处理");return "限流异常全局处理";@Service// 模拟外部API调用，有概率失败或延迟。
2025-04-30 18:33:51
1127
原创 conda管理python环境
有时候你在conda虚拟环境中，你查看pip --version以及python --version时，你会发现，它的版本和你预期的版本相差很大，这是可能是创建环境时，采用了默认python版本。，说明在conda中依然使用的是宿主机的pip，此时安装的包，会安装在宿主机的pip安装的位置，导致虚拟环境内和宿主机的pip包一样；- 如果设置conda-forge的优先级，可以直接去掉 -c conda-forge。更新conda到最新版本： conda update -n base conda。
2025-04-30 14:52:17
878
原创 快速搭建对象存储服务 - Minio，并解决临时地址暴露ip、短链接请求改变浏览器地址等问题
基础的Minio下载安装、java操作方法、完整的工具类。使用minio时需要注意的地方：使用Minio的时候，生成资源的临时访问链接时，生成的地址IP是真实的IP和端口，不安全，怎么办？生成的Minio的临时访问链接过长怎么办？从而引导出：1、如何生成短链接：2、重定向和转发的区别？3、重定向的实现方式：4、如何保证浏览器地址不变的情况下请求资源？
2025-04-28 19:35:15
905
原创 大模型LLMs基于Langchain、Langgraph的Agent使用
"""使用自定义提示词模板创建Agent:return:"""("system","""你是我定义的一个工具，一个搜索实时信息的工具这代表着如果有你不知道的信息，你都可以使用它们获得最准确的结果。如果工具也无法处理，请直接回复“无法处理”即可，切勿过多修饰。"""),# 添加，不然报错ValueError: Prompt missing required variables: {'agent_scratchpad'}
2025-04-01 15:42:52
748
原创 大模型LLMs基于Langchain+FAISS+Ollama/Deepseek/Qwen/OpenAI的RAG检索方法以及优化
大模型LLMs基于Langchain+FAISS+Ollama/Deepseek/Qwen/OpenAI的RAG检索方法以及优化
2025-03-28 13:36:49
1271
原创 使用docker-compose安装Redis的主从+哨兵模式
docker-compose安装云服务器版本的一主二从一哨兵模式的redis，并使用本地应用连接redis；
2025-01-10 23:00:15
1119
原创 docker-compose安装canal并利用rabbitmq同步多个mysql数据
利用docker-compose安装canal并利用rabbitmq进行mysql的数据同步问题...
2025-01-10 19:01:39
1735
1
原创 @PostConstruct和@PreDestroy与servlet生命周期的关系
而@PreDestroy是在服务结束的时候，一般用来清理资源，比如关闭线程池，与servlet中destory()方法类似；: 此方法在 Servlet 实例化后立即调用，用于执行一次性的初始化工作（例如，打开数据库连接、初始化配置设置等）。: 此方法在 Servlet 的生命周期结束时调用，用于执行清理工作（例如，关闭数据库连接、释放资源等）。: 此注解标记在一个方法上，表明该方法应在 bean 的所有必需依赖项已被 Spring 容器注入后调用，且在第一次对其他 bean 的使用之前。
2023-07-20 17:53:44
455
原创 Redis-Redisson-升级3.17.*报错：Unrecognized token ‘classpath‘
3.11.2是老版本，本文主要讲3.11.2升级到最新的3.17.4中遇到的问题，如果想直接使用3.17,可以直接跳过3.11看3.17即可。 错误排查： 根据断点，系统是在类“com.fasterxml.jackson.databind.ObjectMapper”中的“readValue(String content, JavaType valueType)”中的代码“return (T) _readMapAndClose(_jsonFactory.createParser(con
2022-07-14 17:43:00
2251
原创 Docker-compose编排MySQL+Nacos+Seata
docker-compose一键编排mysql+nacos+seata，开箱即用
2022-07-09 23:16:10
1860
原创 docker中病毒“kirito666（这是一篇不能解决实际问题的记录，介意勿看）
docker中病毒“kirito666”问题发现：阿里云发送短信：“尊敬的 XXXX：您的服务器因攻击被限制访问部分目的端口，详情信息请查看xxxx”登录阿里云控制台可以看到CPU使用率达到99%，并且无法远程登录服务器。并且在阿里云的安全告警处理器中可发现如下信息处理流程：登录阿里云，进行强制重启。重启后，就可以通过Xshell/SecureCRT工具远程登录服务器进行排查。通过执行free -lh 、top、df -lh等命令均为发现异常。然后查看docker容器发现如下信息：从
2021-06-07 11:56:44
839
原创 大忙人系列_一分钟Docker安装MySQL
1、拉取MySQLdocker pull mysql:8.0 (如果不加版本号那么拉取的就是latest最新的)查看拉取是否成功：docker images2、创建data、log、config用来挂载外部文件mkdir -p /home/mysql/{conf,logs,data/mysql}或者mkdir -p /apps/mysql/etc \mkdir -p /apps/mysql/log \mkdir -p /apps/mysql/config \mkdi.
2020-05-25 17:24:43
216
原创 大忙人系列_maven依赖多个本地仓库
写在开始公司开发环境是纯内网开发，离线环境。所以有些依赖的话是不能直接下载下来使用，需要在外网下载下来，然后通过U盘导入内网的repository，但是有时候可能由于内网的开发工具的BUG/其他原因，你导入的maven仓库中命名有这个依赖但是maven依旧会报找不到这个依赖...然后会给你生成很多.lastUpdate....啥文件的造成版本依赖问题。此时有很多人会以为我们可以使用mvn install命令，可以把外面的包打入内网的maven仓库，但是，我想说的是maven的install需要安装新的插
2020-05-25 11:18:05
1211
原创 大忙人系列_企业级数据备份方案（Redis）
写crontab定时调度脚本去做数据备份每小时copy一份rdb的备份，到一个目录中去，仅仅保留最近48小时的备份每天都保留一份当日的rdb的备份，到一个目录中去，仅仅保留最近1个月备份每次copy备份的时候，都把太旧的备份给删了每天晚上将当前服务器上所有的数据备份，发送一份到远程的云服务上去备份脚本### 每小时copy一份，删除48小时前的数据文件名：redis_rdb_...
2020-05-22 11:16:49
827
原创 大忙人系列_解决Maven依赖异常(was cached in the local repository)
异常信息：Failure to transfer org.springframework.boot:spring-boot-maven-plugin:pom:1.5.4.RELEASE from https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed
2020-05-22 11:12:27
1373
原创 大忙人系列_解决maven插件下载异常
异常发现我们创建的项目为maven项目，我们需要执行命令：maven clean，出现的：“Plugin org.apache.maven.plugins:maven-clean-plugin:3.0.0 or one of its dependencies could not be resolved”异常异常展示[ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:3.0.0 or one of its dependencies
2020-05-21 15:35:18
2598
原创 大忙人系列_Redis的企业级容灾备份方案
目录操作步骤脚本每小时copy一份，删除48小时前的数据每天拷贝，并且删除一个月前的数据恢复方案容灾演练操作步骤1、写crontab定时调度脚本去做数据备份2、每小时copy一份rdb的备份，到一个目录中去，仅仅保留最近48小时的备份3、每天都保留一份当日的rdb的备份，到一个目录中去，仅仅保留最近1个月备份4、每次copy备份的时候，都把太旧的备份给删了5、每天晚上将当前服务器上所有的数据备份，发送一份到远程的云服务上去脚本每小时copy一份..
2020-05-18 15:26:52
308
转载 Java JPA设置默认值、Timestamp设置、自动获取时间
写在开头本文为转载专题，转载：https://gaoming.blog.csdn.net/article/details/88250205设置默认值@Column(name="state",columnDefinition="tinyint default 0")private Integer state=0;columnDefinition在创建表的时候使用其他时候可以采用直接赋值的方式:private Integer state=0;Timestamp设置注解@or
2020-05-09 09:55:23
3916
原创 大忙人系列面试题_创建线程的方式
一、通过继承Thread，并重写run方法。不使用Thread的缺点，1：每次new Thread()创建新对象太浪费性能2：线程缺乏统一的管理，可能会无限的创建线程，相互之间竞争，极有可能占用过多的系统资源导致死机或OOM；3：功能不够丰富（缺少定时、延迟、缓存等）二、实现Runnable，重写run方法三、使用Callable和Future创建线程1、实现Callabl...
2020-05-08 15:42:04
260
原创 大忙人系列面试题_Netty的性能优化措施
一、零拷贝1、Netty的接收和发送消息，均使用堆外直接内存进行Socket的读写，不需要进行字节缓冲的二次拷贝。2、Netty提供了组合Buffer对象，可以聚合多个ByteBuffer对象。用户可以像操作一个Buffer那样方便地对组合Buffer进行操作。避免了传统通过内存拷贝的方式将几个小的Buffer合并成一个大的Buffer。3、Netty的文件传输采用了transferT...
2020-05-08 15:31:04
308
原创 大忙人系列_如何使用Canal和kafka解决MySQL与Redis的同步问题？
写在前文本文是我自己经过实践记录的，环境搭建简单快速，适合于前期学习（如果想深入了解Kafka、Redis、MySQL集群同步等相关知识本文不适用）。使用canal同步有两种方案，一种是使用canal原始的tcp方式，一种是使用canal+kafka类型；Canal原理Canal的服务端伪装成MySQL的从服务器，订阅MySQL的主服务器的binlog日志，实现增量同步数据，保持最终一...
2020-04-29 15:42:44
930
原创 大忙人系列_Docker快速搭建elasticsearch和Kibana
写在开头因为传统的搭建elasticsearch和kibana的环境着实麻烦，对于学习java的同学来说极其不友好，毕竟自己不是专门的运维人员，因为自己可能就是需要一个简单的es和kibana进行基础学习。所以本文仅仅适用于新手需要搭建elasticsearch和kibana的环境。安装ES1.下载镜像： docker pull elasticsearch:6.7.22....
2020-04-28 16:20:44
263
原创 大忙人系列_DataGrip/IDEA连接Oracle的三种方式
目录写在开始格式一: Oracle JDBC Thin using a ServiceName:格式二: Oracle JDBC Thin using an SID:格式三：Oracle JDBC Thin using a TNSName:写在末尾写在开始本文只介绍DataGrip连接Oracle的方式。不介绍三种方式的区别。对三种连接方式的区别有兴趣的，可以移...
2020-04-26 14:11:09
8051
原创 大忙人系列_IDEA超级好用的插件
1、Alibaba Cloud Toolkit阿里巴巴出品的自动检查代码规范；安装后：2、Atom MaterialIcons改变图标；会修改我们的文件图标，让其变得好看。这个是从Material Theme UI 插件里面剥离出来的功能，这个只能用来修改图标。而Material Theme UI 是可以修改整个界面风格(包括字体)改变后：3、Git Com...
2020-04-26 09:50:56
424
原创 大忙人系列_shell命令启动weblogic应用
使用命令：nohup startManagedWebLogic.sh 应用名称 adminurl(主节点名称) &报错：Enter usename to boot WebLogic server:Error: Failed to get value from Standard Input但我们使用：startManagedWebLogic.sh 应用名称 adminurl(...
2020-04-23 10:13:15
1602
原创 大忙人系列设计模式_单例模式的7种创建方法，以及它们的优缺点
写在文章开始：单例一共有如下几种写法：懒汉式（非线程安全）、懒汉式（线程安全）、饥饿式、双重校验式、枚举式、静态内部类、容器类管理。什么是单例？单例模式属于工厂模式的特殊情况，只是它不需要输入参数并且始终返回同一对象的引用。单例模式能够保证某一类型对象在系统中的唯一性，即某类在系统中只有一个实例。单例的应用1、懒汉式懒汉式，顾名思义“懒”，不到万不得已的时候就不会去做这个事情。...
2020-04-21 16:02:17
292
elasticsearch-analysis-ik-6.7.2.zip
2020-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人