- 博客(303)
- 收藏
- 关注
RSS订阅原创 一文读懂智能体（Agent）
Agent，即智能体，是一种能够感知环境、进行推理并采取行动的智能系统。它通常具有自主性，能够在没有人类干预的情况下独立运作。AI Agent的核心功能包括感知、决策和执行，通过这些功能在复杂的环境中自主完成任务。简单来说，智能体就是“能自主执行任务的AI实体”。传统AI（如ChatGPT）主要依靠用户输入指令，而智能体（Agent）可以自主思考、决策，并执行复杂任务，就像一个AI助手，能够独立完成多步操作。
2025-04-22 16:02:42
720
原创 智能体（Agent）与工作流（Workflow）的区别
工作流是指一系列按照预定义规则和顺序执行的任务或步骤，通常用于描述业务流程或操作的结构化执行路径。它强调的是过程的标准化和自动化，确保任务按部就班地完成。核心特点：固定流程、规则驱动、可预测。例子：在软件开发中，一个典型的工作流可能是“代码提交 -> 代码审查 -> 测试 -> 部署”，每个步骤都有明确的前后依赖和触发条件。简单来说，工作流是蓝图，Agent 是执行者。工作流提供清晰的步骤和秩序，适合可预测的任务；Agent 则赋予系统智慧和灵活性，应对复杂多变的环境。
2025-04-22 15:44:41
663
原创 一文读懂RAG检索增强生成
大模型（Large Language Model，LLM）的浪潮已经席卷了几乎各行业，但当涉及到专业场景或行业细分领域时，通用大模型往往面临专业知识不足的问题。相对于成本昂贵的“Post-Training”或“Supervised Fine-Tuning”（监督微调，SFT），基于RAG的技术方案成为了一种更优选择。RAG技术标志着大模型应用从「依赖预训练知识」转向「动态知识融合」，成为企业AI落地的核心架构。掌握RAG不仅需要理解技术原理，更要在实战中不断调优分块策略、检索算法和生成提示。
2025-04-22 15:13:39
715
转载 技术人的大模型应用初学指南
AI：Artificial Intelligence的缩写，指“人工智能”，人工智能是指模拟人类智能的计算机系统或软件，使其能够执行诸如学习、推理、问题解决、感知、语言理解等复杂任务。生成式AI：是一种人工智能技术，能够自动生成新的内容，如文本、图像、音频和视频等。与传统的AI不同，生成式AI不仅能分析和理解数据，还能基于其学习到的信息创造出新的内容。AIGC：AI Generated Content的缩写，意指由人工智能生成的内容。
2025-04-22 13:12:13
25
转载 算力领域常用名词解释
本文系统地整理和解释了算力领域中常用的数十个关键名词，并按照以下维度进行了分类：基础概念、系统架构、硬件架构、基础运算类型、计算模式、相关软件架构与部署模式、浮点精度格式、算力类型、算力关联与服务、算力评估指标以及算力战略概念。是指计算机系统处理数据的能力。它通常用FLOPS（每秒浮点运算次数）来衡量，表示计算机在一秒内可以执行多少次浮点运算。常见的单位包括TFLOPS（万亿次浮点运算/秒）和PFLOPS（千万亿次浮点运算/秒）。
2025-04-22 10:56:26
30
原创 Docker Compose 和 Kubernetes（k8s）区别
前言：Docker Compose 和 Kubernetes（k8s）是容器化技术中两个常用的工具，但它们的定位、功能和适用场景有显著区别。：运行容器化的应用负载（Pod），每个节点包含 kubelet、kube-proxy 等组件。：通过 CNI（容器网络接口）和 CSI（容器存储接口）插件扩展功能。：企业级容器编排平台，解决生产环境中的复杂性、弹性和可靠性需求。：自动化管理跨多个节点的容器部署、调度和生命周期。：自动重启崩溃的容器、替换不可用节点上的 Pod。
2025-04-21 20:39:28
1040
原创 Docker 镜像、容器和 Docker Compose的区别
Docker 的镜像、容器和 Docker Compose 是容器化技术的核心组件，以下是对它们的详细解析及使用场景说明。镜像是只读模板，包含运行应用程序所需的代码、依赖、环境配置等。类似于“软件安装包”；容器是镜像的运行实例，包含独立的进程、文件系统和网络空间，类似“轻量级虚拟机”；Docker Compose定义用于定义和运行多容器应用的工具，通过 YAML 文件（docker-compose.yml）配置服务、网络、卷等。
2025-04-21 16:38:00
1283
原创 DeepSeek-R1的量化版、蒸馏版和满血版区别
DeepSeek-R1的量化、蒸馏版本和满血版是三种不同的模型变体，主要区别在于参数规模、性能表现以及适用场景。
2025-02-10 17:04:36
11558
1原创 区块链全球性技术
区块链（Blockchain）是一种去中心化的分布式账本技术，它通过将数据记录在多个节点上，并以加密方式确保这些记录的安全性和不可篡改性。区块链最初是作为比特币的底层技术被提出，以其独特的去中心化、安全性和透明性，正在改变我们处理数据和进行交易的方式。尽管仍面临一些技术和法规上的挑战，但它已经展现出巨大的潜力，并将继续推动各行业的创新和发展。
2024-12-24 11:43:45
2464
原创 可信数据空间和隐私计算常见术语总结
可信数据空间是基于共识规则，联接多方主体，实现数据资源共享共用的数据流通利用基础设施，是数据要素价值共创的应用生态，是支撑构建全国一体化数据市场的重要载体。本文件所称可信数据空间、数据空间、空间的含义相同。数据提供方、数据使用方、数据服务方、可信数据空间运营者等，依据既定规则，围绕数据资源的流通、共享、开发、利用进行互动和协作，共同构建的以价值共创为导向的生态系统。在可信数据空间中使用数据资源的主体，依据与可信数据空间运营者、数据提供方等签订的协议，按约加工使用数据资源、数据产品和服务。
2024-12-24 11:09:59
1463
原创 JVM从入门到放弃
关于JVM，其实有很多大厂开发了不同版本的JVM，比较知名的有：Sun HotSpot VM、BEA JRockit VM、IBM J9 VM、 Azul VM、 Apache Harmony、 Google Dalvik VM、 Microsoft JVM等等。现在使用的比较多的JDK8版本就是Sun HotSpot VM与BEA JRockit VM合并之后开发出的JDK版本。
2024-08-04 23:36:19
1382
原创 哪些场景会产生OOM？线上遇到OOM怎么解决？
线上如遇到 JVM 内存溢出，可以分以下几步排查jmap -heap查看是否内存分配过小查看是否有明显的对象分配过多且没有释放情况jmap -dump导出 JVM 当前内存快照，使用 JDK 自带或 MAT 等工具分析快照如果上面还不能定位问题，那么需要排查应用是否在不断创建资源，比如网络连接或者线程，都可能会导致系统资源耗尽如果线上遇到了OOM，该如何解决？Arthas（阿尔萨斯）的基本使用。
2024-08-04 23:27:36
1818
原创 最常见的AI大模型总结
针对“文生图”、“文生文”和“文生视频”的分类，下面列出一些当前较为知名的开源大模型。自2022年11月30日Chat GPT发布以来， AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮 。 国内学术和产业界在过去一年也有了实质性的突破 。 大致可以分为三个阶段， 即准备期 （Chat GPT发布后国内产学研迅速形成大模型共识） 、 成长期 （国内大模型数量和质量开始逐渐增长） 、爆发期 （各行各业开 源闭源大模型层出不穷， 形成百模大战的竞争态势） 。
2024-08-04 23:19:37
4249
转载 AI大模型常见术语科普
当我们把AI大模型视作人的大脑时，调用AI大模型就如同调用一个人的智慧。将AI大模型人格化，意味着它应该能够理解人类的语言和用人类的语言直接给出结果。然而，重要的是要认识到，尽管AI大模型可以提供快速的答案，但这些结果并不总是完全准确。在AI大模型的推理基础上，我们采用了多种技术手段来实现真正的AGI（通用人工智能），这些技术包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技术各自有其独特的作用和优势，但同时也相互关联，共同推动着AGI的发展。
2024-07-09 22:28:51
424
原创 Feed流架构设计
在信息学里面，Feed其实是一个信息单元，比如一条朋友圈状态、一条微博、一条新闻或一条短视频等，所以Feed流就是不停更新的信息单元，只要关注某些发布者就能获取到源源不断的新鲜信息，我们的用户也就可以在移动设备上逐条去浏览这些信息单元。Feed流本质上是一个数据流，是将 “N个发布者的信息单元” 通过 “关注关系” 传送给 “M个接收者”。发布者产生数据，然后数据需要按照发布者组织，需要根据发布者查到所有数据，比如微博的个人页面、朋友圈的个人相册等。关注关系。
2024-07-01 00:12:37
2041
原创 一文读懂数据中台
数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种服务能力，让数据更方便地被业务所使用。下图所示为数据中台总体架构图，数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。
2024-06-11 17:10:48
507
原创 Web前端开发工具总结
vue-cli是一个官方发布vue.js项目脚手架，使用 VueCLI 可以快速搭建 vue 项目，以及对应的 webpack 配置。cli 是 Command-Line Interface, 翻译为命令行界面, 但是俗称脚手架。主要作用：目录结构、本地调试、代码部署、热加载、单元测试。
2024-01-29 09:20:23
774
原创 Web网页生成桌面应用
网页生成桌面指的是将一个网页保存为桌面应用程序的形式，使得用户可以在桌面上直接打开该网页，而不必通过浏览器打开。这种桌面应用程序一般具有独立的窗口、菜单、工具栏等界面元素，能够提供更加方便快捷的使用体验。实现网页生成桌面的方法有很多种，下面简单介绍几种常见的方法。
2024-01-24 14:57:49
3731
转载 API接口安全管控机制
前言：直接把API暴露到互联网上给外部系统是存在安全风险的，对外的api接口往往对安全性有严格要求。像很多手机银行、第三方API接口、政务系统等大量的业务场景，通过API对外提供服务。这种情况大部分都暴露在互联网，存在较大的安全隐患。希望能在合规、管理、技术之间架起桥梁，成为一个数据安全的“翻译者”。
2024-01-02 13:52:56
1003
原创 大数据技术16：数据湖和湖仓一体
近几年大数据概念很多，数据库和数据仓库还没搞清楚，就又出了数据湖，现在又开始流行湖仓一体。互联网公司拼命造高大上概念来忽略小白买单的能力还是可以的。
2023-12-27 14:43:01
1620
原创 大数据技术15：大数据常见术语汇总
大数据的出现带来了许多新的术语，但这些术语往往比较难以理解。因此，通过本文整理了大数据开发工程师经常会接触到的名词和概念，了解这些专有名词对于数据研发和数据分析时的人员协作及研发都有很高的作用。
2023-12-18 19:52:29
2093
原创 大数据技术14：FlinkCDC数据变更捕获
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。用于备份，容灾；一个数据源分发给多个下游系统；面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据；无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；
2023-12-16 02:17:19
1099
原创 大数据技术13：HBase分布式列式数据库
2007年Powerset的工作人员，通过google的论文开发出了BigTable的java版本，即HBASE。2008年HBASE贡献给了Apache。HBase需要依赖JDK环境。HBase 是一种类似于 Google’s Big Table 的数据模型，它是 Hadoop 生态系统的一部分，它将数据 储在 HDFS 上，客户端可以通过 HBase 实现对 HDFS 上数据的随机访问。
2023-12-14 11:24:10
1707
原创 大数据技术12：Hive简介及核心概念
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了，Hive出现后大大降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。为每个数据库上创建一个目录，数据库中的表是该目录的子目录，表中的数据会以文 件的形式存储在对应的表目录下。始化，但不会生成所有的元数据信息表，只会初始化必要的一部分，在之后的使用中用到其余表时。
2023-12-14 11:24:06
2862
原创 大数据技术11：Hadoop 原理与运行机制
众所周知，Hadoop 作为一个开源分布式系统基础框架，主要包含两大核心组件：HDFS 分布式文件系统和 MapReduce 分布式并行计算框架，这两大核心组件是 Hadoop 进行大数据处理的基础和基石，此外，Hadoop 的重要组件还包括：Hadoop Common 和 YARN 框架。目前，Hadoop 主要由 Apache 软件基金会进行开发和维护。
2023-12-14 10:17:13
2496
原创 大数据技术10：Flink从入门到精通
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。截止目前2023年12月Flink最新版本为v1.18.0。Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。
2023-12-11 12:50:58
1004
原创 大数据技术9：最流行的Flink+StarRocks 实时数据分析
数据据仓库、数据湖、湖仓一体等一系列大数据理念的成熟和落地，已快速推动着各种数据资产的搭建。StarRocks 的愿景是希望帮助客户，能够实现极速统一 OLAP 分析的技术架构，StarRocks极致的性能已经深入人心。全面支持了向量化引擎，CBO 技术，智能物化视图等等一揽子技术。使得 StarRocks 可以完成亚秒级极速 OLAP 分析，保证数据分析应用最后一公里的极速响应。
2023-12-11 00:14:18
1973
原创 大数据技术8：StarRocks极速全场景MPP数据仓库
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
2023-12-10 20:58:24
3172
原创 大数据技术7：基于StarRocks统一OALP实时数仓
前言： StarRocks 的熟悉程度可能不及 ClickHouse或者是远不及 ClickHouse 。但是大家可能听说过 Doris ，而 StarRocks 实际上原名叫做 Doris DB ，他相当于是一个加强版的也就是一个 Doris+ ,也就是说 Doris 所有的功能 StarRocks 都是有的，但是 StarRocks 有的这种加速的功能 Doris 目前是没有的。我们可以基于 Apache Doris 统一 OLAP 技术栈，并满足庞大数据体量下的实时分析与极速查询。
2023-12-10 16:27:31
1027
原创 大数据技术6：大数据技术栈
大数据相关的技术名词特别多，这些技术栈之间的关系是什么，对初学者来说很难找到抓手。我一开始从后端转大数据的时候有点懵逼，整体接触了一遍之后才把大数据技术栈给弄明白了。
2023-12-09 17:39:58
1189
原创 大数据技术5：OLAP引擎对比分析
数据仓库建设。初级的理解就是建表，将业务数据、日志数据、消息队列数据等，通过各种调度任务写入到表里供OLAP引擎使用。但要想建好数仓也是一个复杂、庞大的工程，比如要考虑：数据清洗、数据建模（星型模型、雪花模型、宽表模型、主题、维度、指标）、数据时效性（实时、T+1）、延迟容错、机器资源等。
2023-12-09 13:53:18
921
原创 大数据技术4：Lambda和Kappa架构区别
Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。两者都有各自的优缺点，需要根据具体场景进行技术选型和设计权衡。
2023-12-08 12:30:50
4440
原创 大数据技术3：数据仓库的ETL和分层模型
数据仓库是一个面向主题的集成的相对稳定的反映历史变化（Time Variant）的数据集合，用于支持管理决策。数据仓库概念是 Inmon 于 1990 年提出并给出了完整的建设方法。随着互联网时代来临，数据量暴增，开始使用大数据工具来替代经典数仓中的传统工具。此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构后来随着业务实时性要求的不断提高，人们开始在离线大数据架构基础上加了一个加速层，使用流处理技术直接完成那些实时性要求较高的指标计算，这便是 Lambda 架构。
2023-12-08 11:56:46
2720
原创 大数据技术2：大数据处理流程
为了能够让熟悉 SQL 的人员也能够进行数据的分析，查询分析框架应运而生，常用的有 Hive 、Spark SQL 、Flink SQL、 Pig、Phoenix 等。分布式文件系统完美地解决了海量数据存储的问题，但是一个优秀的数据存储系统需要同时考虑数据存 储和访问两方面的问题，比如你希望能够对数据进行随机访问，这是传统的关系型数据库所擅长的，但 却不是分布式文件系统所擅长的，那么有没有一种存储方案能够同时兼具分布式文件系统和关系型数据 库的优点，基于这种需求，就产生了 HBase、MongoDB。
2023-12-07 17:41:06
1644
原创 大数据技术1：大数据发展简史
随着信息时代互联网技术爆炸式的发展，人们对于网络的依赖程度日渐加深，在业务中需要处理的数据量快速增加，逐渐飙升到了一个惊人的数量级。并且数据产生的速度随着采集与处理技术的更新仍在加快。数据量从兆字节(MB)、 吉字节 (GB) 的级别到现在的太字节 (TB)、柏字节(PB) 级别，数据量的变化促使数据管理系统(DBMS) 和数据仓库(DataWarehouse,DW)系统也在悄然地变化着。传统应用的数据系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库
2023-12-05 18:04:30
2741
原创 MVC、MVP、MVVM模式的区别
这些模式是依次进化而形成MVC—>MVP—>MVVM。在以前传统的开发模式当中即MVC模式，前端人员只负责Model（数据库）、 View（视图）和 Controller /Presenter/ViewModel（控制器） 当中的View（视图）部分，写好页面交由后端创建渲染模板并提供数据，随着MVVM模式的出现前端已经可以自己写业务逻辑以及渲染模板，后端只负责提供数据即可，前端所能做的事情越来越多。
2023-12-05 15:58:26
757
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人