- 博客(367)
- 资源 (13)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 人工智能拟人化互动服务安全风险与应对建议
AI拟人化互动服务快速兴起，市场规模预计2035年将达5525亿美元。这类服务通过类人交互提供陪伴支持，但也存在情感依赖、认知错觉和隐私风险。中国已出台管理办法，要求明确AI身份、数据合规和心理风险防控。企业需在产品设计中融入安全考量，建立可审计技术体系，优化用户知情提示。AI拟人化服务虽能缓解孤独，但必须认清其本质，构建安全可信的系统才能确保行业健康发展。
2025-12-30 23:59:10
75
原创 智能体安全的牛鼻子是什么？
智能体安全的核心在于推理层的可见性与可控性。与传统软件不同，智能体的行为由动态推理过程决定，攻击者可操纵这一过程实现隐蔽攻击（如工具中毒、间接提示注入）。传统安全机制在此失效，必须建立三项能力：1）可见性，完整记录推理链路；2）可控性，实现参数验证、信息流控制和人工审批；3）动态信任锚定，确保工具交互安全。当前许多方案仍沿用传统防护思路，无法真正解决智能体特有的安全风险，需直接在推理层实施监控和验证。
2025-12-24 22:46:47
86
原创 关于2025年读书目标的偶感
本文反思了作者2023年的阅读经历与心态变化。作者发现自己对近半年的阅读内容记忆模糊，并对文学作品的虚构性产生质疑，曾一度认为在大模型时代阅读传统书籍意义有限。虽然中途放弃了一些难懂的意识流作品，但重新拾起《一句顶一万句》作为消遣阅读。作者主动降低了年度阅读目标，将更多时间用于陪伴家人和研究工作，认为生活体验比单纯完成阅读数量更重要。最终接受可能无法达成目标的事实，但对自己平衡阅读与生活的选择感到坦然。
2025-12-22 22:50:51
281
原创 AI Agent安全深入学习
AIAgent安全因模型、工具和权限的多层不确定性面临全新挑战，传统安全假设（行为确定、输入结构化）在此失效。CrowdStrike报告提出六大防御边界（输入验证、推理监控等）和五层MCP强化框架（系统提示、工具治理等），强调需为动态推理系统设计控制。其产品AIDR整合AI安全防护，覆盖威胁检测、数据保护等场景，通过统一平台实现实时监控与响应。报告指出，AIAgent决策依赖语义而非代码，攻击面扩展至提示词、工具元数据等层面，需通过版本控制、身份认证等90天优先措施建立新安全模型。核心观点：AI安全
2025-12-18 23:24:15
94
原创 2026年中国网络安全趋势预测与甲方应对指南
2026年中国网络安全将进入"AI原生"时代，面临四大关键趋势：AI驱动的自主攻击智能体、深度伪造欺诈、工业化攻击速度和新型暴露面（代码、数据与身份）。防御体系需转向"机器速度"，建议甲方采取三大应对策略：战略上构建AI对抗AI的智能防御体系；技术上实施AI安全态势管理、反深度伪造机制和抗量子加密；管理层需强化高管问责、全员AI安全意识及供应链审查。核心在于重塑信任机制，建立自动化响应和全链路可视的防御体系。
2025-12-17 00:10:12
98
原创 第三方MCP服务器安全使用指南：风险与应对措施
摘要：随着AI模型通过MCP协议获得调用外部工具的能力，其安全风险呈现"模型×工具×权限"的复合特征。本文分析了第三方MCP服务器的核心风险：1)工具投毒导致未授权操作；2)内存投毒引发长期行为偏差；3)工具干扰形成数据越权流转。结合GPT-4.1工具投毒等案例，提出四类应对措施：严格认证授权、沙箱化隔离、可信服务器发现机制及全流程治理。报告强调AI系统需在严格约束下使用工具，而非放任自由调用，并以天气服务器检测报告为例展示了风险评估框架。
2025-12-15 19:35:11
42
原创 Agentic AI 核心威胁分类表
随着人工智能技术的演进，Agentic AI（智能体 AI）正引领着从传统生成式 AI 向自主智能系统的跨越。与被动响应用户指令的“聊天机器人”不同，Agentic AI 被定义为一种具有目标感和自主性的智能框架。在该框架下，AI 不再仅仅是信息的生成者，而是具备了推理规划、记忆存储、工具调用和自主执行能力的主动实体。
2025-11-28 20:36:55
702
原创 Agentic AI 威胁建模与缓解措施
本文分析了AgenticAI（智能体AI）系统的安全威胁与缓解策略。AgenticAI作为具备自主决策能力的AI框架，在规划、记忆、工具调用等环节面临15类安全威胁（T1-T15），包括内存投毒、工具滥用、权限妥协等。威胁分类基于系统组件（推理、内存、工具等）形成决策树，典型风险场景涉及企业协作代理被操纵泄露数据、智能家居摄像头误判安全威胁等。针对这些威胁，研究提出6个行动手册：防止推理操纵、保护内存与知识、控制工具执行、加强认证、保护人机交互及多代理通信安全。缓解措施涵盖预防性控制（如内存验证）、实时检测
2025-11-25 23:02:01
355
原创 如何应对大模型安全攻击
本文分析了AI技术被恶意用于网络攻击的新趋势，强调我国《网络安全法》修订明确要求规范AI伦理监管。报告展示了AI自主执行的六阶段攻击流程，包括目标侦察、漏洞利用、横向移动等，但也指出存在幻觉问题和技术依赖等局限。防御方面，建议通过AI增强威胁检测、漏洞评估等能力，构建主动防御体系。网络安全工作者需在合规前提下提升AI防护技能，用AI对抗AI攻击，实现"以魔法打败魔法"。关键是要在合法框架内发挥AI的防御价值，共同维护数字安全。
2025-11-17 18:56:20
96
原创 基于文本+视觉混合输入的恶意流量检测方法猜想
DeepSeek-OCR 的出现，不仅为文档理解带来了突破，更重要的是，它为解决超长序列的 O(N²)瓶颈提供了一种跨模态的思路。 笔者深信，在网络安全领域，尤其是流量检测这种对实时性要求极高的场景中，单纯依赖文本语义推理是不足够的。通过将纯文本输入的高吞吐量与视觉输入（光学压缩）的高效率和结构鲁棒性结合起来，我们有望构建出更快速、更智能、更具抗混淆能力的下一代恶意流量检测系统。 这个“文本+视觉混合输入”的猜想，期待能在未来的工程实践中得到验证，真正将人
2025-10-21 23:55:20
179
原创 政务大模型从场景到安全的完整落地建议
2025年9月，全国网络安全标准化技术委员会率先发布《政务大模型应用安全规范》（TC260-004），为政务大模型应用安全划定了技术底线。紧随其后，10月国家网信办发布《政务领域人工智能大模型部署应用指引》，从应用场景到部署模式，从运行管理到保障措施，构建了政务大模型应用的完整框架。两份文件共同为"人工智能+"行动在政务领域的落地提供了明确的指引和安全保障。
2025-10-11 23:17:19
119
原创 AI在安全运营中的四大价值与制约
AI驱动安全运营变革：缓解告警洪流与提升响应效能 数字时代网络安全面临告警过载、攻击复杂化的挑战，传统SOC模式难以应对。研究表明，安全团队日均处理近千条告警，40%因资源限制被忽视，其中61%实为关键事件。AI（尤其大模型）正重塑安全运营： 告警智能处理：AI通过聚类、优先级排序减少低价值告警，55%的团队已部署AI分拣工具； 调查效率提升：LLM辅助分析日志、生成报告，93%的查询符合标准化任务，人机协作保持决策可控性； 自动化响应：AI推荐或执行低风险操作（如阻断连接），动态优化策略； 资源优化：分层
2025-10-11 17:56:57
124
原创 人形机器人安全研究
人形机器人因其多模态传感器和持续联网能力，可能被滥用为被动数据泄露木马或主动网络安全攻击平台（CAI）。本文分析了这两类威胁的技术实现与防御方案：机器人通过传感器收集环境数据并传输至云端，可能泄露敏感信息；同时，预置的信任关系使其可能被武器化为内网攻击节点。防御措施包括网络隔离、最小权限设置、强化认证机制和入侵检测系统。建议部署时严格管控网络访问、加强数据加密，并对敏感操作实施可视化监控与审计。
2025-10-09 22:53:10
153
原创 CAI：面向全体安全从业者的网络安全智能体框架
CAI（Cybersecurity AI）作为一个开源、轻量的安全智能体框架，旨在把先进的安全测试能力从少数组织手里“还给”社区与从业者：它既强调实战导向的能力构建，也重视人类监督与伦理边界。在人机协作、守护栏与透明度的约束下，CAI为网络安全的效率提升与生态再平衡提供了重要抓手，也为机器人/OT 等复杂场景的安全评估打开了新的路径。对于任何希望在实战中拥抱 AI 的安全团队而言，CAI值得尽快了解与试用。
2025-10-07 16:03:31
317
原创 【播客】机器人安全：当机器人拥有“大脑“，谁来守护它的心智？
当人形机器人走进千家万户，谁来守护它们的安全？本期节目深度剖析机器人面临的三重安全威胁：从蓝牙漏洞导致的远程劫持，到提示词注入攻击操纵AI决策，再到未经授权的数据采集引发的隐私危机。我们探讨了借鉴人体免疫系统的创新防御方案——机器人免疫系统（RIS），以及零信任架构、联邦学习等前沿技术如何构建安全护城河。更重要的是，揭示了一个严峻现实：当前机器人安全标准严重滞后，从技术漏洞到监管空白，从企业责任到用户意识，整个生态系统亟需系统性变革。安全不仅是技术问题，更是关乎人类未来的伦理选择。
2025-10-02 18:12:07
59
原创 十大AI驱动的网络安全解决方案对比分析
AI网络安全领域呈现技术创新与平台整合两大方向：CrowdStrike、Darktrace等专注AI代理和自学习技术，实现独立威胁检测；Palo Alto、微软等则打造整合SIEM、EDR等功能的一站式平台。各具特色：趋势科技实现99.6%警报减少率，Vectra AI覆盖90%攻击技术，微软和思科依托生态优势简化部署。整体推动行业从被动防护转向主动预测、自动化决策和平台化解决方案，标志AI成为网络安全核心驱动力。
2025-09-28 20:15:00
250
原创 基于dify搭建的论文查询和内容提取应用（可加群）
AI时代，掌握这些基本的工具，并且基于需求快速组合各种能力服务于自己，将会把人与人之间处理问题的能力差距越拉越大。
2025-09-27 14:45:11
138
原创 TC260-《政务大模型应用安全规范》要点总结
随着人工智能技术的快速演进，大模型正逐步成为政务服务创新的重要驱动力。然而，技术应用的普及也伴随着前所未有的安全风险。为规范政务大模型的安全管理，全国网络安全标准化技术委员会（TC260）于2025年9月11日正式发布了**《政务大模型应用安全规范》（TC260-004）**。该文件围绕大模型应用的全生命周期——从选用、部署、运行到停用——提出了系统化的安全要求和测试指南，为政务大模型的建设提供了安全指南。
2025-09-19 17:57:29
251
原创 以人为本，AI驱动安全运营从刀耕火种到精耕细作
数字化转型背景下，网络安全威胁日益复杂，传统安全运营中心(SOC)模式面临挑战。AI大模型正推动安全运营从粗放式向精细化转变，实现三方面革新：一是扩展人类能力边界，提升威胁检测准确性（63%分析师认可）和响应效率；二是重构人员分工，96%企业将人力转向高价值工作，75%分析师因AI应用提升满意度；三是改变安全投资逻辑，需以发展眼光应对隐蔽性更强的新型威胁。研究表明，AI不仅提升运营效率（39%分析师将节省时间投入高价值任务），更改善人员工作体验，79%分析师认为AI能提升职业成就感。这场变革核心是以人为本的
2025-07-23 20:15:00
206
原创 开源安全大模型Foundation-Sec 8B的安全实践
写在前面：笔者在今年4月、5月分别对业界首个开源安全大模型Foundation-Sec-8B 做了些研究，在5月的实践中给出了一些初步的体验结论，比如时效性差和幻觉高，但整体来说还是对开源模型充满了期待，尤其是5月那个晚上首次把Sec-8B部署成功的难忘时刻。所谓念念不忘必有回响，7月再次耗费了10美元和一天，进一步对sec-8b在流量分析、钓鱼邮件分析和告警解读三个方面的效果做了验证，最终的结果不尽人意，在时效性、准确性、中文理解层面确实离直接用于生产还有差距。
2025-07-20 13:27:25
346
原创 红杉资本2025 AI 峰会之Cybersecurity
在2025年红杉资本AI峰会上，三位合伙人Pat Grady、Sonia和Constantine分享了关于AI时代安全（security）领域的重要观点。Pat Grady指出，AI时代的价值将主要累积在应用层，而安全领域尚未出现巨头，存在巨大机会。Sonia强调，垂直领域的AI代理（agent）是创业者的重大机遇，特别是在网络安全领域，AI代理有望超越人类专家。Constantine则预测，随着“代理经济”的崛起，安全的重要性将远超当前经济体系，围绕代理的安全和信任将催生庞大产业。三位合伙人一致认为，AI
2025-05-21 23:26:02
374
原创 开源安全大模型Foundation-Sec-8B实操
文章主要介绍了作者成功运行Foundation-Sec-8B模型的经历及其初步实验体验。作者花费了一天时间和10美元的环境使用费，最终在远程Jupyter访问成功后顺利启动了该模型。Foundation-Sec-8B是一个结合语言建模和网络安全专业知识的开源模型，适用于威胁检测、漏洞评估等任务。作者通过实验测试了其漏洞总结和安全问答能力，发现模型生成速度较慢，专业度一般，且存在幻觉问题。尽管当前效果与商业化产品有差距，作者仍对Foundation-Sec-8B的潜力表示期待，并计划继续深入研究。
2025-05-17 23:42:58
947
2
原创 大模型提示词注入防护与安全评估（含代码）
本文主要聚焦两部分内容，其一是通过代码实践来研究和验证基于llamafirewall在提示词注入防护的能力，通过学习此部分可以理解大模型自身防护中最关键的部分-提示词注入的防护方法；其二是了解如果评估一个大模型是否安全，我们所知道的GPT4、deepseek、claude、QWEN等通用大模型在发布时都会展示自己在各类benchmark上的得分情况，包括通用语言理解GLUE、多学科知识与推理MMLU、代码生成HumanEval等等，理所当然，也需要一个考量大模型安全能力的基准。
2025-05-03 13:41:22
418
原创 面向网络安全的开源 大模型-Foundation-Sec-8B
Foundation-Sec-8B 的目标是整合核心网络安全知识，使其成为一个强大的基础模型，适用于各种下游网络安全任务，并推动人工智能驱动工具在公共和私营网络安全领域的进步与应用。评估结果显示，在特定的网络安全任务上，它的性能与 Llama 3.1-70B 和 GPT-40-mini 等更大规模的模型相当。它被设计为一个专注于安全的、乐于助手的助手，并在 30 个不同的安全领域进行了微调，包括攻击面威胁、云安全和 CIS Controls 等合规框架。报告中使用了包含 500 个样本的版本。
2025-04-29 23:59:24
1629
原创 大语言模型安全风险分析及相关解决方案
构建LLM安全是一个持续演进的过程，需要组织采取积极主动的安全策略。这不仅包括实施技术层面的防护，还要建立完善的流程和制度，形成一套立体化的安全体系。输入验证和输出清理应作为基础的安全实践被优先执行。同时，组织需要建立安全的训练数据管理方法，确保数据来源可靠并进行完整性检查。为LLM应用和模型配备强大的访问控制和身份验证机制，并持续监控LLM的行为和交互，以便及时检测任何可疑活动和异常。此外，有效的事件响应计划对于处理LLM安全漏洞至关重要。
2025-03-15 10:06:46
443
翻译 模型即产品
《The Model is the Product》强调了模型在产品化和应用中的核心地位，以及智能体技术在自动化任务执行中的重要作用。
2025-03-09 23:23:58
324
原创 大模型赋能网络安全整体应用流程概述
安全大模型的应用大致可以分为四个阶段：阶段一主要基于开源基础模型训练安全垂直领域的模型；阶段二主要基于阶段一训练出来的安全大模型开展推理优化、蒸馏等工序，从而打造出不同安全场景的专家模型，比如数据安全领域、安全运营领域、调用邮件识别领域等等；阶段三基于不同安全场景的专家模型开展智能体开发，此过程属于复杂的系统工程，需要基于不同的场景对多个专家模型和安全大模型进行微调、提示、检索增强、联合任务适配、大小模型协同等，典型的架构为MOE。
2025-02-09 23:46:00
456
原创 读《荒野之境》有感
但也有好的感受，《荒野之境》描述了大量的自然景象，狂风、暴雨、冰雪、朝阳、夕阳、森林、河流，春夏秋冬四季轮回，这些描述触发了我对老家的回忆，虽然作者描述的是北欧，而我却有家乡，有些感受难以用形容词来表达，比如炎热的夏天里，午睡醒来已经是傍晚，只看见风扇在不停的转动；另一方面，不知道是原著还是译者的原因，有些描述过于辞藻华丽、刻意堆砌，读多了就有点乏味。断断续续，耗时一个多月，没想到最后是在医院里看完了这本书。当初借这本《荒野之境》的主要目的是想换换心境，阅读一些陈述类的文字，尤其对不曾去过的大自然。
2025-01-17 09:35:20
350
原创 对45家“AI+安全”产品/方案的分析
“AI+安全”创新非常活跃，一片百家争鸣之势，赛道选择上，以事件分诊Incident Triage、 安全辅助Security Copilots、自动化Automation三者为主为主，这充分反映了当前安全运营的主要需求，在产品理念选择上以 AI 和 自动化为主，这确实又切合上了在关键价值层面的“减少分析师负担”、“减少手动工作量”、“缩短响应时间”。
2025-01-01 20:31:38
1446
原创 基于LangChain构建安全Agent应用实践（含代码）
本文基于langchain和Cyber Security Breaches数据集构建Agent，并基于该Agent实现了数据分析、趋势图输出、预测攻击态势三个功能，最后给出Agent在安全领域应用的三点启示。
2024-10-30 19:39:42
1798
2
原创 基于LLM的钓鱼邮件检测实践（含代码）
本文以Google colab 环境，基于ollama+gemma2实现钓鱼邮件的分析，代码实现逻辑主要分为以下八步。
2024-10-29 00:21:41
1993
1
原创 面向大模型应用的安全检测实践（含代码）
基于大模型的应用存在较多的安全风险，比如提示词注入、敏感信息泄露等，LLM安全问题可以通过LLM安全库（如Prompt Armor, Lakera）提供的强大运行时安全措施以及监控工具（如Langfuse）对这些措施效果的异步评估来解决。本文例举了禁止主题、去匿名化个人信息、多扫描器堆叠、输出扫描、提示词注入五个典型的应对办法，并就提示词注入进行了详细代码举例。
2024-10-28 12:16:56
1324
原创 寻找大自然的颜色
一路上我和小孩寻找一些秋天的颜色并帖在白纸上，有橙色的花、紫色的花、暗红色的树叶、灰白色的树叶等等，我们在正式登山之前基本已经完成了“秋天”的收集。
2024-10-26 23:03:38
445
原创 基于Dify搭建大模型知识智能体
本文搭建“LLM专家客服”的主要步骤分为四步：step1：注册相关工作。step2：RAG知识库建立。step3：编排与调试。step4：应用发布。
2024-08-18 13:15:48
2924
【人工智能安全】基于MCP架构的AI Agent攻击面分析与五层防御体系构建：面向推理型系统的安全治理方案设计
2025-12-18
【网络安全领域】基于Transformer的Foundation-Sec-8B模型：提升网络安全任务性能的大型语言模型设计与评估
2025-04-29
Department of Defense (DoD) Zero Trust Reference Architecture 翻译
2022-11-24
入侵和攻击分析.xmind
2020-08-10
网络安全系列报告.zip
2020-10-24
pthreadVC2.dll,libeay32.dll,ssleay32.dll
2017-11-28
HBR_How-Smart-Connected-Products-Are-Transforming-Competition
2017-11-14
OSI七层模式的会话层功能到底该如何理解？
2017-07-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人