- 博客(10)
- 收藏
- 关注
RSS订阅原创 人工智能安全（七）INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfuln
我们建议部署我们的批评系统，用于先发制人反馈（在初始代码生成步骤之后）和事后反馈（在执行器观察到生成的代码之后）。为了获得事后批评反馈，我们只需将执行结果（例如错误消息、单元测试结果）作为 1、2、3、4 和 6 中的条件因素。然而，在安全敏感的情况下，直接参与执行环境可能会导致意外的系统损坏，例如删除数据目录或修改对特权用户帐户的访问权限。2.开始批判,preemptive critic【perform_critic_debate()】无post->self.critic。
2024-12-11 20:40:45
708
原创 人工智能安全（六）An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disgui
CODEBREAKER分为3步:代码转换以逃避静态分析所需的文件位于“EvasionStrategies/GA”目录中。在执行转换之前，您必须安装相关静态分析平台的 CLI 工具：安装完成后，运行“main_revised.py”以执行代码转换。该文件夹还包含几个 bash 脚本供您试验，例如运行 bash CWE79_direct-use-of-jinja2.sh。但是，我们鼓励您尝试创建和运行自己的转换。我们进一步使用 CodeQL 和 SonarCloud 来测试转换后的代码。但同样，有必要安装它们
2024-12-08 00:50:49
719
原创 人工智能安全（五）SecCoder: Towards Generalizable and Robust Secure Code Generation
训练baseline方案，一个是训练code generation method，另一个是训练attacked code LM。代码生成模型是目前一个流行的研究领域，但是模型生成的代码可能包含易受攻击的代码，需要一个数据集评估代码生成模型的安全性。根据prompt转为embedding与安全代码库进行相似性检索，找出相关代码文件。SecurityEval包含75种漏洞类型，130个样本，并关联了CWE。为了提高鲁棒性，发现新的漏洞时，将其修复并添加到安全代码数据库S中。prompt和检索的代码整合。
2024-12-07 11:28:49
490
原创 人工智能安全（四）Prompt-to-SQL Injections in LLM-Integrated Web Applications: Risks and Defenses
大型语言模型 (LLM) 在各个领域都有广泛的应用，包括 Web 应用程序，它们通过具有自然语言界面的聊天机器人促进人类交互。在内部，借助 LLM 集成中间件（例如 Langchain），用户提示被转换为 LLM 使用的 SQL 查询，以便为用户提供有意义的响应。然而，未经净化的用户提示可能会导致 SQL 注入攻击，从而可能危及数据库的安全。尽管人们对针对 LLM 的提示注入漏洞越来越感兴趣，但通过提示注入生成 SQL 注入攻击的具体风险尚未得到广泛研究。
2024-12-03 17:04:45
785
原创 人工智能安全（三）CODES：CodeS: Towards Building Open-source Language Models for Text-to-SQL
语言模型在将自然语言问题转换为SQL查询（文本到SQL）的任务中表现出了良好的性能。然而，大多数最先进的（SOTA）方法都依赖于强大但闭源的大型语言模型（LLM），如ChatGPT和GPT-4，这些模型可能存在模型架构不明确、数据隐私风险和昂贵的推理开销等局限性。为了解决这些局限性，我们引入了CodeS，这是一系列预先训练的语言模型，参数范围从1B到15B，专门为文本到SQL任务设计。CodeS是一个完全开源的语言模型，它以更小的参数大小实现了更高的精度。本文研究了构建CodeS的研究挑战。
2024-11-11 21:02:25
1358
原创 人工智能安全（二）RACONTEUR: A Knowledgeable, Insightful, and Portable LLM-Powered Shell Command Explainer
在这项工作中，我们介绍了RACONTEUR的设计、实现和评估，RACONTEUR是一个由LLM支持的知识渊博、见解深刻、可移植的shell命令解释器，它提供了shell命令的自下而上的解释，并协助安全操作中的shell日志审计。RACONTEUR拥有丰富的专业知识，可以对shell命令提供全面的解释，不仅包括命令的作用，还包括命令为什么这样做。我们广泛的实验表明，RACONTEURs的解释性能比原始基础模型要好得多，甚至可以与GPT系列的中英文良性和恶意shell命令相媲美。
2024-11-10 16:42:03
1164
原创 【NLP】NLP基础之RNN循环神经网络
输出张量 包含RNN在输入序列的每个时间步的输出。形状：(seq_len, batch, num_directions * hidden_size) 或 (batch, seq_len, num_directions * hidden_size)（如果 batch_first=True）。它是基于当前时间步输入和先前隐藏状态计算的RNN层的激活输出。
2024-11-07 17:32:04
734
原创 【NLP】NLP基础之Word2Vec模型
如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
2024-11-06 23:58:13
170
原创 人工智能安全（一）Leakage In Embedding: GEIA
GEIA”:，发表在ACL2022。GEIA通过模型生成的语句embedding存在泄漏敏感信息的可能性。GEIA可以通过embedding复原有序语句，且和真实的输入语句有高相似性。
2024-09-29 16:43:40
1057
原创 联邦查询（一）Hu-Fu
Hu-Fu: Efficient and Secure Spatial Queries over Data Federation”，发表在VLDB2022。代码：https://github.com/BUAA-BDA/Hu-Fu大数据背景下，数据拥有者考虑保证的数据安全性，致使各拥有者数据无法集中，产生数据孤岛问题。Hu-Fu：一种联邦数据下的，有效且安全的空间查询处理系统（spatial query），将spatial query的安全处理过程分解成许多明文操作和少部分密文操作。
2024-09-28 21:48:49
1056
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人