- 博客(6)
- 收藏
- 关注
RSS订阅原创 昇腾910A单卡与多卡部署mindie框架开启deepseek-R1蒸馏模型api
deepseek-r1蒸馏模型在昇腾910a基于mindie框架的推理部署
2025-02-11 16:29:59
1792
15
原创 昇腾910A单卡与多卡部署mindie框架开启qwen2-7B大模型api
注意该命令是将npu0-7全部加载到容器中，由于910不支持容器共享（被该容器占用后，就不能被其他容器调用），所以只想加载部分卡时，修改--device=/dev/davincix部分。注：如果启动报错，可以查看/usr/local/Ascend/mindie/1.*/mindie-service/logs下的log文件。性能测试 配置环境及环境变量（好像不export也没什么影响，export有时候还会报错，但是不影响后面的服务）昇腾大模型推理解决方案MindIE部署_mindie安装-CSDN博客。
2024-11-21 18:04:27
3301
12
原创 通过ollama api进行对话
print(f"错误: {response.status_code} - {response.text}")bot_reply = reply.get('content', '没有回复内容。# 假设 API 的回复在 'content' 字段中。user_input = input("你: ")# 添加 AI 回复到对话记录。# 添加用户消息到对话记录。
2024-10-29 10:29:37
1586
原创 对大规模数据集进行小样本抽取
print(f"已随机抽取十条数据并保存至 {output_sample_file}")# 将抽取的数据打印或保存为新的JSON文件。目的：我老是忘了怎么写。# 读取JSON文件。# 随机抽取十条数据。
2024-10-28 17:47:10
228
原创 使用ollama调用大模型生成自我认知数据集
通过ollama生成自己的自我认知数据集。基于self-cognition-instuctions项目做的改进。
2024-04-29 16:11:25
1394
原创 BGE-M3论文《BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings 》翻译
利用GPT-Academic Report生成的，效果还不错。## # Title:BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation## # Abstract:In this paper, we present a new embedding model, called M3-Embeddi
2024-01-31 17:34:22
1136
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人