- 博客(6)
- 收藏
- 关注
RSS订阅原创 llmperf测试本地大模型接口并发实践
实验结论：基于vllm部署的deepseek-32b模型并发情况随并发数量增加，模型每秒返回token数量逐渐递减。为了运行llmperf库，将ray包降级为2.0.0， 将pydantic包也降级为1.10.21，最后成功运行，但是当运行中并发设置为200又报错，系统给与线程资源数量不足问题，最后尚未解决这个问题。本次测试基于四张A40显卡，基于vllm框架部署deepseek-32b蒸馏模型，部署设置每张卡显存占用比例为0.6，max_token_len为50000，, 输出 token 数的标准差。
2025-03-04 20:25:24
1465
原创 vllm部署说明和注意事项
"content": "请从以下文本中提前实体信息，实体信息包括 人名 地名 机构名，文本内容为：中国位于地区上，中国有个机构名，一个机构名是：中国Bank，一个地名是：北京，一个人名是：张三。"content": "你是一名高级智能任务分类助手，请对用户输入问题进行理解，在此基础上对问题进行分类，分类结果为“公司照顾说明书咨询问题”，“股票基金数据查询问题”，“其他问题”三种之一."},"description": "如果对用户输入问题分类后，认为是其他问题，则返回内容为'1'，否则返回'0'"}},
2025-02-25 15:28:47
2545
原创 linux服务器git clone报错Failed to connect to github.com port 443: Timed out
看了网上很多文章，自己有尝试了三天，最后误打误撞成了，好清除了为什么好像又不清楚；
2024-01-26 20:18:01
920
2
原创 本地连接远程服务器jupyterlab连不上问题
4 此时连接本地服务会发现还是无法起起来，通过jupyter lab -h 查看文档后，发现必须制定远程服务器起服务的端口号，具体命令如下，port后的端口号根据自己需要自由决定。5最后一步，在本地浏览启动，在远程服务启动后会出现一个网址，将网址修改如下即可登录,其中48888是运维给我开设端口号，1 首先需 要明白公司服务器起服务，外部电脑连接起起来的服务，需要运维给开设一个可以连接的端口，否则拼死劲也连不上。可能会报错无法找到，此时需要一个命令新建一个。6关于登陆密码设置问题见下图。
2023-09-11 19:48:57
1496
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人