问题修复记录:Xinference部署 Embedding Model 服务偶发超时

重磅推荐专栏:
《大模型AIGC》
《课程大纲》
《知识星球》

本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域,包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用,以及与之相关的人工智能生成内容(AIGC)技术。通过深入的技术解析和实践经验分享,旨在帮助读者更好地理解和应用这些领域的最新进展

1. 异常表现

用 Xinference 部署Embedding Model,正常来说一次调用在 0.0x s 就能返回了,但是总会调着调着突然有超时的情况(超时设置为 0.2s)。

以下为排查时的耗时记录:

0 0.05194091796875 
1 0.03154397010803223 
2 0.02721405029296875 
3 0.022481203079223633 
4 0.0260312557220459 
5 0.022041797637939453 
6 0.023247241973876953 
7 0.022098064422607422 
8 0.0237271785736084 
9 0.02179098129272461 
10 0.022876739501953125 
11 0.02112102508544922 
12 0.022140026092529297 
13 0.021735668182373047 
14 0.022485971450805664 
15 0.02161383628845215 
16 0.02232217788696289 
17 0.4504587650299072 超时啦!!!!!
18 0.5312082767486572 超时啦!!!!!
19 0.025865793228149414 
20 0.027109146118164062 
21 0.02774524688720703 
22 0.026093721389770508 
23 0.023926973342895508 
24 0.026304006576538086 
25 0.02429652214050293 
26 0.02492690086364746 
27 0.0239565372467041 
28 0.024293184280395508 
29 0.024419307708740234 
30 0.027068614959716797 
31 0.022825241088867188 
32 0.022889137268066406 
33 0.022517919540405273 
34 0.022736310958862305 
35 0.023031949996948242 
36 0.024333715438842773 
37 0.35354113578796387 超时啦!!!!!
38 0.34353184700012207 超时啦!!!!!
39 0.025719404220581055 
40 0.02369856834411621 
41 0.02283000946044922 
42 0.022718429565429688 
43 0.022561311721801758 
44 0.02275228500366211 
45 0.02206563949584961 
46 0.022105693817138672 
47 0.02268385887145996 
48 0.023158788681030273 
49 0.021632909774780273 
50 0.02277398109436035 
51 0.02237224578857422 
52 0.022454023361206055 
53 0.021343469619750977 
54 0.021682262420654297 
55 0.021616697311401367 
56 0.022090911865234375 
57 0.34398388862609863 超时啦!!!!!
58 0.3253335952758789 超时啦!!!!!
59 0.027069807052612
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小爷毛毛(卓寿杰)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值