tf-serving部署之踩坑记录

已于 2022-03-19 12:44:12 修改
阅读量2.9k 收藏 3
点赞数 5
分类专栏： NLP与推荐算法 文章标签： 排序模型 tf-serving部署 widedeep
于 2022-03-18 15:41:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/123545414
版权
本文记录了使用TF-Serving部署模型时遇到的问题，特别是当模型输入为字典格式（JSON）时的挑战。文章讨论了如何调整输入输出结构以匹配`serving_default`签名，同时探讨了在requests和curl请求中处理不同关键字和关键数据结构的技巧，强调了理解模型签名和输入关键字的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hi各位大佬好，之前年少不更事，如今方知富婆香。哈哈。前几天整的tf-serving部署（参考这里）我以为就一劳永逸了，图样图森破，太天真了，tmd，后来发现稍微改下就有问题，之前的参考是做的tf.keras.Model这种tf2的部署，而且采用的是输入的vector数据（即全是列表，没有字典）

For Recommendation in Deep learning QQ Group 277356808

For deep learning QQ Second Group 629530787

I'm here waiting for you

因而有以下实践：

1-tf.keras.Model模型，但输入的是字典格式（json）的数据

仍旧以原来的例子来改，【我之前曾说&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
推荐算法再次踩坑记录
NLP与推荐算法
03-17 1976
推荐算法tf-serving部署服务，docker部署CPU，GPU都可以。
使用docker和tf serving搭建模型预测服务
JerryZhang__的博客
12-19 9841
使用docker和tf serving搭建模型预测服务 本篇主要介绍使用docker和tensorflow serving搭建一个模型预测服务。 一、准备工作 1.安装Docker CE Docker CE的安装可以参考docker官方参考文档:install Docker CE 安装完成后，可以运行 $sudo docker run hello-world 测试是否安装成功，成功安装的情况下应该...
爱奇艺TFServing负载均衡问题研究及改进实践
爱奇艺技术产品团队
11-26 2021
通常来说，负载均衡的职责是将网络请求或者其他形式的负载“均摊”到不同的机器上，避免集群中部分服务器压力过大，而另一些服务器比较空闲的情况，让每台服务器获取到适合自己处理能力的负载。在为高负...
手把手教你使用tfserving进行模型部署
qq_42693848的博客
07-09 7947
目录导读tfserving镜像下载模型准备部署模型http接口请求原数据请求http inferencegrpc请求参考文献 导读 在工业界，模型的部署绝大部分的企业都会选择tfserving工具。本篇文章分享一下如何使用容器进行模型部署并使用部署好的模型。 tfserving镜像下载 使用docker下载tfserving镜像，关于docker的使用可参考，tfserving包含的版本可在此查看。 docker pull tensorflow/serving:2.1.0 # 这里下载的是tf2.1.0的
模型部署：TF Serving 的使用
最新发布
TURING.DT
01-20 995
p 8500:8500 -p 8501:8501表示将本地的端口映射到容器的端口，其中8500表示通信方式使用gPRC，8501使用Rest API进行通信，二选一，这里选择8500；一个重要的特性是：支持热更新与模型版本自动管理，这意味着一旦部署成功，不需要再为线上服务担心，只需要关心线下的模型训练即可；其中，重点是最后一步模型保存，需要保存成pb格式，如果你这边是其他格式，需要将其转换成pb；服务器端的目的是基于上面的模型文件，提供模型服务，方便通过客户端进行调用，实现模型推理；
tensorflow tf-serving 进行warmup设置
enjoy
07-24 2741
最近发现模型在更新的一瞬间容易产生超时的问题，于是就了解了一下tf-serving 中有个warmup主要是通过模型启动时加载${model}/${version}/assets.extra/tf_serving_warmup_requests达到热启动的目的，使得模型更新时不易产生超时的问题 首先根据自己的模型字段进行编写形成tf_serving_warmup_requests文件，在导出模型时和warmup文件一起导出 以下是我warmup文件生成代码 #!/usr/bin/env pytho.
Win10家庭版部署docker并运行tf-seving案例
Loysun的博客
09-28 493
Win10家庭版部署docker并运行tf-seving案例安装docker安装tf-serving和运行样例 安装docker 对tf-serving部署好奇，工作中又没有用到，故本人尝试在自己的笔记本电脑上安装docker进行实验。过程中不断踩坑，总结如下，心得是尝试新的东西要多看几篇博客嗯。 电脑版本说明 本人电脑原是Win10家庭中文版（我的电脑右键属性可以查看系统版本），按照网上一些参考文章安装了Typer V，修改注册表等操作，强行安装了docker，发现装好之后还是有问题，多次尝试未解决，升级
centos7上用kubeadm搭建kubenetes集群（详细+踩坑记录）
qq_40443651的博客
02-14 1904
总体说明 kubernetes处在不断的更新迭代中，因此其环境配置应注重时效性 kubeadm是官方的辅助配置工具，简化了集群搭建过程 我搭建的是1.17.3的版本，2020年2月 搭建环境是centos7, 四核心16G内存三台机器 一个master节点，一个etcd，两台node，简单学习测试环境，很难用于实际生产 我用的ip 172.16.1.190 master .191 .192 ...
【最新】k8s中kubeflow(v1.0)部署全过程+踩坑全集（图文）
Eros1on的博客
08-03 7027
目录简述部署环境及要求部署1.下载kfctl包和yaml文件2.apply yaml文件3.阿里云构建拉取所需要的镜像4.创建pv5.修改各个deploy statefulset 的镜像下载策略部署成功踩坑全集1.报错Segmentation fault2.使用ksonnet 时找不到yaml文件![在这里插入图片描述](https://img-blog.csdnimg.cn/20200803165235812.png)3.apply kfctl_k8s_istio.v1.0.2.yaml时一直卡着不动4.
tf_serving
qq_32110859的博客
12-10 1226
1 tf_serving 需要算法提供的主要有三个东西：    a：模型pb文件    b：上线所需client文件 首先：pb文件需要用tf.saved_model相关models生成。 tf.saved_model.builder.SavedModelBuilder().add_meta_graph_and_variables() 中signature_def_map中对于clas...
tf_serving_flask_app:为TensorFlow Serving托管的TensorFlow模型创建REST API
04-29
Flask Web框架托管的TensorFlow Serving客户端 这是我的的扩展。 它引入了一个托管TensorFlow服务客户端的Flask Web服务器。 它接收REST请求以预测，将其转换为protobufs，然后通过gRPC发送到TensorFlow服务器以通过GAN模型进行预测。 提到的GAN模型是使用技术并以课程中教授的模型为 训练的。 原始的Jupyter Notebook可在。 有关该项目的更多详细信息，请参见我的。
TensorFlow保存和恢复
WitsMakeMen的专栏
08-12 989
链接：https://www.cnblogs.com/yinghuali/p/7735694.html [程序员指南5] 保存和恢复 本文档介绍如何保存和恢复 变量和模型。 保存和恢复变量 TensorFlow变量提供了表示程序处理的共享，持久状态的最佳方法。（有关详细信息，请参阅变量。）本节介绍如何保存和恢复变量。请注意，估算器会自动保存和恢复变量（在该项中model_dir）。 本...
模型保存与加载
Major_S的博客
08-29 487
模型保存与加载模型保存与加载模型保存与加载 Keras版本模型保存与加载 保存模型与加载模型 import numpy as np import tensorflow as tf x_train = np.random.random((1000, 32)) y_train = np.random.randint(10, size=(1000, )) x_val = np.random.random((200, 32)) y_val = np.random.randint(10, size=(200, ))
tf_serving-模型训练、导出、部署（解析）
永远飞翔的鸟
08-18 3987
参考：https://blog.csdn.net/wc781708249/article/details/78606514 https://blog.csdn.net/wangjian1204/article/details/68928656 https://blog.csdn.net/ljm5000/article/details/84069934 使用 TensorFlow Ser...
19_训练 & 部署 TFModels at Scale_walk目录_TensorFlow Serving_requests_REST_gRPC_Docker_gcp客户端库_gpu
Linli522362242的专栏
08-12 2125
Once you have a beautiful model that makes amazing predictions, what do you do with it? Well, you need to put it in production! This could be as simple as running the model on a batch of data and perhaps writing a script that runs this model every nig...
TensorFlow学习记录：saved_model模块的用法
weixin_41137655的博客
08-14 9847
TensorFlow中的saved_model模块用于生成冻结图文件，并且saved_model模块封装了平常用的Saver类。与Saver类不同的是，saved_model模块生成的模型文件集成了打标签的操作，可以更方便地部署在生产环境中。 关于为什么要用saved_model模块，这篇文章讲得挺好的。请点击这里 一个saved_model对象可以存储一个或多个MetaGraphDef。那什么时...
mac下安装tensorflow serving步骤及踩的坑
luoyexuge的专栏
04-04 4914
参考：https://weiminwang.blog/2017/09/12/introductory-guide-to-tensorflow-serving/ https://blog.csdn.net/bingningning/article/details/72933932 https://blog.csdn.net/wc781708249/article/details/78596459...
tensorflow serving部署tensorflow模型
cxxx17的博客
06-08 162
tensorflow serving部署tensorflow模型
docker部署tf-serving
NLP与推荐算法
06-08 990
docker部署tf-serving模型
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值