
mlflow
文章平均质量分 93
鸿乃江边鸟
Apache Spark Contributor
专注于技术的dotaer
展开
-
【mlflow 系列8】向 mlflow 提交pr(pull request)
背景因为之前在帮助算法同事进行mlflow 模型调优的过程中,涉及到mlflow一项优化点,所以给mlflow提交了一个pr操作参照官网提供的python contributing,所以按照他的提示一步一步来就可以,但是在提交pr的过程中还是得注意几点,描述清楚问题进行单元测试进行代码格式化在代码格式化这个问题上,我就花了一天去搞定,因为之前不太熟悉python,所以有点着急(其实也是没有踏踏实实按照官网的操作来),导致花了一天的时间,在此记录一下过程写完代码后,进行black --原创 2020-12-22 12:59:01 · 237 阅读 · 0 评论 -
【mlflow系列7】flask VS Gunicorn
背景最近在测试mlflow性能的时候,发现了一个很奇怪的事情,我们知道mlflow是用(Gunicorn)[https://github.com/mlflow/mlflow/blob/master/mlflow/pyfunc/backend.py#L76] 启动服务的,按照道理说Gunicorn会比flask自带的服务性能会好,但是经过测试,恰好相反,而且并发量越大,两者的差别越大分析python中我们用的是版本 是flask 1.1.0 gunicorn 19.9.0就在百思不得其解的时候,必须拿原创 2020-12-18 11:07:53 · 457 阅读 · 0 评论 -
【mflow系列6】mlflow model registry
mlflow model registrymlflow model registry是什么怎么操作是什么本文基于mlflow 1.11.0版本正如官网说的:The MLflow Model Registry component is a centralized model store, set of APIs, and UI, to collaboratively manage the full lifecycle of an MLflow Model. It provides原创 2020-11-13 15:06:34 · 962 阅读 · 2 评论 -
【mlflow系列4】mlflow upgrade(升级) MySQLdb._exceptions.IntegrityError ‘Cannot add foreign key constraint‘
背景在mlflow upgrade这篇文章中,我们说到了mlflow 升级的步骤, 很幸运,一气呵成, 并没有发生什么错误,今天要说的就是升级过程中如果遇到mysql Cannot add foreign key constraint的错误该怎么处理其中:mlflow 从1.4.0升级到1.11.0mysql版本 5.7.21-log遇到如下问题:(mlflow-1.11.0) ➜ mlflow db upgrade mysql://root:root@localhost/mlflow-on原创 2020-11-04 17:06:34 · 465 阅读 · 0 评论 -
【mlflow系列3】mlflow 升级(upgrade)
背景mlflow 的更新迭代速度还是很快的,平均一个月一个大版本的更新,截止到11月1号,已经更新到了1.11.0版本我们查看[mlflow release][https://github.com/mlflow/mlflow/releases],就能看到早在1.10.0版本,就提供了对model registry的更好的feature支持,以及能够对实验进行逻辑删除操作,而这些features 在mlflow 1.4.0是没有的,特别是删除实验的特性,如果实验很多的情况下,我们看到的实验是杂乱无章的,原创 2020-11-02 11:23:51 · 690 阅读 · 2 评论 -
【mlflow系列1】mlflow 的搭建使用
背景mlflow是Databrick开源的机器学习管理平台,它很好的解藕了算法训练和算法模型服务,使得算法工程师专注于模型的训练,而不需要过多的关注于服务的,而且在我们公司已经有十多个服务稳定运行了两年多。搭建mlflow的搭建主要是mlflow tracking server的搭建,tracking server主要是用于模型的元数据以及模型的数据存储我们这次以minio作为模型数据的存储后台,mysql作为模型元数据的存储,因为这种模式能满足线上的需求,不仅仅是用于测试minio的搭建原创 2020-10-30 11:20:23 · 4761 阅读 · 8 评论 -
【mlflow系列2】mlflow migrate元数据从基于文件存储迁移到基于mysql存储
对于需要进行mlflow进行元数据迁移,可以参考[该项目](https://github.com/monkeyboy123/mlflow-migrate原创 2020-10-29 11:20:17 · 394 阅读 · 0 评论