本文探讨了在计算机视觉任务中，如何应对domain shift问题，通过domain adaptation（DA）和transfer learning（TL）进行模型迁移。文章介绍了domain的组成，包括输入空间X、输出空间Y及概率分布P(x,y)。讨论了ERM的基本概念，指出最小化训练误差并非目标，真正目标是减小泛化误差。DA和TL旨在解决源域和目标域之间的domain shift，其中TL是一个更广泛的策略，而DA是特定类型的TL。文章最后提及了解决DA和TL的主要手段，如预训练和微调等方法。"
106750057,8419559,使用Zookeeper构建分布式配置中心,"['zookeeper', '分布式系统', '配置管理', '监控', '微服务']
文中我们用DA代之domain adaptation，TL代指transfer learning。本人初涉这个领域，若下文心得有误，望各位看官老爷/娘娘海涵。read with caution ：）
故事如何讲起呢？
首先明确一个故事背景：我们有Source domain（S）和Target domain（T）这两个东西。
domain这个概念太玄乎了，什么叫domain？
domain就是三个要素的组合：
input space X：也即feature space，xi in X可以理解为是一个描述输入图像的vector；
output space Y：也即label space，在classfication任务中，yi in Y可以是0，1（binary classification）或者（1，2，。。。，K）（multi-class classification）
probability distribution between X and Y：从X映射到Y的联合概率分布（P（x，y））。
此处插播一个很基础的背景知识：
- p(x,y) is joint probability distribution;
- p(x|y) & p(y|x) are conditional probability distribution;
- p(x) & p(y) are marginal probability distribution;
在贝叶斯估计的框架下，这几种概率分布被赋予了新的意义和名字：
- p(x) is the evidence or data distribution;
- p(x|y) is the likelihood;
- p(y|x) is the posterior distribution;后验概率，即在验视feature x之后得到的关于sample的label y的估计&
最低0.47元/天 解锁文章
扫一扫
5385
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
