Viking的博客

论文介绍DCN-v2优化了DCN的cross layer，权重参数w由原来的vector变为方阵matrix，增加了网络层的表达能力；同时，为了保证线上应用的耗时不会因为cross layer参数量的增加而增加。观察到cross layer的matrix具有低秩性，使用矩阵分解，将方阵matrix转换为两个低维的矩阵、最后在低秩空间内，利用MoE多专家系统，对特征交叉做非线性变化，进一步增加对交叉特征的建模。vector -> matrix; moe设想：DCNv2是不是可以结合多任务学习、MM

受众定向技术分类总体上看，按照计算框架的不同，这些受众定向技术可以分为3种类型：用户标签，可以表示成t(u)形式的标签，以用户历史行为数据为依据，为用户打上的标签；上下文标签，可以表示成t©形式的标签，根据用户当前的访问行为得到的即时标签；定制化标签，可以表示成t(a, u)形式的标签，也是一种用户标签，不同之处在于是针对某一特定广告主而言的，必须根据广告主的某些属性或数据来加工。以上各种定向中，地域定向、频道定向和上下文定向属于t©的定向方式；人口属性、行为定向属于t(u)的定向方式；重定

合约广告的关键特征，是广告投放的价格和量由双方协商约定。合约广告的重点形式是按指定受众购买的、按CPM计费的展示量合约广告。展示量合约广告的投放系统统称为担保式投送系统。它依赖于受众定向、流量预测、点击率预测这3项基本技术，并采用在线分配的方式完成实时决策。广告排期系统对于按CPT结算的广告位合约，媒体一般采用广告排期系统来管理和执行。广告排气系统的一般技术方案是将广告素材按照预先确定的排期直接插入媒体页面，并通过**内容分发网络（CDN）**加速访问。这样可以使广告投放延迟很小，也没有服务器端的压力和

个性化系统框架计算广告是根据个体用户信息投送个性化内容的典型系统之一。在介绍计算广告系统的架构之前，先看看一般的个性化系统是如何构成的。由4个主题部分构成：用于实时响应请求，完成决策的在线投放引擎；离线的分布式计算数据处理平台；用于在线实时反馈的流计算平台；连接和运转以上3部分数据流的数据高速公路。协作流程是：在线投放系统的日志接入数据高速公路，再由数据高速公路快速转运到离线数据处理平台和在线流计算平台；离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参

提高定向的精准程度与人群覆盖率的决定性因素是数据的来源与质量。有价值的数据来源（1）用户标识。对广告而言，如何确定哪些行为来自于同一个用户是非常关键的问题。对浏览器行为，最常使用的用户标识是cookie，但由于存在同时使用多个浏览器、cookie过期或用户主动消除cookie的情况，这种用户标识的长期一致性不算太好。但对广告来说，起关键作用的是用户近期内的行为，所以用cookie作为用户标识还是为业界广泛采用的基础方案。在移动互联的情形下，iOS和Android在应用内广告使用的用户ID有所不同：

RTB的产生使得广告市场向着开放的竞价平台的方向发展，这样的平台就是广告交易平台，ADX，其主要特征是用RTB的方式实时得到广告候选，并按竞价逻辑完成投放决策。与广告交易平台对应的采买方为需求方平台即DSP。在程序化交易市场中，需求方对于流量的选择和控制能力达到了极致。从需求方来看，定制化的用户划分能力使得广告主可以像优化自己的推荐系统那样优化广告购买，唯一的区别是这个推荐系统是放在站外的。动态出价的产品需求以及广告主预算范围内的套利，要求DSP具备点击率预测、点击价值估计、流量预测、站外推荐等多方面的.

与合约广告相比，竞价交易模式的本质是将量的约束从交易过程中去除，仅仅采用“价高者得”的简单决策方案来投放广告。竞价符合广告精细化发展的趋势，为无法用合约售卖的剩余流量找到了可能的变现渠道，使大量中小广告主参与在线广告的可能性和积极性大大增强，也使得在线广告的商业环境与传统广告有了本质区别。广告网络中竞价的标的有两种：一是上下文页面中的关键词，这是从搜索广告衍生而来；二是根据用户行为加工的兴趣标签，这是从展示广告的定向逻辑发展而来。广告网络的竞价环境与搜索广告不同：各种上下文或用户标签的有效性差别大，另外

广告位合约广告位合约是最早产生的在线广告售卖方式。它指媒体和广告主约定在某一时间段内某些广告位上固定投放该广告主的广告，相应的结算方式为CPT。这是一种典型的线下广告投放模式，在互联网广告早期被采用。这种方式无法做到按受众投放广告，因而无法进行深入的效果优化。广告位合约还有一种变形形式:按照广告位的轮播售卖。在这种方式中，同一个用户对同一个广告位的一系列访问，被依次标上一组循环的轮播顺序号。将其中具有同样顺序号的展示作为一个虚拟的广告位，售卖给广告主。受众定向从展示量合约开始，大多数广告产品的核心是

广告中的计算是为了解决什么问题，以及解决这些问题需要什么样的业务描述框架。可衡量的效果以及相应的计算优化，是在线广告区别于线下广告的主要特点。在大多数广告产品中，可以通过计算优化的主要是收入部分，而千次展示期望收入（expected Cost per Mille，eCPM）正是计算广告最为核心的量化指标之一。与广告的信息传达过程相关，eCPM可以分解为点击率和点击价值的乘积，这两个指标是各种广告产品在计算过程中经常遇到的。广告有效性原理广告转化的有效性模型如图所示。广告的信息接收过程分为3个大阶

在线广告，也称网络广告、互联网广告，指的是在线媒体上投放的广告。与传统广告不同，在线广告已经形成了以人群为投放目标、以产品为导向的技术性投放模式。它不仅为广告主带来了以准确接触目标受众为方法论的全新营销渠道，也为互联网免费产品和媒体找到了规模化变现的手段。广告不完全等同于搜索或推荐，它首先是一项商业活动，然后才是一项技术；其次，在这一商业活动中，广告主、媒体和用户的利益都需要被认证考虑和满足，这样才能达到整个市场的平衡和不断发展。在线广告市场所有产品和商业形式的演进，都是在这一主题下发生的。免费模式与.

主要内容为：Name ScopeVariable Scope权重共享tf.train.Savertf.summary控制实验过程的随机性Autodiff（梯度计算）1. Name Scope命名空间TensorBoard中Word2Vec模型计算图表示如图，如果模型更复杂，计算图也越来越乱，我们可以使用name scope将相关的结点放到一个组里来方便运算图的理解。tf.name_scope使用如下：with tf.name_scope(name_of_that_scope):

Word2Vec是一组用来产生词嵌入的模型，包括两种主要的模型：skip-gram和CBOW。Skip-gram vs CBOW算法层面上， 两种模型很相似，CBOW模型是从两边预测中心词，skip-gram模型是中心词预测两边。比如，对于“The quick brown fox jumps”,CBOW模型从上下文"the, “quick”, “fox”, 和"jumps"预测中心词“brown”，skip-gram模型从“brown”预测上下文"the, “quick”, “fox”, 和"jump

之前，我们介绍了TF的运算图、会话以及基本的ops，本文使用前面介绍的东西实现两个简单的算法，分别是线性回归和逻辑回归。本文的内容安排如下：实现线性回归算法优化实现逻辑回归1. 线性回归1.1 问题描述我们将收集到的不同国家的出生率以及平均寿命。通过上图可以发现出生率越高的国家，人口的平均寿命大概率上会越低。现在，我们想使用线性回归来对这种现象进行描述，之后给定一个国家的出生率后可以来预测其人口的平均寿命。数据描述如下：自变量X为出生率，数据类型为float，因变量Y为平均寿命，类

本文的主要内容安排如下：基本的操作张量类型导入数据lazy loading我们首先介绍一下TensorBoard的使用，然后介绍TensorFlow的基本ops，之后介绍张量的数据类型，最后介绍一下如何将自己的输入导入模型。1. TensorBoardTensorBoard是TensorFlow的一个可视化工具，可以用于对TensorFlow模型的调试和优化。TensorBoard的外观大致如下：当用户在TensorBoard激活的TensorFlow程序中执行某些操作时，这些操作将导

这个系列主要是对TensorFlow进行学习，了解其内部机制、运行方法，最后能根据自己的想法构建模型。本文主要的介绍内容是TensorFlow的Graph和Session两个概念，即运算图和会话。1. 数据流图TensorFlow哲学：将计算图的定义和执行分离。阶段一：运算图的定义阶段二：使用session会话执行运算图的操作2. 什么是Tensor？Tensor是一个n维的数组0-d tensor：标量，或者说数字1-d tensor：向量2-d tensor：矩阵…让.

函数原型函数接口：tf.reshape( tensor, shape, name=None)参数tensorTensor张量shapeTensor张量，用于定义输出张量的shape，组成元素类型为 int32或int64.name可选参数，用于定义操作名称.返回A Tensor. 输出张量和输入张量的元素类型相同。用法tf.reshape函数用于对输入tensor进行维度调整，但是这种调整方式并不会修改内部元素的数量以及

Softmax原理Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果，具体计算公式为：softmax(xi)=exp(xi)∑jexp(xj)softmax(x_i) = \frac{exp(x_i)}{\sum_j exp(x_j)}softmax(xi​)=∑j​exp(xj​)exp(xi​)​对于k维向量z来说，其中zi∈Rz_i

使用numpy搭建卷积神经网络主要内容来自DeepLearning.AI的卷积神经网络本文使用numpy实现卷积层和池化层，包括前向传播和反向传播过程。在具体描述之前，先对使用符号做定义。上标[I]表示神经网络的第Ith层。a[4]a^{[4]}a[4]表示第4层神经网络的激活值；W[5]W^{[5]}W[5]和b[5]b^{[5]}b[5]表示神经网络第5层的参数；上标(i)表示第i个数据样本x(i)x^{(i)}x(i)表示第i个输入样本下标i表示向量的第i个元素a

从逻辑回归开始入门深度学习本文主要来源于吴恩达《深度学习与神经网络》。本文根据课程内容做一个串联。本文内容安排如下：符号定义逻辑回归LR：定义、实现、高效实现浅层神经网络（2层）：实现、优化深度神经网络：实现、优化、应用我们以一个分类问题作为研究背景。研究问题为判断输入图片是否为猫咪的二分类。符号定义在解决问题之前，我们先对使用的数学符号做一个定义：（x, y）: 输入样本; x ∈ RnxR^{n_x}Rnx​, y ∈ {0, 1}{(x(1),y(1)),(x(2),y

Keras API目前为止，介绍的神经网络模型都是通过Sequential模型来实现的。Sequential模型假设神经网络模型只有一个输入一个输出，而且模型的网络层是线性堆叠在一起的。 这是一个经过验证的假设;配置非常普遍，到目前为止已经能够使用Sequential模型类覆盖许多任务和实际应用程序。但在许多情况下，这套假设过于僵化。一些网络模型需要几个独立的输入，其他需要多个输出，并且...

问题描述每次运行TensorFlow 程序时，总是会提示未编译使用SSE4.1，SSE4.2等warnings 警告。import tensorflow as tfa = tf.constant(32)b = tf.constant(2)x = tf.add(a,b)with tf.Session() as sess: print(sess.run(x))运行结果...

变分自动编码器生成图片从隐图像空间进行采样以创建全新的图像或编辑现有图像是目前创作AI最受欢迎和最成功的应用方式。图像隐空间取样图像生成的关键思想是开发表示的低维潜在空间（自然是矢量空间），其中任何点都可以映射到逼真的图像上。 能够实现该映射的模块，将潜在点作为输入并输出图像（像素网格），被称为生成器（在GAN的情况下）或解码器（在VAE的情况下）。一旦开发出这样的潜在空间，可以有...

机器学习类型 机器学习模型评估步骤深度学习数据准备特征工程过拟合解决机器学习问题的一般性流程机器学习四分支二分类、多分类以及回归问题都属于监督学习－－目标是学习训练输入和对应标签之间的关系。 监督学习只是机器学习的冰山一角。机器学习主要分为４类:监督学习、非监督学习、半监督学习和强化学习。监督学习最常见的机器学习类型—学习输入数据和对应标签之间的映射关系。当...

最近遇到数据样本数目不足的问题，自己写的增强工具生成数目还是不够，终于在网上找到一个数据增强工具包，足够高级，足够傻瓜。想要多少就有多少！再也不怕数据不够了！简介Augmentor是一个Python包，旨在帮助机器学习任务的图像数据人工生成和数据增强。它主要是一种数据增强工具，但也将包含基本的图像预处理功能。特色Augmentor是用于图像增强的软件包，重点在于提供通常...

理解深度学习需要熟悉一些简单的数学概念：Tensors(张量)、Tensor operations 张量操作、differentiation微分、gradient descent 梯度下降等等。“Hello World”—-MNIST 手写数字识别#coding:utf8import kerasfrom keras.datasets import mnistfrom keras ...

h5py/init.py:36: FutureWarning: Conversion of the second argument of issubdtype from float to np.floating is deprecated. In future, it will be treated as np.float64 == np.dtype(float).type. from ._...

完整代码：>>点我 欢迎star,fork,一起学习网络用途或者说应用场景：使用单层神经网络来识别一张图片是否是猫咪的图片。数学表示给定一张图片XXX 送到网络中，判断这张图片是否是猫咪的照片？网络架构多层神经网络处理过程：X –> [linear+relu](L−1)[linear+relu](L−1)[linear + rel...

使用python手写实现单层神经网络[本质上学习logistic 回归的系数]。单层：有参数的一层；输入不算网络层。网络用途或者说应用场景：使用单层神经网络来识别一张图片是否是猫咪的图片。数学表示给定一张图片XXX 送到网络中，判断这张图片是否是猫咪的照片？网络架构单层神经网络:X(input)—> Output(y^y^\hat{y})...

背景：在深度学习优化算法，如:Momentum、RMSprop、Adam中都涉及到指数加权平均这个概念。为了系统的理解上面提到的三种深度学习优化算法，先着重理解一下指数加权平均(exponentially weighted averages)定义指数移动平均（EMA）也称为指数加权移动平均（EWMA），是一种求平均数的方法，应用指数级降低的加权因子。 每个较旧数据的权重都呈指数...

[x] 神经网络的核心部分[x] Keras介绍[ ] 使用Keras解决简单问题：分类和回归神经网络剖析神经网络的训练与下列对象相关：网络层Layers，网络层结合形成神经网络模型；输入数据以及对应标签；损失函数，定义用来学习的反馈信号；优化方法，定义学习过程。 关系图： 网络层堆叠形成网络模型，网络模型由输入数据得到预测值。损失函数比较预测值与实际值，得到损...

风格迁移风格迁移算法经历多次定义和更新，现在应用在许多智能手机APP上。 风格迁移在保留目标图片内容的基础上，将图片风格引用在目标图片上。 风格本质上是指在各种空间尺度上图像中的纹理，颜色和视觉图案;内容是图像的高级宏观结构。 实现风格迁移背后的关键概念与所有深度学习算法的核心相同：定义了一个损失函数来指定想要实现的目标，并最大限度地减少这种损失。 知道自己想要实现的目标：在采用参...

GAN由Goodfellow等人于2014年引入的生成对抗网络（GAN）是用于学习图像潜在空间的VAE的替代方案。它们通过强制生成的图像在统计上几乎与真实图像几乎无法区分，从而能够生成相当逼真的合成图像。理解GAN的直观方式是想象一个伪造者试图创造一幅伪造的毕加索作品。起初，伪造者的任务非常糟糕。他将他的一些假货与真正的毕加索混合在一起，并将它们全部展示给艺术品经销商。艺术品经销商对每幅画...

LSTM生成文本使用循环神经网络生成序列文本数据。循环神经网络可以用来生成音乐、图像作品、语音、对话系统对话等等。如何生成序列数据？深度学习中最常见的方法是训练一个网络模型(RNN或者CNN)通过之前的tokens预测下一个或者之后的几个token序列。通常在处理文本数据时，tokens通常是单词或字符，任何可以对给定前一个tokens时对下一个令牌的概率进行建模的网络模型称为语言模型...

将文本数据处理成有用的数据表示循环神经网络使用1D卷积处理序列数据深度学习模型可以处理文本序列、时间序列、一般性序列数据等等。处理序列数据的两个基本深度学习算法是循环神经网络和1D卷积(2D卷积的一维模式)。文本数据文本是最广泛的序列数据形式。可以理解为一系列字符或一系列单词，但最经常处理的是单词层面。自然语言处理的深度学习是应用在单词、句子或段落上的模式识别；就像计算机视觉是...

包括： - 理解卷积神经网络 - 使用数据增强缓解过拟合 - 使用预训练卷积网络做特征提取 - 微调预训练网络模型 - 可视化卷积网络学习结果以及分类决策过程 介绍卷积神经网络，convnets，深度学习在计算机视觉方面广泛应用的一个网络模型。卷积网络介绍在介绍卷积神经网络理论以及神经网络在计算机视觉方面应用广泛的原因之前，先介绍一个卷积网络的实例，整体了解卷积网络模型。用卷积...

预测房价：回归问题回归问题预测结果为连续值，而不是离散的类别。波士顿房价数据集通过20世纪70年代波士顿郊区房价数据集，预测平均房价；数据集的特征包括犯罪率、税率等信息。数据集只有506条记录，划分成404的训练集和102的测试集。每个记录的特征取值范围各不相同。比如，有0~1,1~12以及0~100的等等。加载数据集from keras.datasets import...

Reuters数据集下载速度慢，可以在我的repo库中找到下载，下载后放到~/.keras/datasets/目录下，即可正常运行。构建神经网络将路透社新闻分类，一共有46个类别。因为有多个类别，属于多分类问题，而每条数据只属于一个类别，所以是单标签多分类问题；如果每条数据可以被分到多个类别中，那问题则属于多标签多分类问题。路透社数据集Reuters数据集发布在1986年，...

IMDB数据集下载速度慢，可以在我的repo库中找到下载，下载后放到~/.keras/datasets/目录下，即可正常运行。电影评论分类：二分类二分类可能是机器学习最常解决的问题。我们将基于评论的内容将电影评论分类：正类和父类。IMDB数据集IMDB数据集有5万条来自网络电影数据库的评论；其中2万5千条用来训练，2万5千条用来测试，每个部分正负评论各占50%. 划分...