1 RNN原理

1.1 RNN的时序反向传播原理

RNN中采用时序反向传播算法（BPTT）对参数更新，下面将简单介绍下BPTT原理，并解释其与传统反向传播的区别。我们还将了解梯度消失问题，这也是推动LSTM和GRU发展的原因。

鉴于近期所做的工作性质的原因，就想系统了解下广告创意创作相关的理论知识。缘由是因为我发现，在做创意优化时，实际的广告CTR、cpm同自己的预期并不一致，刚好最近上了两门课《以用户为中心的产品方法论》和《MVP方法论》，于是就想一探究竟，创意到底会如何影响效果广告的效果的。

大家好，来给大家介绍下我女朋友！

这是我女朋友！美若天仙！

这也是我女朋友！黑若木炭！

这是我女朋友！貌美如花！

这也是我女朋友！脑瘫儿童有木有！

这是我女朋友！明艳动人！

这也是我女朋友！找不到词形容啦！

这是我女朋友！疯起来谁也拦不住！

这也是我女朋友！哭起来让人心痛！

哈哈，这就是我女朋友！给大家介绍完毕！

1 背景说明

Attention，也叫注意力模型，关于Attention，这篇文章中有详细的描述。Attention在计算机视觉、自然语言处理中都有典型的应用。因为Attention能够学习到不同特征对于目标的重要程度，目前的研究结果表明，Attention在绝大多数场景中都能发挥积极作用。

Attention FM（后文简称AFM）正是在原有FM基础上，考虑了不同二阶交叉特征对于目标的重要程度，实验结果表明，AFM性能明显要优于FM及FM的衍生版本。下面我们就来探索下AFM原理。

1 背景说明

我们知道，在信息流广告中，广告的展现形式通常分为三种：

• 大图：点击率最高，对图文相关性要求也最高
• 小图：点击率相对偏低，不占用屏幕
• 三图：介于大图和小图之间

以上三种广告展现形式已经被证明能够很好的融入到信息流广告中，在保证用户体验的情况下，恰当的让广告得到展示。

1 背景说明

Neural Factorization Machine（以下简称NFM）是最近由新加坡国立大学的Xiangnan He等人提出，并发表在SIGIR2017上的一篇文章。

这篇文章结合了神经网络和FM的思想，并且创造性的提出将FM的隐向量参与到神经网络的训练中去，同其他的以FM预先训练好再提供给神经网络相比，能有效的提升CTR。下面就对这篇文章做一个总结。

背景说明

在搜索广告和信息流广告中，除了常说的各种模型的应用之外，还有一块往往被大家所忽视，那就是物料优化，但是广告物料是直接呈现在网民面前的，对这一部分做好了优化工作无疑对广告的点击率/cpm以及用户体验上大有裨益。

背景说明

在搜索广告或者信息流中融入搜索广告时，通常我们需要对关键词进行行业标注，目的是为了方便在某些特殊渠道或者特定场景下对某些行业进行屏蔽。比如，在信息流广告中，通常是看不到医疗类广告的身影，这是因为在大部分信息流广告中，为了用户体验，而选择性的将医疗类广告做了屏蔽；然而，医疗类广告在搜索广告收入中的占比依然很大；另一种场景是，在某个特定的时间，应某些方面的强制需求，不允许出现某行业相关的广告，比如在19大期间，应上面要求，信息流中不允许出现棋类赌博类广告，大家都知道棋牌类广告的CPC通常都很高，消耗占比通常也很高；

1 应用背景

最近在计算word2vec中的相似性的时候，遇到了计算量特别巨大的情况，大到计算在hadoop集群上也计算了好几个小时，在本机上初步估计了下，基本上是不可能算出来的（规模是几十万候选集，维度是100）。

在跟我组一个博士交流这个问题时，他给我推荐了LSH（局部敏感哈希）算法，用这个算法之后，发现计算量瞬间降低了近千倍（这里顺带鄙视下自己的知识面）。后来查了下资料，发现LSH在相似性计算方面，已经有大量应用了（特别是处理海量数据）。下面将详细梳理下LSH的原理及其应用。

1 说明

随着大数据的发展，熟练掌握Hadoop和hadoop streaming已成为一个深度学习/机器学习工程师必备的技能。下面将自己在工作过程中接触到的hadoop streaming技巧做个记录，并持续更新中。