本文共 1746 字,大约阅读时间需要 5 分钟。
按组件生成结构化对象组件(Generating a structured object component-by-component)
句子是由字符/语料库组成的——通过RNN每次生成一个字符/单词
图像是由像素组成的——每次用RNN生成一个像素
RNN可以生成图像、手写汉字、语音、文字为什么要条件生成:
Dynamic Conditional Generation
以机器翻译为例看一下Attention-based model
关于 α 1 α_1 α1的产生没有一个公认的最好的方法,你可以这样: 以上的技术也可以应用到语音识别上面 或者图像标题生成(对图像产生一段说明) 以下亮的地方是机器的Attention所在的地方,注意到长颈鹿生成的时候是长颈鹿周围的场景,以下都是一些表现良好的场景 以上结果看起来表现非常好对Memory上进行Attention
可以考虑把一个句子拆成两个向量 关于Hopping:不只从Memory里训练出数据,他还可以根据match score修改Memory的数据
实际上由k生成attention的步骤如下所示: 相信没有兴趣知道它,所以跳过,接下来根据attention和e、a的值修改Memory的值Training的技巧
训练和测试之间的不匹配 一步错,步步错: 修改训练过程?使训练与测试相匹配,当我们尝试减少步骤1和步骤2的损失时…在实践中,这样的训练方式很难
绿色路径的分数更高,不可能检查所有的路径
每一步都要保持几条最佳路径 Beam size = 2 本例中beam的尺寸为3: 以下说明了为什么采样比直接把概率分布作为输入训练效果要好一些对象级(Object level)与组件级(Component level)
R不好进行微分,当句子和reference相同时,输出为0,调参数时结果不变,所以解决办法可以是强化学习这次课Conditional Generation by RNN & Attention:
转载地址:http://bwtrn.baihongyu.com/