本文结构：
模型效果
模型的三个模块
模块细节
今天的论文是 《Assigning Personality/Identity to a Chatting Machine for Coherent Conversation Generation》
https://arxiv.org/pdf/1706.02861.pdf
当我们在和聊天机器人互动时，最开始往往很好奇的就是对方到底是人还是机器人呢，所以会问到一些关于对方身份的问题，这对于机器人能否通过图灵测试还是很重要的问题之一。
这篇论文提前预设好机器人的身份档案，并且做到在相关的问答中做到与设置的一致，就可以让机器人在回答时能够有一定的身份特征。和其他的区别是不用从对话中慢慢学习出个性。
模型效果：
假设机器人的预设档案为：
本论文的模型与普通的 seq2seq 效果比较为：
模型由三个模块组成：
一个档案检测器 Profile Detector，一是来决定是否要根据档案来回答，二是根据哪个关键字答复。
一个双向解码器 Bidirectional Decoder，用于从选定的档案值出发向前和向后生成答复。
一个位置检测器 position detector，用于预测选定的档案值后要从哪个位置开始解码，把位置传递给 decoder。
整体：
给定一个提问后，先看是否需要用档案内容回答，不需要的话，就用通常的 seq2seq 来生成回复；
需要的话，先用 Profile Detector 选择合适的 key－value。然后用 Bidirectional Decoder 以这个 value 为起点向前向后生成答复。
position detector 用来改善 training，test 集的差异问题，只在模型训练时用。
模型细节：
提问：x = x1x2···xn, 被 Encoder 将 post 转化后的向量 x = x1x2 · · · xn。x 的隐藏层状态由 GRU 获得 h = (h1, h2, · · ·, hn) 。
档案：{< ki, vi > |i = 1, 2, · · · , K}
回答：y=y1y2···ym
问题建模：
1. Profile Detector
1. 其中 P(z|x) 是根据提问 x，看需要用档案来回答的概率，由 Profile Detector 计算出。
由训练的二分类器得到 P (z|x) = P (z| h～) = σ(Wp h～)，h～ 是所有 hj 的和，Wp 是分类器的参数。
βi = MLP([ h～, ki, vi]) =f(W ·[ h～;ki;vi])，用来决定根据哪个关键字答复，其中 f 为 softmax 激活函数，选择概率最大的那一组 key－value。
2. Bidirectional Decoder：
2. Pfr(y|x) 是根据 x 生成 y，由通常的 forward decoder 生成。
3. Pbi(y|x, {< ki, vi >}) 是根据 x 和档案生成 y，由 Bidirectional Decoder 生成：
即 y = (yb, v～, yf ) 为生成的回复，v～ 是选中的 value：
先由 x，v～ 得到 yb，再由 x，v～，yb 得到 yf。
Pb，Pf 通过下式计算：
其中 sj 是 decoder 的相应状态，cj 是语境的向量：
P fr 和 P bi 的参数不是共享的。
3. position detector：
因为用于训练的问答句是从社交网站上获得的，前面识别出来的 value 可能并不会出现在答复中，这样 bidirectional decoder 就会不知道从哪个位置开始，所以在这一步会做相关的处理。
例如，
post x =“你-1 有-2 什么-3 特长-4 ?-5 response y =“我-1 非常-2 擅长-3 小提琴- 4 a profile key value pair “<特长, 钢琴>
那么 “小 提 琴-4 ” 的位置会传递给 decoder，然后替换成“钢 琴”。
用 P (j|y1y2 · · · ym, < k, v > )), 1 ≤ j ≤ m 来表示 yj 可以被 v 替换的概率。
计算方法用两个单词的距离：
P(j|y,< k,v >)) ∝ cos(yj,v)
损失函数：
由两部分组成：
L = L1 + αL2
1. L1 是生成答复的，根据最开始的问题模型可以得到：
D( c) 是只有 post-response 对的，D(pr) 是 post，value-response 的。
2. L2 是 profile detector 预测是否用档案及用哪个关键词的，根据前面定义过的 P(z|x) 和 βi：
z＝0 不用，z＝1 用， k^ 是锁定的 key。
共同学习，写下你的评论
评论加载中...
作者其他优质文章
