VUI设计的工作流程(下)

上一篇和大家分享了VUI设计流程四大阶段中的需求分析阶段和设计阶段,接下来我将和大家分享场景数据收集阶段和持续优化阶段

↓↓↓想了解上篇需求分析阶段和设计阶段内容的小伙伴也可以直接点连接去看一下

VUI设计的工作流程(上)

 

 

场景数据收集阶段

为了让我们的对话机器人能和人进行自然对话,我们需要收集更多真实的场景数据来丰富机器人的知识库,因此在收集时我们需要知道收集哪些内容、以及通过什么渠道进行收集。

 

1、需要收集的内容

在内容收集时,我们需要根据任务类型来进行,针对任务型对话我们需要收集真实场景下的对话样本、词典词槽,针对问答型对话需要根据之前归纳的分类,收集对应的问题和答案。

1)收集对话样本

主要是在真实环境下,收集相同意图不同人的问法。然后将这些对话样本导入到系统中,给机器人做示范,教他如何理解对话意图,知道哪些词是重要信息,对应的词槽是什么,以4S店汽车销售机器人为例:

通过对话样本告诉机器"我想买一辆30万以内的奔驰车"和“帮我选一台20万以内的宝马车”都是选车的意图,其中“30万”和“20万”都是价格的词槽,“奔驰车”和“宝马车”都是品牌的词槽。这样训练多了,机器人对话就越来越自然了。

 

2)收集词典词槽

词典词槽主要指为了完成某个意图所需要提供的关键信息,以4S店汽车销售机器人的选车为例:

比如“我想买一台30万以内的车”,其中“一台”是数量词槽、“30万”是价格词槽、“车”是品牌词槽。然后将系统中所有意图进行整理并收集对应的词槽。在收集时,我们需要根据词槽,整理出3-5条实际的对话样本案例,让系统识别准确率更高。

 

3)收集问答对

问答对相对比较简单,我们可以根据问答型故事线中整理出的分类,尽可能全的去收集真实场景下用户会问那些问题,系统又该如何回答,以4S店汽车销售机器人为例:

在收集问答对时,我们可根据汽车的配置、保养、油耗、上牌、贷款、提车、改装、售后等,将问题和答案进行整理,这里一个问题最好能整理出多种问法。

 

2、通过什么渠道进行收集?

上面我整理了真实场景下三大需要收集的内容:对话样本、词典词槽、问答对,那么这些真实场景的数据该如何去收集呢?我们可根据网站数据、客户中心数据、用户调研来收集。

1)网站数据

如果你的产品原来就有网站、APP,那么数据收集起来就相当容易了,我们可以根据用户平时的反馈情况、常见问题解答、系统日志、消息记录等进行收集。

 

2)客服中心数据

如果你的产品有客服服务,那么这部分数据收集起来可以帮我们大忙,因为不管客户是通过文字咨询客服,还是通过电话咨询,这些数据已经是自然对话的内容了,能帮助我们了解客户在操作中真实面临的问题,以4S店汽车销售为例:

当你去咨询时,一般他们都有销售的模板话术、实际场景的销售对话案例、售后客服、网络客服等,这些数据都是一份不错的资源,都可以收集起来。

 

3)用户调研

如果你的产品是初创的,没有以上现成的数据,我们可以通过用户调研,人工模拟对话过程进行收集,这部分数据一定程度上可以代表真实用户的想法。

在收集时我们最好模拟人和机器人真实的对话流程,这里我们可以直接通过发送消息的形式,获得对话内容,在开始前,我们只需要告诉用户测试目标,同时和他说他是在和机器对话(实际是你),让对话尽可能的真实。

那么如何进行用户调研呢?用户调研可以分为两个阶段前期调研和后期调研,下面一起来看看。

前期调研

前期调研数据不用过多,只需要3~6个建立初始数据即可,我们可以根据需求分析制定的用户画像,寻找满足类似条件的人,并记录他们整个对话内容,以4S店汽车销售的用户画像为例:

我分别列了三个代表型人物,我们可以根据这些人物特点寻找对应的调研对象,每组找2个适合的人即可,由于每个的职业、文化水平、期望值不同,因此沟通内容也不同,需要我们将其一一记录下来。

后期调研

当系统有一定的数据后,我们可以利用对话工具来进行数据收集,这时候我们可以邀请100到200个不同人群、职业、年龄、性别等人来进行测试,这样我们可以收集到更真实的数据。这里我们可以利用百度UNIT搭建一个对话系统,快速收集数据。

最后大家需要注意虽然以上的数据能够提供给我们帮助,但是这些只是开始,在真实场景中可能会遇到更多的问题,你会发现之前的数据已经不能满足,这时候就需要我们持续进行优化对话样本、词典词槽、问答对等。

 

 

持续优化阶段

场景数据收集完后就该交给工程师搭建对话系统了,当系统搭建完成我们的工作并没有完,还需要继续优化,我们可以通过系统日志分析,发现系统中未识别或识别错误的意图,以及分析已识别的意图是否是核心需求。

1、优化未识别的意图

当你在检查日志时发现未识别的意图时,你需要进一步确定该意图系统是否已定义了。

1)如果系统未定义意图,同时其是核心功能,优先级高,那么我们就需要从新定义意图、制作对话样本,如果优先级低我们可放到后面再优化。

2)如果发现未识别的意图,系统已经定义了,那么就需要我们检查看看在设置中是否有遗漏,比如有没有对应的对话模板,对话模板写得对不对。

 

2、优化识别错误的意图

在日志分析时,如果发现识别错误的意图时,我们可以通过检查找出错误意图,并进行修改。另外,我们还可根据用户反馈发现识别错误的意图,并进行修改。

 

3、优化已识别的意图

在日志分析时,针对已识别的意图,我们还需要判断他在对话中的占比,进一步分析该意图是否对应用户的核心需求,是否需要调整。

 

4、合理使用知识闭环推动效果优化

持续优化的阶段需要整个团队来进行,下面可以参考百度UINT提供的优化流程图。

VUI设计师/对话训练师优化对话样本、词典词槽;开发者需要测试对话、效果评估、应用对话模板/样本,技能训练,生效到沙盒环境;用户需要发布到生产环境、交互学习、生成对话日志。然后VUI又根据日志优化未识别、识别错误、已识别的意图,持续两个数据闭环的优化就可以让技能模型更智能了。

 

 

画重点

本篇和大家梳理了VUI设计师的工作流程中的场景数据和持续优化阶段,知识点分别有:

1、场景数据阶段:VUI设计师完成需求分析、对话设计之后,还需要进行场景数据的收集,比如收集对话样本、词典词槽,问答对等,让人机对话更真实自然。

2、持续优化阶段:优化阶段和UI类似,UI设计产品上线之后需要进行界面的验收;VUI也需要进行验收,主要从四个方面进行优化:未识别的意图、识别错误的意图、已识别的意图、合理使用知识闭环推动效果优化。

 

 

 

作者:风筝KK

公众号:海盐社

题图:

每天更新,
全站高品质素材免费下载!