谷歌推出AI写作助手Wordcraft，仅需少量样本学习和对话就能对文案进行续写改写

tw4ld6

新智元报告  

源自：arxiv

编辑：Priscilla 好困

【新智元导读】写故事没灵感？有AI啊！谷歌提出文本编辑器Wordcraft，内置人工智能，运用少量样本学习和对话就能支持各样用户交互，还能够帮忙用户进行故事规划、写作和编辑，再亦不消担心被催更啦！

2016年有一场人机写稿竞赛：就一份财报写出一篇资讯稿。

对手分别是自然语言生成机构Automated Insights打造的WordSmith设备人和美国公共广播记者Scott Horsley。

最后比赛结果是，设备人写稿速度比人类快了一倍多。

当然，对比两篇资讯稿，Scott写的那篇语言更加生动细致，更富有情感。

基于原稿的翻译

可见，早在几年前，经过训练的人工智能就已然能够按照人们的需要生成各样文案。

而此刻，要创作日更几千字的网文不在话下。

「地表最强语言模型」GPT-3，每日都能创作45亿个字符。

然而，这类语言模型大都数只能为用户供给有限的交互支持。

另外，倘若为每一个功能都单独训练语言模型，成本又太高。

为处理以上问题，谷歌科研院的一个团队提出了Wordcraft文本编辑器，是一个由AI驱动的创意写作助手。

Wordcraft仅需少量样本学习和对话，就能供给各样用户交互，支持各样故事写作任务，还能够帮忙作家规划故事大纲、写作和编辑。

例如上学时最让人头大的文案续写和改写。

另外，团队还探讨了Wordcraft的独特优良：运用对话模型而非通用语言模型。

故事写作这个环境能够探索语言模型的能力和局限性，由于模型非预期的输出便是一种创造。

从人机交互的方向来看，Wordcraft能够学习人们与语言模型互动的方式、认识人们对模型的需求、模型能够产出什么，以及怎样反馈到人们最后的创造中。

科研团队还计划将人类反馈纳入循环训练中，收集动态数据集，用于后续的训练和评定。

谷歌AI码字助手

谷歌的科研人员构建了一个AI助手，能够在创作的区别周期为用户供给自然语言生成支持。

规划：勾勒故事的大纲 写作：创作故事的内容编辑：改写现有的文字

搭载了AI助手的文本编辑器外观看起来非常的简单，左侧是空白的写作区域，右侧是引导AI的操作按钮以及AI生成的文本。

按照用户需要的区别，编辑器会给出区别的交互选项。

一问一答，容易搞定

作者对Meena和GPLM两种语言模型进行了测试，其中，Meena会将之前的对话内容为输入并预测下一个对话，而GPLM则是按照给出的前文进行续写。

经过实验，作者发掘相比于规模类似但无经过对话训练的通用语言模型（GPLM），Meena在这类任务中要更胜一筹。

于是，科研人员最后选取了Meena，并认为这种模仿故事作者和助手之间对话的形式，能够更好的帮忙用户进行故事的创作。

针对每一个任务，作者为区别的任务创作了多个周期性的对话

用户需求重写「一把剑」，模型将故事附加到相应的对话环境中，并需求AI做出回复

作者发掘，因为人类很熟练对话这种形式，因此只需进行少样本学习就能够产生非常自然的输出。

另外，当对话模型不睬解任务，或需要更加多的信息时，它会直接「说出来」：

「一位老人独自坐在一条阴暗的小路上。一道闪电照亮了天空。」帮我描述这位老人的心情状态。

我不明白你在问什么……

这是一道愉快的闪电吗？还是乌云密布的闪电？ 

那人在闪电之前在做什么？他做了有些可能会刺激情绪和想法的事情吗？

作者认为，这般的回答能够帮忙用户弄清楚怎样改进她们的提示。而GPLM在遇到不清晰的提示时，则会经常产生无道理的续写。

不仅如此，在对话中用户可能会问：「角色应该做什么来处理冲突？」

在这种状况下，用户显然是在寻找一个写作伙伴，而不是一个简单地续写文本的模型。

续写

续写是语言模型执行的最基本任务。

为了帮忙对话式模型更好地理解任务，作者用描述性的文字对问题进行了改进。

以下是我到日前为止写的故事：「一位老人独自坐在一条阴暗的小路上。」给我下一句话的续写。

按照上面这个输入，模型给出的意见是：

空气很冷，但他内心很温暖。他遇到了一起空地，空地的中间有一棵古老的柳树。

向他走去，这个人能够看到一个小小的身影，被远处的灯光照亮。

圆月闪闪发光。

填充

填充是一项较难的任务，例如用户在写完一段之后，期盼AI助手对故事提出新的想法或替换部分用词。

一位老人独自坐在一条阴暗的小路上。忽然，他看到一只尾巴是白色的母鹿，很美丽。

模型按照用户选取的文字将问题改写之后交给AI进行处理：

这儿有另一个故事：「一位老人独自坐在一条阴暗的小路上。忽然间 ______ ，很美丽。」用4个词填空。

于是AI给出了这般的回复：

有一道刺眼的闪光。

这个故事讲的是什么？为何需要这四个字？问题是什么？

一位天使显现了，她们交上了伴侣，很美丽。我不晓得这写的是什么，但我爱好这个故事的发展方向。

特别有意思的回答，但效果不太理想。

第二个回答表示了模型产生元文本的问题，即谈论故事，而不是写故事。

为了尽可能减少元文本的产生，作者构建了有些提示给AI进行学习。

此时，AI的输出虽然不是精确的四个单词，但给出的内容确实有所改进：

一只鹿从树林的远处显现

一位天使显现，闪闪发光

太阳升起，天空变成橙色

在需求输出12个单词的时候，AI给出了更长的意见：

太阳从山后升起，照亮了小路东侧的草地。

走失的儿子跑到他面前。这个青年人脸上的笑容永远让他微笑。

扩写

写作过程的一部分是对已然写好的东西进行扩充，例如为某个特定的故事元素添加更加多的细节。

这是我到日前为止的故事。「一位老人独自坐在一条阴暗的道路上。」描述一下这个人。

在这个例子中，用户期盼得到更加多关于这位老人的叙述，因此呢AI的回答是：

他年纪很大，但你不禁会重视到他青年的外表，他的长发和他温柔的目光。

他五十多岁，留着灰色的胡子，其中有几根长长的胡须挂在上唇上。

老人是一个矮小的人，头发灰白，身材消瘦，几乎是皱着眉头。

改写

另外，作者还尝试让AI改写故事的语气。

下面是有些文字：「一位老人独自坐在一条阴暗的小路上。」请改写，使之更拥有描述性。

模型给出相应的输出：

这位老人独自坐在那里。他周边的阴暗压抑而沉重。

当需求使故事更加幽默时，模型的回答是：

这位老人正走在回家的路上，但一只小狐狸跑到他身边，起始嘲笑他的装束。

Wordcraft只是一个起始

用户创作的文案亦反映了作家与AI写作助手合作的将来，AI写作助手的用处，大至帮忙作家修改叙事的风格，小至改写句子。

而AI助手的写作方向，更有可能会激爆发家们的灵感。

有利就有坏处。

Wordcraft亦不是十全十美的，最大的一个缺点便是，Meena和GPLM在创作过程中的语言质量没法保持一致。

就像前段时间GPT-3在AI Dungeon游戏提出有些不符合人类的道德需求的内容同样，语言模型惊人的模仿能力还会透出了人工智能暗淡的一面。

Wordcraft生成的文本亦会带有偏见，重点是由于语言模型从互联网文本中进行训练。

当训练文本中含有偏见或卑视内容而未经审核过滤，语言模型就学到了这些内容，亦仅有处理这些问题才可正式推广运用Wordcraft。

参考资料：

https://arxiv.org/pdf/2107.07430.pdf

-往期精彩-

nykek5i

你的见解独到，让我受益匪浅，非常感谢。

1fy07h

你的努力一定会被看见，相信自己，加油。

7wu1wm0

论坛的成功是建立在我们诚恳、务实、高效、创新和团结合作基础上，我们要把这种精神传递下去。