新智元报告
源自:arxiv
编辑:Priscilla 好困 【新智元导读】写故事没灵感?有AI啊!谷歌提出文本编辑器Wordcraft,内置人工智能,运用少量样本学习和对话就能支持各样用户交互,还能够帮忙用户进行故事规划、写作和编辑,再亦不消担心被催更啦!
2016年有一场人机写稿竞赛:就一份财报写出一篇资讯稿。
对手分别是自然语言生成机构Automated Insights打造的WordSmith设备人和美国公共广播记者Scott Horsley。
最后比赛结果是,设备人写稿速度比人类快了一倍多。
当然,对比两篇资讯稿,Scott写的那篇语言更加生动细致,更富有情感。
基于原稿的翻译
可见,早在几年前,经过训练的人工智能就已然能够按照人们的需要生成各样文案。
而此刻,要创作日更几千字的网文不在话下。
「地表最强语言模型」GPT-3,每日都能创作45亿个字符。
然而,这类语言模型大都数只能为用户供给有限的交互支持。
另外,倘若为每一个功能都单独训练语言模型,成本又太高。
为处理以上问题,谷歌科研院的一个团队提出了Wordcraft文本编辑器,是一个由AI驱动的创意写作助手。
Wordcraft仅需少量样本学习和对话,就能供给各样用户交互,支持各样故事写作任务,还能够帮忙作家规划故事大纲、写作和编辑。
例如上学时最让人头大的文案续写和改写。
另外,团队还探讨了Wordcraft的独特优良:运用对话模型而非通用语言模型。
故事写作这个环境能够探索语言模型的能力和局限性,由于模型非预期的输出便是一种创造。
从人机交互的方向来看,Wordcraft能够学习人们与语言模型互动的方式、认识人们对模型的需求、模型能够产出什么,以及怎样反馈到人们最后的创造中。
科研团队还计划将人类反馈纳入循环训练中,收集动态数据集,用于后续的训练和评定。
谷歌AI码字助手
谷歌的科研人员构建了一个AI助手,能够在创作的区别周期为用户供给自然语言生成支持。 规划:勾勒故事的大纲 写作:创作故事的内容编辑:改写现有的文字
搭载了AI助手的文本编辑器外观看起来非常的简单,左侧是空白的写作区域,右侧是引导AI的操作按钮以及AI生成的文本。
按照用户需要的区别,编辑器会给出区别的交互选项。
一问一答,容易搞定
作者对Meena和GPLM两种语言模型进行了测试,其中,Meena会将之前的对话内容为输入并预测下一个对话,而GPLM则是按照给出的前文进行续写。
经过实验,作者发掘相比于规模类似但无经过对话训练的通用语言模型(GPLM),Meena在这类任务中要更胜一筹。
于是,科研人员最后选取了Meena,并认为这种模仿故事作者和助手之间对话的形式,能够更好的帮忙用户进行故事的创作。
针对每一个任务,作者为区别的任务创作了多个周期性的对话
用户需求重写「一把剑」,模型将故事附加到相应的对话环境中,并需求AI做出回复
作者发掘,因为人类很熟练对话这种形式,因此只需进行少样本学习就能够产生非常自然的输出。
另外,当对话模型不睬解任务,或需要更加多的信息时,它会直接「说出来」:
「一位老人独自坐在一条阴暗的小路上。一道闪电照亮了天空。」帮我描述这位老人的心情状态。
我不明白你在问什么……
这是一道愉快的闪电吗?还是乌云密布的闪电?
那人在闪电之前在做什么?他做了有些可能会刺激情绪和想法的事情吗?
作者认为,这般的回答能够帮忙用户弄清楚怎样改进她们的提示。而GPLM在遇到不清晰的提示时,则会经常产生无道理的续写。
不仅如此,在对话中用户可能会问:「角色应该做什么来处理冲突?」
在这种状况下,用户显然是在寻找一个写作伙伴,而不是一个简单地续写文本的模型。
续写
续写是语言模型执行的最基本任务。
为了帮忙对话式模型更好地理解任务,作者用描述性的文字对问题进行了改进。
以下是我到日前为止写的故事:「一位老人独自坐在一条阴暗的小路上。」给我下一句话的续写。
按照上面这个输入,模型给出的意见是:
空气很冷,但他内心很温暖。他遇到了一起空地,空地的中间有一棵古老的柳树。
向他走去,这个人能够看到一个小小的身影,被远处的灯光照亮。
圆月闪闪发光。
填充
填充是一项较难的任务,例如用户在写完一段之后,期盼AI助手对故事提出新的想法或替换部分用词。
一位老人独自坐在一条阴暗的小路上。忽然,他看到一只尾巴是白色的母鹿,很美丽。
模型按照用户选取的文字将问题改写之后交给AI进行处理:
这儿有另一个故事:「一位老人独自坐在一条阴暗的小路上。忽然间 ______ ,很美丽。」用4个词填空。
于是AI给出了这般的回复:
有一道刺眼的闪光。
这个故事讲的是什么?为何需要这四个字?问题是什么?
一位天使显现了,她们交上了伴侣,很美丽。我不晓得这写的是什么,但我爱好这个故事的发展方向。
特别有意思的回答,但效果不太理想。
第二个回答表示了模型产生元文本的问题,即谈论故事,而不是写故事。
为了尽可能减少元文本的产生,作者构建了有些提示给AI进行学习。
此时,AI的输出虽然不是精确的四个单词,但给出的内容确实有所改进:
一只鹿从树林的远处显现
一位天使显现,闪闪发光
太阳升起,天空变成橙色
在需求输出12个单词的时候,AI给出了更长的意见:
太阳从山后升起,照亮了小路东侧的草地。
走失的儿子跑到他面前。这个青年人脸上的笑容永远让他微笑。
扩写
写作过程的一部分是对已然写好的东西进行扩充,例如为某个特定的故事元素添加更加多的细节。
这是我到日前为止的故事。「一位老人独自坐在一条阴暗的道路上。」描述一下这个人。
在这个例子中,用户期盼得到更加多关于这位老人的叙述,因此呢AI的回答是:
他年纪很大,但你不禁会重视到他青年的外表,他的长发和他温柔的目光。
他五十多岁,留着灰色的胡子,其中有几根长长的胡须挂在上唇上。
老人是一个矮小的人,头发灰白,身材消瘦,几乎是皱着眉头。
改写
另外,作者还尝试让AI改写故事的语气。
下面是有些文字:「一位老人独自坐在一条阴暗的小路上。」请改写,使之更拥有描述性。
模型给出相应的输出:
这位老人独自坐在那里。他周边的阴暗压抑而沉重。
当需求使故事更加幽默时,模型的回答是:
这位老人正走在回家的路上,但一只小狐狸跑到他身边,起始嘲笑他的装束。
Wordcraft只是一个起始
用户创作的文案亦反映了作家与AI写作助手合作的将来,AI写作助手的用处,大至帮忙作家修改叙事的风格,小至改写句子。
而AI助手的写作方向,更有可能会激爆发家们的灵感。
有利就有坏处。
Wordcraft亦不是十全十美的,最大的一个缺点便是,Meena和GPLM在创作过程中的语言质量没法保持一致。
就像前段时间GPT-3在AI Dungeon游戏提出有些不符合人类的道德需求的内容同样,语言模型惊人的模仿能力还会透出了人工智能暗淡的一面。
Wordcraft生成的文本亦会带有偏见,重点是由于语言模型从互联网文本中进行训练。
当训练文本中含有偏见或卑视内容而未经审核过滤,语言模型就学到了这些内容,亦仅有处理这些问题才可正式推广运用Wordcraft。
参考资料:
https://arxiv.org/pdf/2107.07430.pdf
-往期精彩-
|