第250章无比巧妙的思路
具体到林灰当时对伊芙·卡莉撰写的那篇论文的改动。
客观来说，其实当时那篇论文涉及到生成式文本摘要这方面林灰的改动并不算很多。
林灰只是补充了一些内容。
但林灰补充的内容却几乎都是精髓之所在。
通过林灰的补充内容伊芙·卡莉更进一步了解了林灰是如何搞定南风APP里面文本摘要技术的。
林灰在就构建生成式文本摘要算法采取了很多巧妙的方法。
无论是基于深度学习技术设计合适的模型架构和训练策略。
还是借助迁移学习的思想提出了基于预训练模型的生成式自动文本摘要算法。
抑或是通过无监督来完成内容表示以及权重计算。
这些都是伊芙·卡莉此前所没想到，或者说从来没深刻认识的。
一个相关领域的博士居然还有此前没认识到位的东西？
听起来似乎有些不可思议，但事实如此。
正所谓闻道有先后，术业有专攻。
一时的落后于人也没什么不可承认的。
而且伊芙·卡莉敢肯定她这种情况绝对不会是孤例。
伊芙·卡莉觉得林灰所补充的内容未必只是她本人没想到。
很多其余的研究者或许也是没想到的。
林灰提出的一些新的见解不止是相对于传统的文本摘要这方面的研究
甚至是对于整个NLP方向来说林灰鼓捣的东西都可以称得上是全新的思路。
反正伊芙·卡莉是觉得这些思路很奇妙，甚至有可以让人有一种醍醐灌顶之功效。
之所以会有这样的功效，很大程度上是因为在此之前多数文本摘要的研究人员都是研究抽取式文本摘要的。
抽取式文本摘要和生成式文本摘要虽然都是文本摘要。
但从前者到后者的转变涉及到一个思路上转换的过程。
很多时候多数传统文本摘要方面的研究人员亦即研究抽取式文本摘要的研究人员受先入为主的影响对生成式文本摘要认识不到位也是常有的事情。
举个例子，就比如说林灰在搞定生成式文本摘要时所提出的预训练。
按说，这个东西并不算什么高深的概念。
所谓的预训练倒是不难理解，无非就是对训练模型的数据进行粗处理而已。
但这玩意就比较难想到。
以前伊芙·卡莉在进行抽取式文本摘要这方面的调校时候就没用到预训练。
多数情况下都是直接进行训练的。
而没有应用预训练这一步骤。
按照林灰在论文中进行的补充。
预训练的通常做法一般是将大量低成本收集的训练数据放在一起。
而后以某一种或者某一类特定预训方法去学习这些训练数据其中的共性。
然后将其中的共性移植到特定任务的模型中。
再使用相关特定领域的少量标注数据进行更细致的调校。
完成这一过程之后
请收藏：https://m.ruguo.cc
（温馨提示：请关闭畅读或阅读模式，否则内容无法正常显示）