陈丽嫦 发表于 2022-10-16 16:38:20

NAM、RAS、MTLSum、BottleSUM …你都把握了吗？一文总结文本择要必备经典模 ...

<div id="content"><p>以下文章泉源于呆板之心SOTA模子 ，作者呆板之心SOTA模子</p><p>呆板之心专栏</p><p>本专栏将逐一盘货天然语言处置惩罚、盘算机视觉等范畴下的常见使命，并对在这些使命上取得过 SOTA 的经典模子逐一详解。前去 SOTA！模子资源站（sota.jiqizhixin.com）即可获取本文中包罗的模子实当代码、预练习模子及 API 等资源。</p><p>本文将分 2 期举行连载，共先容<strong>17</strong><strong>个</strong>在<strong>文本择要</strong>使命上曾取得 SOTA 的经典模子。</p><p>第 1 期：CopyNet、SummaRuNNer、SeqGAN、Latent Extractive、NEUSUM、BERTSUM、BRIO</p><p>第 2 期：NAM、RAS、PGN、Re3Sum、MTLSum、KGSum、PEGASUS、FASum、RNN（ext） + ABS + RL + Rerank、BottleSUM</p><p>您正在阅读的是此中的第 2 期。前去 SOTA！模子资源站（sota.jiqizhixin.com）即可获取本文中包罗的模子实当代码、预练习模子及 API 等资源。</p><p>第1期回首：</p><p><strong>本期收录模子速览</strong></p><p></p><table class="zaker_table"><tbody><tr><th>模子</th><th>SOTA！模子资源站收录环境</th><th>模子泉源论文</th></tr><tr><td>NAM</td><td>https://sota.jiqizhixin.com/models/models/2072950a-5014-41a7-8801-5b894e5bb4a5收录实现数目：1支持框架：Torch</td><td>A Neural Attention Model for Abstractive Sentence Summarization</td></tr><tr><td>RAS</td><td>https://sota.jiqizhixin.com/models/models/0544ead9-de12-46b0-8fcd-61737f9951af收录实现数目：1支持框架：Torch</td><td>Abstractive Sentence Summarization with Attentive Recurrent Neural Networks</td></tr><tr><td>PGN</td><td>https://sota.jiqizhixin.com/models/models/c317f698-b7f3-46d3-abc1-f93c5f5f2b90收录实现数目：3支持框架：PaddlePaddle、TensorFlow、PyTorch</td><td>Get To The Point: Summarization with Pointer-Generator Networks</td></tr><tr><td>Re3Sum</td><td>https://sota.jiqizhixin.com/models/models/13859f1c-16a3-4b81-81f8-f85d078d91f4</td><td>Retrieve, rerank and rewrite: Soft template based neural summarization</td></tr><tr><td>MTLSum</td><td>https://sota.jiqizhixin.com/models/models/1ee02eca-5042-4709-8bd1-af02d20bd262</td><td>Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation</td></tr><tr><td>KGSum</td><td>https://sota.jiqizhixin.com/models/models/686f5a34-89a0-46c2-8270-ab62674c4e3f</td><td>Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization</td></tr><tr><td>PEGASUS</td><td>https://sota.jiqizhixin.com/models/models/161a361b-4102-415e-8f87-d00b9df241fa收录实现数目：2支持框架：TensorFlow、PyTorch</td><td>PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization</td></tr><tr><td>FASum</td><td>https://sota.jiqizhixin.com/models/models/f07ad4a0-8360-40e2-bcaa-2c820116150e收录实现数目：1</td><td>Enhancing Factual Consistency of Abstractive Summarization</td></tr><tr><td>RNN（ext） + ABS + RL + Rerank</td><td>https://sota.jiqizhixin.com/models/models/bb9e36ba-3f90-43d2-a98c-d41e5adfe870收录实现数目：1支持框架：PyTorch</td><td>Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting</td></tr><tr><td>BottleSUM</td><td>https://sota.jiqizhixin.com/models/models/88b14617-ab92-4626-a2c8-81fd9aa0720d收录实现数目：1支持框架：PyTorch</td><td>BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle</td></tr></tbody></table><p></p><p>文本择要可以看做是一种信息压缩技能，详细是指使用技能从单个文本或多个文本（文本聚集）中抽取、总结或提炼要点信息，以概括展示原始文本（集）中的重要信息。在互联网快速发展的当代社会，文本择要的作用越来越紧张，可以资助人们从海量数据中快速发现所必要的信息。文本择要成为了天然语言处置惩罚（NLP）范畴的一项紧张技能。</p><p>传统的文本择要可以分为抽取式择要和天生式择要两种方法。抽取式择要是通过抽取拼接源文本中的关键句子来天生择要，长处是不会偏离原文的信息，缺点是有大概提取信息错误，大概出现信息冗余、信息缺失。天生式择要则是体系根据文本表达的紧张内容自行构造语言，对源文本举行概括，整个过程是一个端到端的过程，雷同于翻译使命和对话使命，因此，天生式择要方法可以吸取、鉴戒翻译使命和对话使命的乐成履历。与传统方法对应的，应用于文本择要的神经网络模子也有抽取式模子、天生式模子以及压缩式模子三类。此中，抽取式模子重要是将题目建模为序列标注和句子排序两类使命，包罗序列标注方法、句子排序方法、seq2seq三种；天生式模子则重要是以seq2seq、transformer为底子的引入各类辅助信息的天生式模子；压缩式模子重要是基于information bottleneck的模子，也可称为是抽取式和天生式混淆的模子。</p><p></p><div class="img_box" id="id_imagebox_0" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>第一，抽取式模子的焦点头脑是：为原文中的每一个句子打一个二分类标签（0 或 1），0 代表该句不属于择要，1 代表该句属于择要，终极由全部标签为 1 的句子举行排序后天生择要。这种方法的主要要求就是将天然语言转化为呆板可以明白的语言，即对文本举行符号数字化处置惩罚，为了能表现多维特性，加强其泛化本领，可以引入向量的表征情势，即词向量、句向量。基于seq2seq的抽取式模子的文本择要必要办理的题目是从原文本到择要文本的映射题目。择要相对于原文具有大量的信息丧失，而且择要长度并不会依靠于原文本的长度，以是，怎样用简短精粹的笔墨概括形貌一段长文本是seq2seq文本择要必要办理的题目。<p></p><p>第二，天生式模子重要是依托天然语言明白技能，由模子根据原始文本的内容本身天生语言形貌，而非提取原文中的句子。天生式模子的工作重要是基于seq2seq模子实现的，通过添加额外的attention机制来进步其结果。别的，另有一些模子以自编码为框架使用深度无监视模子去完成天生式择要使命。再者，还可以引入GPT等预练习模子做fine-tune，改进择要的天生结果。</p><p>第三，压缩式模子则是先通过某种方法将源文档做一个压缩，得到一个长度较为符合的文本。然后以压缩后的文本为目的，练习天生式模子终极得到目的模子。压缩式模子也可以看作是抽取式模子和天生式模子的联合。我们在这篇文章先容文本择要中必备的TOP模子，先容是根据差别范例的模子分组举行的，同一种别的模子先容则是按照模子提出的时间次序来完成的。</p><p><b><strong>一、天生式择要模子</strong></b></p><p><b><strong>1.1 NAM</strong></b></p><p>NAM是利用attention机制举行天生式文本择要的第一篇文章，重要利用Attention+seq2seq构建择要模子。不外模子直接天生择要的结果并不太好，增长一些人工特性后，结果能大幅提拔。NAM是一种完全由数据驱动的抽象化句子择要方法，使用一个基于局部留意力的模子，根据输入的句子天生每个词的择要。固然该模子布局简朴，但它可以很轻易地举行端到端练习，并可扩展到大量的练习数据。</p><p><strong>解码器部门：</strong></p><p>NAM的解码器由尺度的前馈神经网络语言模子（neural network language mode，NNLM）改编而成。神经网络语言模子参数化的焦点现实上是得到择要文本下一个词语的概率，输入文本与前文窗口经过编码器天生一个向量，该向量代表了输入文本与已天生文本。隐蔽层由文本窗口乘以词向量与权重矩阵得到。下一个词的概率由文本窗口与输入文本共同决定，整个模子也表现了编码器与神经语言共同练习的焦点。图1a给出了一个解码器布局的表示图。黑盒函数enc是一个上下文编码器术语，它返回一个巨细为H的向量，代表输入和当前的上下文。刨除enc就是一个尺度的语言模子，通过引入enc，并在练习中同时思量这两个要素，就可以在天生阶段思量文本自己。</p><p></p><div class="img_box" id="id_imagebox_1" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图1. (a) 带有额外编码器的NNLM解码器的网络图。(b) 基于留意力的编码器enc3的网络图<p></p><p><strong>编码器部门：</strong></p><p>对于编码器的选择，词袋模子(bag-of-words)编码器不能反映出词与词之间的语义关系与次序，卷积编码器(convolutional encoder)比力复杂，而且只能为整个输入句子产生一个单一的表征。NAM接纳的有监视编码器布局简朴，雷同于词袋模子的模子，以下是编码器的全部模子：</p><p></p><div class="img_box" id="id_imagebox_2" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div><strong>天生部门：</strong><p></p><p>末了，通过求解下式，天生择要：</p><p></p><div class="img_box" id="id_imagebox_3" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>作者终极接纳了集束搜刮(beam-search)解码来求解上述的公式，下面是beam-search算法的具体步调：<p></p><p></p><div class="img_box" id="id_imagebox_4" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>当前 SOTA！平台收录NAM共 1 个模子实现资源。<p></p><p></p><div class="img_box" id="id_imagebox_5" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页NAM<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/2072950a-5014-41a7-8801-5b894e5bb4a5<p></p><p><strong></strong></p><p><strong><b></b></strong></p><p><b><strong>1.2RAS</strong></b></p><p>RAS 和NAM是同一个研究小组的工作，因此与NAM的模子架构非常相似。两个模子都接纳seq2seq+attention的布局，都是句子层面（sentence-level）的seq2seq，区别在于选择encoder和decoder的模子，NAM模子偏轻易一些，而RAS用了RNN来做。</p><p><strong>编码器</strong>：</p><p>输入句子每个词终极的嵌入是各词的嵌入与各词位置的嵌入之和，颠末一层卷积处置惩罚得到aggregate vector：</p><p></p><div class="img_box" id="id_imagebox_6" onclick=""><div class="content_img_div perview_img_div" style="display: inline-block;"><div align="center"></div></div></div>根据aggregate vector盘算context（encoder的输出）：<p></p><p></p><div class="img_box" id="id_imagebox_7" onclick=""><div class="content_img_div perview_img_div" style="display: inline-block;"><div align="center"></div></div></div><strong>解码器</strong>：<p></p><p>解码器的部门是一个RNNLM，这里的RNN idden Layer利用的是LSTM单位。解码器的输出由下式盘算:</p><p>此中c(t)是encoder的输出，h(t)是RNN隐蔽层，由下式盘算：</p><p>这里隐蔽层的单位有两种思绪，一种是通例的Elman RNN，一种是LSTM。</p><p><strong>天生</strong>：</p><p>RAS的天生部门和NAM一样，也是用beam search天生择要。</p><p>当前 SOTA！平台收录RAS共 1 个模子实现资源。</p><p></p><div class="img_box" id="id_imagebox_8" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页RAS<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/0544ead9-de12-46b0-8fcd-61737f9951af<p></p><p><strong></strong></p><p><strong><b></b></strong></p><p><b><strong>1.3PGN</strong></b></p><p>应用于文本择要天生使命的seq2seq模子存在两个题目：轻易忽略到文本中的细节；轻易不停地重复自身。PGN（常被称为指针天生网络）以两种正交的方式加强了尺度的seq2seq留意力模子。起首，利用一个混淆的指针-天生器（pointer-generator）网络，它可以通过指针从源文本中复制单词，从而有助于正确地复制信息，同时保存通过天生器产生新单词的本领。其次，利用覆盖率来跟踪已概括的内容，制止了重复征象。</p><p></p><div class="img_box" id="id_imagebox_9" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图2. 经典的seq2seq留意力模子<p></p><p>图2为经典的seq2seq留意力模子布局。将文本w_i的token逐一输入编码器（单层双向LSTM），产生一串编码器的隐状态h_i。在每一步t，解码器（单层单向LSTM）吸收前一个词的词嵌入（在练习时，这是参考择要的前一个词；在测试时，这是解码器发出的前一个词），对应解码器状态s_t。</p><p></p><div class="img_box" id="id_imagebox_10" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图3. PGN架构<p></p><p>PGN是图3中基线模子和指针式网络的混淆体，它既可以通过指向复制单词，又可以从固定的词汇中天生单词。与基于 attention 的端到端体系相比，PGN具有以下长处：PGN让从源文本天生单词变得更加轻易。这个网络仅必要将充足多的 attention 会合在相干的单词上，而且让PGN 充足的大；PGN可以复制原文本中的非正式单词，如许我们可以或许处置惩罚那些没出现过的单词，同时也答应我们利用更小规模的词搜集（必要较少的盘算资源和存储空间）；PGN可以或许被更快地练习，尤其是练习的前几个阶段。</p><p>别的，引入Coverage机制办理经典模子的重复性题目。在coverage model中，重要维持coverage vector，是之前全部解码器时间步长的留意力分配总和，也就是某个特定的源词的收敛就是到现在它所受到 attention 的和：</p><p></p><div class="img_box" id="id_imagebox_11" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>此中，c^t 是对源文本单词的分布，它表现到现在为止这些词从留意力机制吸收到的覆盖水平。c_0 是一个零向量，由于在第一个时间步长中，没有覆盖任何源文本。此时，留意力机制为：<p></p><p>此中，w_c是一个与v雷同长度的可学习参数向量。这确保了留意力机制的当前决议（选择下一个关注点）是由其从前的决议（总结为c_t）提示的。</p><p>当前 SOTA！平台收录 PGN 共 3 个模子实现资源。</p><p></p><div class="img_box" id="id_imagebox_12" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页PGN<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/c317f698-b7f3-46d3-abc1-f93c5f5f2b90<p></p><p><strong></strong></p><p><strong><b></b></strong></p><p><b><strong>1.4 Re3Sum</strong></b></p><p>Re3Sum也是seq2seq2的文本择要模子，其特点是使用已有的择要作为软模板（soft template）来引导 seq2seq 模子。详细而言，起首利用信息检索平台（Lucene）从语料中检索符合的择要作为候选模板，然后扩展 seq2seq 框架，使其具有模板排序（reranking）和基于模板天生择要 (rewriting)的功能。</p><p></p><div class="img_box" id="id_imagebox_13" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图4. Re3Sum流程图。虚线表现Retrieve，由于嵌入了一个IR（ Information Retrieval ）体系<p></p><p>如图4所示，Re3Sum模子重要包罗三个模块，Retrieve, Rerank, Rewrite。在天生验证和测试时利用下式表现的得分（最大值）来筛选模板：</p><p><strong>Retrieve模块</strong>：该模块目标是从练习语料中筛选符合的候选模板。如许做的条件是：相似的句子有相似的择要模式。由于语料比力大，凌驾3M，以是接纳IR体系Lucene来有用地创建索引，完成检索。根据输入句子(x)和索引句子的相似性来举行排序召回，得到候选soft template(r)。</p><p></p><div class="img_box" id="id_imagebox_14" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图5. 团结Rerank and Rewrite<p></p><p><strong>Rerank模块</strong>：思量到基于隐状态的匹配网络具有较强的检测两段文本相干性的本领，起首利用 Bidirectional Recurrent Neural Network(BiRNN)来对输入（x ）和soft template（r ）举行编码。利用BiRNN的输出来表现输入大概模板句子，然后利用双线性网络来盘算输入和模板的相干性得分，筛选模板。Bilinear网络在相干性评估方面优于多层前向神经网络。</p><p><strong>Rewrite模块</strong>：由于模板总是包罗比力多的在原文本没有出现的定名实体，以是很难包管soft template可以或许很好的表现输入句子，以是接纳seq2seq模子重新天生更正确可靠，更丰富的择要。将输入和模板的隐状态毗连起来作为天生择要的解码器的输入。</p><p><strong>天生模子</strong>：利用ROUGE得分来权衡soft template 和y*的相似度：</p><p>在练习时，利用上式表现的得分来筛选模板，如许做的目标是在练习是加快收敛，而且在实行中没有什么副作用。</p><p></p><div class="img_box" id="id_imagebox_15" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页Re3Sum<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/13859f1c-16a3-4b81-81f8-f85d078d91f4<p></p><p><strong></strong></p><p><strong><b></b></strong></p><p><b><strong>1.5 MTLSum</strong></b></p><p>MTLSum将文本择要天生作为主使命，将题目天生、蕴含天生作为辅助使命举行多使命学习，属于一种多使命学习模子。<strong>题目天生使命</strong>根据文本天生题目的使命，该使命必要模子有本领辨认文本中的紧张信息，并对此信息举行提问；利用该使命作为辅助使命，资助择要模子更好地把握分辨紧张信息的本领；<strong>蕴含天生使命</strong>根据文本天生逻辑上同等的假设的使命，该使命必要模子天生的内容与文本在逻辑上同等，要求模子学习有逻辑地天生的本领；利用该使命作为辅助使命，资助择要模子在天生文本择要时，学会淘汰无关乃至相反内容的天生。</p><p>利用一个序列-留意力-序列模子，此中有一个2层的双向LSTM-RNN编码器和一个2层的单向LSTM-RNN解码器。x表征输入源文本，y表征输出。以输入源文本为条件的输出择要天生词汇分布是：</p><p>令解码器在时间步长t的隐状态为s_t，c_t为配景向量，界说为编码器隐状态的加权组合。将解码器（末了一个）RNN层的隐状态s_t和上下文向量c_t毗连起来，并应用线性变更，然后通过另一个线性变更投射到词空间。末了，解码器每个时间步长t的条件词分布被界说为：</p><p></p><div class="img_box" id="id_imagebox_16" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>Pointer和Coverage Strategy的布局与PGN完全雷同，不再赘述。<p></p><p></p><div class="img_box" id="id_imagebox_17" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图6. 多使命模子概述，对三个使命举行平行练习：抽象择要天生（SG）、题目天生（QG）和蕴含天生（EG）。在全部三个使命中共享 "蓝色 "表征，即第二层的编码器、留意力参数和第一层的解码器<p></p><p>如图6所示，主使命（SG）和两种辅助使命（QG、EG）接纳雷同的模子布局；三种使命的嵌入层、编码器的第一层息争码器的第二层的布局不共享，编码器的第二层、attention distribution息争码器的第一层的布局共享。模子接纳的共享方式不是hard sharing，即共享的布局利用同一套参数；而是接纳soft sharing，即共享的布局现实上有各自的参数，模子鼓励这些参数在参数空间的分布上趋同，利用L2 loss处罚共享参数间的差别分布；soft sharing使模子具有更大的使命机动性。利用丧失函数如下：</p><p></p><div class="img_box" id="id_imagebox_18" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>此中，第一项是主使命的CE Loss，第二项是卷积loss，第三项和第四项是soft sharing loss，鼓励共享布局的参数分布趋同。<p></p><p>在练习时，先分别在各自的语料上练习三个模子，直至三个模子到达90%的收敛度；然后利用上述的L(θ)举行多使命学习：先练习a个batch的SG使命，再练习b个batch的QG使命，再练习c个batch的EG使命，循环往复直至三个模子都收敛。</p><p></p><div class="img_box" id="id_imagebox_19" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页MTLSum<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/1ee02eca-5042-4709-8bd1-af02d20bd262<p></p><p><strong></strong></p><p><strong><b></b></strong></p><p><b><strong>1.6 KGSum</strong></b></p><p>KGSum提出的baseline是Transformer-XL，相比vanilla Transformer，这种布局可以处置惩罚序列更长的输入，保持分段输入间的语义关系。Transformer-XL为语言建模中的长间隔依靠题目提供了一个有用的办理方案。他们通过重用前面语段的隐状态，将递归概念引入到基于自留意力的模子中，并引入了相对位置编码的头脑，使递归方案成为大概。KGSum将Transformer-XL扩展到基于Transformer架构的编码器-解码器架构。如图7所示，基于Transformer-XL留意力分解，盘算每个多头留意力层的留意力分数。</p><p>KGSum扩展了编码器-解码器的布局，使实体信息可以或许有用地纳入模子中。在编码器一侧，有一个单独的实体留意力通道，与token的留意力通道并行。这两个通道之后是多头token自留意力和多头交织token-entity留意力。在解码器一侧，有多头masked token自留意力，多头masked entity自留意力，以及编码器息争码器之间的多头交织留意力。末了，另有另一层多头token留意力，然后是前馈层和softmax来输出token。</p><p></p><div class="img_box" id="id_imagebox_20" onclick=""><div class="content_img_div perview_img_div"><mg class="lazy opacity_0 " id="img_20" data-original="http://zkres2.myzaker.com/202210/634b821b8e9f096be46cb62b_1024.jpg" data-height="992" data-width="1508" style="width: 820px; height: 539.416px;"></mg></div></div>图7. KGSum模子架构。PE代表位置编码。单个编码器息争码器层在括号中表现。在多层架构中，大括号中的这些层是堆叠的<p></p><p>比力vanilla Transformer和Transformer-XL的留意力分解。下面的公式表现了在同一语段内查询Q_i和关键向量K_j之间的留意力盘算。U矩阵表现绝对位置编码，E矩阵是token嵌入矩阵，W_q和W_k表现查询和关键矩阵。在Transformer-XL留意力表述中，R_(i-j)是没有可练习参数的相对位置编码矩阵：</p><p></p><div class="img_box" id="id_imagebox_21" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>Transformer-XL的架构如下式所示，在第n个Transformer层的一个段τ，SG表现制止梯度，表现毗连：<p></p><p></p><div class="img_box" id="id_imagebox_22" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>在多头留意力层之后，仍旧有全毗连的前馈网络层，以及在层归一化之后的子层四周的残差毗连。为了简朴起见，图7中省略了这些层。从履历上看，与Transformer基线模子相比，Transformer-XL 编码器-解码器架构天生的文本更加连贯。<p></p><p>实体链接器模块利用现成的实体提取器，并将提取的实体与Wikidata知识图谱举行歧义处置惩罚。提取的实体被初始化为预先练习好的维基数据知识图谱实体嵌入，这些实体嵌入是通过TransE学习的。实体转换学习模块利用一系列具有ReLU激活的前馈层。这些模块学习的实体与文本中的相应token处于同一子空间。</p><p></p><div class="img_box" id="id_imagebox_23" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页KGSum<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/686f5a34-89a0-46c2-8270-ab62674c4e3f<p></p><p><strong>1.7 PEGASUS</strong></p><p>与前述模子RNN-based的架构有着根天性的差别，PEGASUS是Transformer-based的。PEGASUS是一个尺度的Transformer架构，在海量文本语料库上用一个新的自监视目的预先练习transformer-based的大型编码器-解码器模子。在PEGASUS中，紧张的句子被从输入文件中移除/屏蔽，并从剩余的句子中一起天生一个输出序列，雷同于提取式择要。</p><p>PEGASUS架构如图8所示：</p><p></p><div class="img_box" id="id_imagebox_24" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图8. PEGASUS架构，尺度的Transformer编码器-解码器。GSG和MLM作为预练习目的同时实用于这个例子。最初有三个句子。此中一个句子被屏蔽，作为目的天生文本（Gap Sentences Generation，GSG）。别的两个句子仍旧保存在输入中，但有些标志被随机屏蔽（Masked Language Model，MLM）<p></p><p><strong>GSG</strong>：</p><p>作者提出了一个新的预练习目的GSG。假设利用一个更靠近卑鄙使命的预练习目的会实现更好更快的微调性能，预练习目的涉及从输入文件中天生雷同于概要的文本。为了使用海量文本语料举行预练习，计划了一个在没有abstactive summaries的环境下的seq2seq的自监视目的。最直观选择是一个预练习的抽取式择要；然而，如许的步伐只能练习一个模子来复制句子，因此不得当于抽象的总结。从文本中选择并屏蔽整个句子，并将空缺句子串联成一个伪择要。每个被选中的空缺句的相应位置都被一个屏蔽标志所代替，以告知模子。空缺句子比率（Gap sentences ratio，GSR）是指被选中的空缺句子数目与文本中的总句子数目之比。为了更近似于择要，选择对文原来说好像很紧张/很重要的句子。由此产生的目的既具有履历上证实的MASK的利益，又预示着卑鄙使命的情势。</p><p>作者思量了从由n个句子构成的文件D中不加更换地选择m个空缺句子的3种重要计谋：</p><p>1）Random。匀称地随机选择m个句子。</p><p>2）Lead。选择前M句。</p><p>3）Principe。根据紧张性选择得分最高的句子。</p><p><strong>MLM</strong>：</p><p>在BERT之后，在输入文本中选择15%的token，被选择的token（1）80%的时间被掩码token 代替，（2）10%的时间被随机token代替，（3）10%的时间没有改变。应用MLM来练习Transformer编码器，作为唯一的预练习目的或与GSG一起练习。</p><p>当前 SOTA！平台收录 PEGASUS共 2 个模子实现资源。</p><p></p><div class="img_box" id="id_imagebox_25" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页PEGASUS<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/161a361b-4102-415e-8f87-d00b9df241fa<p></p><p><strong>1.8FASum</strong></p><p>FASum将知识图谱融入到主动择要的天生中，进步主动择要的究竟正确性。作者在这篇文章中提出了一个究竟感知的文本择要模子FASUM，通过图关注来提取和整合究竟关系到择要天生过程中。别的，作者还计划了一个究竟改正器模子FC，以主动改正由现有体系天生的择要中的究竟错误。</p><p>FASum使用创建在Transformer上的seq2seq架构，编码器产生文本的上下文嵌入，解码器关注编码器的输出以产生择要。为了使择要模子具有fact-aware，从源文本中提取、表征并将知识整合到择要天生过程中。FASUM的团体架构如图9所示。</p><p></p><div class="img_box" id="id_imagebox_26" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图 9. FASUM的模子布局。它在编码器息争码器中都有L层的Transformer块。知识图谱是从信息提取效果中得到的，它到场相识码器的留意力<p></p><p><strong>知识抽取</strong>。为了从文本中提取紧张的实体关系信息，接纳斯坦福OpenIE工具。提取的知识是一个元组的列表。每个元组包罗一个主题（S）、一个关系（R）和一个对象（O），每个都是文本中的一段笔墨。</p><p><strong>知识表征</strong>。构建一个知识图谱来表现从OpenIE中提取的信息。应用Levi转换来同等对待每个实体和关系。具体来说，假设一个元组是（s, r, o），创建节点s、r和o，并添加边s-r和r-o。我们得到一个无向知识图谱G=（V，E），此中每个节点v∈V都与文本t(v)相干联。在练习期间，这个图G是为每个批次（batch）单独构建的，也就是说，没有共享的巨大图。在推理过程中，模子可以担当未见过的实体和关系。然后接纳一个图留意力网络来得到每个节点v_j的嵌入e_j。v_j的初始嵌入是由应用于t(v_j)的双向LSTM的末了隐状态给出的。</p><p><strong>知识融合。</strong>知识图谱的嵌入是与编码器并行得到的。然后，除了对编码器的输出举行典范的交织关注外，每个解码器块也对知识图谱节点的嵌入举行交织关注的盘算：</p><p></p><div class="img_box" id="id_imagebox_27" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div><strong>择要天生。</strong>把解码器的终极输出表征为z_1, ..., z_t。为了天生下一个token y_t+1，接纳线性层W将z_t投射到与字典雷同巨细的向量中。而猜测的y_t+1的分布由以下方式得到：<p></p><p></p><div class="img_box" id="id_imagebox_28" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>在练习过程中，利用交织熵作为丧失函数L(θ)：<p></p><p></p><div class="img_box" id="id_imagebox_29" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>此中y_t是第t个token的one-hot向量，θ代表网络中的参数。<p></p><p><strong>究竟改正器。</strong>为了更好地使用现有的择要体系，作者还提出了一个究竟改正器模子，FC（Fact Corrector），以改善由抽象体系天生的任何择要的究竟同等性。FC将改正过程设定为一个seq2seq题目：给定一个文本和一个候选择要，该模子天生一个改正后的择要，并对其举行最小的修改，使其与文本的究竟更加同等。</p><p>固然FASum在Transformer中有一个图留意力模块，防止直接顺应预练习的模子，但FC模子架构接纳了预练习模子UniLM的计划。从RoBERTa-Large中启动了模子权重。微调过程雷同于练习去噪主动编码器。利用反向翻译和实体交换来天生合成数据。比方，底子真实择要中的一个实体被随机地更换成文本中的另一个雷同范例的实体。这个修改后的择要和文本被送到更正器，以规复原始择要。在推理过程中，来自任何抽象概括体系的候选择要与文本串联起来，并发送给FC，由FC产生更正后的择要。</p><p>当前 SOTA！平台收录 FASum共 1 个模子实现资源。</p><p></p><div class="img_box" id="id_imagebox_30" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页FASum<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/f07ad4a0-8360-40e2-bcaa-2c820116150e<p></p><p><b><strong>二、压缩式模子</strong></b></p><p><b><strong>2.1 RNN（ext） + ABS + RL + Rerank</strong></b></p><p><strong></strong></p><p></p><p>前两部门分别先容了抽取式模子和天生式模子，另有一类方法的思绪是联合二者的上风：利用抽取式方法先得到包罗重要信息的相干语句，从而减小重写过程中所需关注的信息量；另一方面，重写过程可以在关注重要信息的同时，用天生式模子以一种更加流通的方式对文本举行形貌（RNN ext+abs）。不外，二者结适时还会碰到题目：两部门的练习由于无法直接通报梯度信息，并不能直接举行端到端的练习。我们在这一章节中先容的模子利用了强化学习（RL）来办理这个题目，将抽取模子看做agent，把抽取的句子举行重写后的效果和真实择要举行比力，将比力的效果看做是一种嘉奖，从而举行前一部门的更新。而重写模子依然可以利用最小化负对数似然的方式举行练习，如许强化学习就为两部门模子的练习搭建起了一个桥梁。别的，为了办理末了效果中大概存在的跨句重复的题目，这里又利用了一个额外的reranker。</p><p></p><div class="img_box" id="id_imagebox_31" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图10. 抽取agent：卷积编码器为每个句子盘算表征r_j。RNN编码器（蓝色）盘算上下文感知表征h_j，然后RNN解码器（绿色）在时间步调t选择句子j_t<p></p><p>假设练习集由文本-择要的配对数据{ x_i , y_i } 构成，抽取模子的目标是找到一个函数h(x_i) = y_i ，重写模子盼望找到一个函数g ( d ) = s 。抽取模子如图10所示，它接纳了一种条理化的方法来举行句子的选择：起首通过卷积网络得到文本中每个句子的初始表征向量r_j ，然后在利用bidirectional LSTM-RNN 在联合全局信息的底子上得到每个句子的表征h_i。h_i思量到了同一文本中全部先前和将来句子的上下文。</p><p>在得到文本中每个句子的表征后，为了在上述句子表征的底子上选择提取的句子，增长一个LSTM-RNN来练习一个指针网络 ，来反复提取句子。通过以下方式盘算提取概率利用指针网络来举行句子的选择，每个句子被选择的概率为：</p><p></p><div class="img_box" id="id_imagebox_32" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div>/div&gt;</div>此中e_t是glimpse操纵的输出：<p></p><p></p><div class="img_box" id="id_imagebox_33" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>在公式（3）中，z_t是增长的LSTMRN的输出（图10中绿色表现），它被称为解码器。全部的W's和v's都是可练习的参数。在每个时间步长t，解码器实行一个两跳的留意力机制：它起首关注h_j的，以得到一个上下文向量e_t，然后再次关注h_j的，以得到提取概率。这个模子实质上是在每个提取步长中对文本的全部句子举行分类。整个抽取模子的图示见图10。<p></p><p>择要器网络近似于g，它将提取的文本句子压缩并转述为一个简便的择要句。这里利用的是尺度的编码器-对齐器-解码器（encoder-aligner-decoder），别的增长了copy机制，以资助直接复制一些词汇外（outof-vocabulary，OOV）的单词。</p><p></p><div class="img_box" id="id_imagebox_34" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图11. extractor的RL练习（针对一个extractor步调）及其与abstractor的互动。为了简朴起见，没有表现critic network。全部的d's和s_t都是原始句子，而不是矢量表征<p></p><p>为了将两部门整合起来举行团结练习，作者接纳强化学习的方法举行练习，如图11。起首Extractor根据当前的嘉奖值会决定抽取哪些句子给Abstractor，然后Abstractor根据抽取的句子举行重写，将重写后的效果和真实择要举行比力，此时比力的效果作为下一时候的嘉奖值用于Extractor的更新。但模子团体上很依靠于两部门各自的结果，假如抽取部门得到的句子是相干性很差的，那么纵然重写模子本领再强得到的效果也是无用的。因此，两部门各自通过最大化似然来举行练习，同时利用强化学习使得两部门可以接纳端到端的方式举行练习。</p><p>利用ML目的分别优化每个子模块：练习extractor以选择salient sentences （适配f），练习Abstractor以天生简短的择要（适配g）。末了，应用RL来练习端到端的完备模子（适配h）。Extractor部门，可以看做是简朴的二分类题目，即某个句子是否应该做为抽取的效果。但是数据会合并不存在针对于文本中句子的标签，因此这里将句子和文本对应择要的ROUGE-L分数作为对应的标签，末了通过优化交织熵丧失函数举行练习：</p><p>Abstractor部门，通过优化交织熵丧失函数举行练习：</p><p></p><div class="img_box" id="id_imagebox_35" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>强化学习部门将团体看作是马尔可夫决议过程（Markov Decision Process ，MDP），t时候的状态为c_t，所接纳的动作为j_t，则下一时候的嘉奖值即天生的择要和真实择要比力的ROUGE分数：<p></p><p></p><div class="img_box" id="id_imagebox_36" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>利用A2C(Advantage Actor-Critic )算法举行计谋梯度更新。别的，由于强化学习练习过程并不涉及重写部门的练习，因此并不会影响得到的择要的流通性和可读性。在动作空间中参加了stop操纵，它和句子的表征具有雷同的维度，当抽取到v_EOE（stop对应的表征向量）时，模子所提供的嘉奖值为零，表现练习制止。末了为了尽大概得到冗余度小的效果，作者利用一种重排机制来消除跨句（across-sentence）的重复题目。rerank的根本头脑为：beam search保存全部候选择要，将解码得到的k个句子举行重排，重排的依据是重复的N-grams的数目，数目越小，表现得到的效果越好。<p></p><p>假如extractor选择了一个好的句子，在Abstractor重写之后，ROUGE的匹配度会很高，因此鼓励这种举动。假如选择了一个欠好的句子，只管Abstractor仍旧天生了它的压缩版本，但择要将不符合ground-truth，而低的ROUGE分数也不鼓励这种举措。RL与sentence-level的agent是神经择要方面的一个新实验：利用RL作为saliency guide，而不改变abstractor的语言模子，而从前的工作是在word-level上应用RL，这大概会以语言流通性为代价来博弈天生效果。</p><p>本文提出了新奇的基于RL 的sentence-level的文本择要天生模子，到达了state-of-art的结果，通过先抽取再天生的方式，加速了练习和测试解码速率，同时引入RL将抽取和天生团结起来，构成了一个团体的端到端模子而不是一个pipline体系。</p><p>当前 SOTA！平台收录 RNN（ext） + ABS + RL + Rerank共 1 个模子实现资源。</p><p></p><div class="img_box" id="id_imagebox_37" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页RNN（ext） + ABS + RL + Rerank<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/bb9e36ba-3f90-43d2-a98c-d41e5adfe870<p></p><p><strong></strong></p><p><strong><b></b></strong></p><p><b><strong>2.2BottleSUM</strong></b></p><p>信息瓶颈（Information Bottleneck，IB）的原则是产生一个优化的信息X的择要，以猜测其他一些相干信息Y。作者通过将信息瓶颈原则映射到条件语言建模目的，提出了一种新的无监视择要天生方法：给定一个句子，找到一个能最好地猜测下一个句子的压缩句。迭代算法在IB目的下，渐渐搜刮给定句子的较短子句，同时使下一句话的概率在择要的条件下到达最大。该方法只利用预练习的语言模子，没有直接的监视，可以在大型语料库中有用地举行抽取式句子择要天生。</p><p>本文共提出了两个模子：1）BottleSumEx：一种使用预练习语言模子的抽取方法。2）BottleSumSelf：一种自监视的抽象式择要方法，使用BottleSumEx来天生样本。</p><p></p><div class="img_box" id="id_imagebox_38" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>图12. 对比主动编码器（Autoencoder，AE）和信息瓶颈（ Information Bottleneck，IB）择要方法示例。AE（顶部）保存了任何有助于重修原始内容的细节，比方本例中的生齿规模，而IB（底部）则利用上下文来确定哪些信息是相干的，从而天生一个更符合的择要<p></p><p><strong>extractive阶段</strong>。起首先容基于IB头脑的无监视抽取方法BottleSumEx。从方法本质来说，相称于是对文本原句举行压缩，利用下一个句子s_next作为相干性变量来处置惩罚summarize一个单句s的使命。该方法将是一个确定的函数，将s映射到择要s~，以是不学习择要的分布，而是对我们得出的择要取p(s~|s) = 1。优化下式：</p><p>β1 &gt; 0控制保存相干信息和修剪之间的tradeoff。前一项鼓励修剪，而后一项鼓励关于相干性变量的信息，即s_next。式中p(~ s)和p(s_next|s~) 都可以直接由预练习语言模子来估计。论文中表现在语法通顺的底子上，择要文本长度要比原文短。然而语法通顺这个东西无法量化，因此做了一个折中办法：起首包管择要长度短于原文，至于语法通顺则是只管到达。</p><p>优化算法的详细流程见Algorithm 1。相干性以两种方式举行优化：起首，只利用每种长度的最高分择要来天生新的、更短的择要（第5行）。第二，末了的择要是由这个指标明白选择的（第12行）。为了满意第二个条件，每个候选者必须比派生它的候选者包罗更少的自大息（即有更高的概率）。这就包管了每个删除（第9行）都是严酷地删除了信息。该算法有两个参数：m是产生新的择要候选词时要删除的最大一连词数（第9行），k是用于通过删除产生较短候选词的每个长度的候选词数（第5行）。</p><p></p><div class="img_box" id="id_imagebox_39" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>通过上述方法，可以天生一系列压缩式的择要。这些择要实在已经可以作为择要输出了。但是，为了天生完全的天生式择要，则必要举行下一阶段的工作。进一步的，使用一种直接的自监视技能，将BottleSumEx扩展到abstractive summarization（BottleSumSelf），即，利用一个强盛的语言模子用BottleSumEx天生一个无监视择要的大型语料库，然后调解同一语言模子，从该数据集的源句子中天生择要。BottleSumSelf的目的是以BottleSumEx为引导，学习通过IB表达的信息相干性概念，其方式是：(a)去除提取性的限定，以天生更天然的输出；(b)学习一个明白的压缩函数，不必要下一句话的解码。<p></p><p>BottleSumSelf的第一步是利用BottleSumEx方法制作一个大规模的数据集用于自监视。对输入语料的唯一要求是，必要有下一个句子。然后实行abstractive阶段。</p><p><strong>abstractive阶段</strong>。择要天生重要是利用了GPT-2预练习语言模子，基于extractive阶段得到的择要句（同样是使用GPT-2），完成文本天生使命。详细来说，先用GPT-2模子在第一阶段中得到一些不错的择要句。在第二阶段，直接利用GPT-2做finetune，输入利用原文本语句，练习的目的则是第一阶段的择要句。在inference阶段，利用一个尺度的beam search解码器，在每次迭代中保存最紧张的候选者。</p><p>当前 SOTA！平台收录 BottleSum 共 1 个模子实现资源。</p><p></p><div class="img_box" id="id_imagebox_40" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div>模子SOTA！平台模子详情页BottleSum<br>前去 SOTA！模子平台获取实现资源：https://sota.jiqizhixin.com/models/models/88b14617-ab92-4626-a2c8-81fd9aa0720d<p></p><p>前去 SOTA！模子资源站（sota.jiqizhixin.com）即可获取本文中包罗的模子实当代码、预练习模子及API等资源。</p><p><strong>网页端访问：</strong>在欣赏器地点栏输入新版站点地点<strong>sota.jiqizhixin.com</strong>，即可前去「SOTA！模子」平台，检察关注的模子是否有新资源收录。</p><p><strong>移动端访问：</strong>在微信移动端中搜刮服务号名称<strong>「呆板之心SOTA模子」</strong>或 ID<strong>「sotaai」</strong>，关注 SOTA！模子服务号，即可通过服务号底部菜单栏利用平台功能，更有最新AI技能、开辟资源及社区动态定期推送。</p><p></p><div class="img_box" id="id_imagebox_41" onclick=""><div class="content_img_div perview_img_div"><div align="center"></div></div></div><p></p><div id="recommend_bottom"></div><div id="article_bottom"></div></div></div>
<div class="from">
</div>
<div class="extension-group">
一起剪
一起剪

ZAKER旗下免费视频剪辑工具
聪明云
聪明云

ZAKER旗下新媒体协同创作平台
</div>
<div class="label-wrapclearfix">
<div class="label">相干标签</div>
<div class="lebel-list">
结果神经网络词汇语法翻译
</div>
</div>
<div id="wap-footer-ad"></div>
<div class="bottom-wrap">
<div class="bottom-inner">
<div class="mod_relate">
<h2 class="block-title">相干阅读</h2>
<div class="relate-wrap" id="relateList" style="visibility: visible;">


<div class="swiper-container relate-inner">
<div class="swiper-wrapper" style="width: 4100px; height: 185px;">
<div class="swiper-slide content-block swiper-slide-visible swiper-slide-active" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">3小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block swiper-slide-visible" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">17小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block swiper-slide-visible" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">17小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">17小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">昨天</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">18小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">19小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">2小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">21小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">20小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">20小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">21小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">20小时前</span>
</div>
</div>
</div>
</div><div class="swiper-slide content-block" style="width: 273.333px; height: 185px;">
<div class="article-wrap">
<div class="article-content">

<div class="article-footer">

<span class="article-time">昨天</span>
</div>
</div>
</div>
</div>
<div class="swiper-slide content-block" style="width: 273.333px; height: 185px;"></div></div>
<div class="swiper-pagination"><span class="swiper-pagination-switch swiper-active-switch"></span><span class="swiper-pagination-switch"></span><span class="swiper-pagination-switch"></span><span class="swiper-pagination-switch"></span><span class="swiper-pagination-switch"></span></div>
</div>
</div>
</div>
<h2 class="block-title">最新批评</h2>
<div class="comment_list_wrapper">
<div class="comment_list" id="commentListWrapper"></div>
<div class="comment_list_loading"><span>没有更多批评了</span></div>
<div class="comment_list_empty" style="display:block">
<div></div>
</div>
</div>
</div>
</div>
页: [1]
查看完整版本: NAM、RAS、MTLSum、BottleSUM …你都把握了吗？一文总结文本择要必备经典模 ...