SSSSLIDE

Fast Abstractive Summarization with
Reinforce-Selected Sentence Rewriting
電通国際情報サービス
(ISID)
三浦泰嗣
0

自己紹介
• 三浦泰嗣(Miura Yasuhide)
• 電通国際情報サービス開発技術部新領域研究Gr
• Twitter/GitHub: ymym3412
• 自然言語処理万事屋として生きる日々
※株式会社アラヤさんとマグロを数えている会社です
1
COPYRIGHT 2017 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.

こんなことやってます
ACLの全論文サマリ気軽にContribution!
GitHub: ymym3412/acl-papers
2

【宣伝】
3

本編
4

まとめ
• 文書要約を行うDeep Learningモデル
• 文章から文の抽出を行い、それを書き直す形で要約を生成する
「Extract-Then-Rewrite」手法
• Maximum-Likelihood TrainingとA2Cによる強化学習を組み合わせた学
習手法
• CNN/Daily Mail DatasetなどでPointer Generator, Reinforced Model
を抑えてState-of-the-Art
5

文書要約(Document Summarization)
• 文書中から重要な情報を拾ってきてまとめあげたい
• Extractive(抽出型)とAbstractive(生成型)のアプローチが存在する
※Google AI Blogより https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html
6

抽出型要約(Extractive Summarization)
• 原文中の表現を使って要約を生成する
• 長い歴史
• 近年はニューラルネットを使った手法も
[Nallapati et al. 2017]
7
[Erkan and Radev, 2004)]

生成型要約(Abstractive Summarization)
• 原文中の表現以外も使って要約を生成する
•
大雑把に言うとExtractive以外
• 近年のDeep Learningブームで盛んに研究されている
• 今回のテーマ
[Nallapati+ 2016]
[See et al., 2017)]
[Paulus et al., 2018)]
8

近年のDLベースの生成型要約モデル
• Attention Based Summarization[Rush et al. 2015]
• Attention + ニューラル言語モデル
• Seq2Seq + Attention[Nallapati et al. 2016]
• Seq2Seq + Attention
• Pointer Generator[See et al. 2017]
• Copy Mechanism + Coverage Mechanism
• Reinforced Model[Paulus et al. 2018]
• Intra Attention + Reinforcement Learning
9

Deep Learningベーステキスト生成につきまとう課題
1. Repetition
•
Decode時に同じ単語を繰り返してしまう
2. Out-of-Vocabulary(OOV)
•
学習データに存在しない単語をDecodeできない
3. Non-differentiable
•
微分不可能な処理を挟むと学習できない
10

Repetition
RNNで長いテキストを生成する際に、既に出力した単語(あるいはフレー
Coverage Mechanism
ズ)を再度生成してしまう問題
時刻t’の
Attention分布
同じ単語を選ぶ
(次元iの値が大きくなる)と
covloss↑
同じフレーズが生成されてしまっている！
Intra-Attention
対策: Coverage MechanismやIntra-Attention
DecoderにもAttentionをかけContext Vectorを得る 11

Out-of-Vocabulary(OOV)
学習データにない単語やUNKトークンに置き換えられた低頻度語を、Test
時にDecodeできない問題
低頻度語は学習データ内でUNKに置き換えられ
てしまうため、Decodeできない
対策: Copy Mechanism[Merity et al. 2016][Gu et al. 2016]
(Decode時に入力単語をCopyして生成)
⇒以前Qiitaに記事を書いたので詳しくはこちら: Seq2Seq+Attentionのその先へ
https://qiita.com/ymym3412/items/c84e6254de89c9952c55
12

Non-differentiable
損失関数の計算に微分不可能な処理を挟むと、Back Propagationによる学
習を行えない
⇒微分不可能な処理とは？
例1: KB対話
例2: 評価指標の直接最適化
対策: 強化学習[Chen et al. 2017]やMinimum Risk Training[Cheng et al. 2016]
13

提案手法
14

提案モデルの概要
• 生成型要約モデル(抽出型要約もできるよ！)
• Extract-Then-Rewriteの方式で要約を生成する
• ExtractとAbstractに分けるアプローチは最近見る
•
A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss[Hsu et al.
2018] ACL2018
• Generating Wikipedia by Summarizing Long Sequences[Liu et al. 2018] ICLR2018
• 抽出を行うExtractorとRewriteを行うAbstractor
15

Extract-Then-Rewrite?
• 人間が要約を作るときの流れを参考に
•
文章の重要な箇所にあたりをつけてから、それらをまとめて要約を作る
• 文章中の重要な文を抽出し、それを書き直すことで生成型要約を作る
Extract
Rewrite
16

Extract
• Extractorモデルが担当
• Temporal Convolution Model[Kim, 2014]で文を特徴ベクトルに変換
• Bi-LSTMで文脈を考慮した文の表現に変換
• Pointer Network[Vinyals et al. 2015]で入力にAttentionをかけて文を抽出
17

Rewrite
• Abstractorモデルが担当
• Extractorが抽出した文を受け取り要約を作る
• Seq2Seqモデル + Attention
• Copy Mechanismを使うことで未知語を回避(OOVの緩和)
たぶん構造は
Copy Mechanism
これに近い
親の顔より見た
Seq2Seq + Attention
18

Training
• Maximum-Likelihood TrainingとReinforcement Learningの2段階
• 最初からE2EだとExtractorが貧弱なうちはAbstractorの学習が滞る
• Maximum-Likelihood TrainingはExtractor, Abstractorそれぞれを
MLEを使って教師あり学習
• ⇒教師ラベルは？
• ⇒⇒proxy target label[Nallapati et al. 2017]
文書の
生成型要約の
i番目の文
t番目の文
19

Training
• Extractorによる文の選択処理が微分不可
• 評価指標ROUGEを報酬とした強化学習でモデル全体の学習を行う
• ただしRLの学習ではAbstractorのパラメータはfix
• REINFORCE[Williams, 1992]は勾配の分散が大きいためA2Cを採用する
• AgentはExtractor
• 報酬はGround truth summaryとのROUGE-LF1
• CriticとしてPointer NetのDecoder
• 出力は状態価値関数
20

(ちょっと復習)強化学習
•
エージェントが文を抽出(行動 at)し、それをAbstractorがRewriteし、GT summaryとの
ROUGEから報酬Rtを得る
•
環境(文書)からt-1に抽出した文を状態st(論文中ではct)として観測する
•
方策 = Extractor
※ゼロから始める強化学習より https://www.slideshare.net/pfi/nlp2018-introduction-of-deep-reinforcement-learning
21

REINFORCEアルゴリズムによる方策勾配法
• 方策: Extractorのパラメータ更新式
t-1に抽出した文がctで
tに抽出した文がjtのときのROUGE値の期待
値
Extractorがjtを抽出したときの対数尤度
• 行動価値関数Q(c,j)を即時報酬Rtで近似するのがREINFORCE
• 今回は初めからQ(c,j)を報酬の期待値として定義してしまっている
• しかしREINFORCEは勾配の分散が大きい
22

A2CアルゴリズムによるExtractorの学習
• REINFORCEでは勾配の計算時にベースラインを導入できる
• ベースラインとして学習可能なCriticを使い勾配の分散を小さくする
• Criticは状態がcのときの報酬を推定する
※ はCriticの予想した値
• Advantage関数を用いると、最終的な勾配は以下の式になる
Advantage学習では、
行動価値関数Qの更新に
数step先の報酬も考慮する
23

提案モデルと課題への対策
1. Repetition
•
⇒Extractorが重複を排除して抽出。またBeam Search時にN-gram重複を避けるように
Reranking
2. Out-of-Vocabulary(OOV)
•
⇒AbstractorへのCopy Mechanismの導入
3. Non-differentiable
•
⇒Extractorでの抽出の微分不可能性について、強化学習の導入で対応
24

実験
25

CNN/Daily Mail Datasetでの実験
• Extractive/Abstractive 両セッティングで実験
• 両セッティングでState-of-the-Art
26

Pointer-GeneratorとのABテストのAbstractiveness
• Pointer-Generatorとの人手でのABテスト
• Relevanceで差はついたが、Readabilityは大差なし
• 出来上がる要約のAbstractivenessの計測
• 2~4gramの範囲で大きな改善
• とはいえ単語の刈り取りをすれば2-gram~は上昇する(はず)
27

計算時間の比較
• Abstractorによる要約生成は複数の抽出文に依存していないため、抽出
した文から要約を生成する部分を並列化可能！
• こんな感じに並列化できる(右図)
• 最大で24倍の高速化に成功
28

まとめ
• 生成型要約を行うExtract-Then-Rewriteモデルの提案
• 近年の潮流をよく押さえている
• 微分不可能な抽出処理に対してA2Cによる強化学習を導入
• 生成された要約を見ると「Rewrite」というより「Compress」
• 論文中でもcompressと述べられている
• Abstractorに改良の余地？
• Extract-Then-Abstractモデルは今後の生成型要約手法のトレンドにな
るかもしれない
29

参考文献
•
Text summarization with TensorFlow: https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html
•
Gunes Erkan, Dragomir R. Radev. 2004: LexRank: Graph-based Lexical Centrality as Salience in Text Summarization :
https://www.aaai.org/Papers/JAIR/Vol22/JAIR-2214.pdf
•
Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. 2017: SummaRuNNer: A Recurrent Neural Network based Sequence Model for
Extractive Summarization of Documents: https://arxiv.org/pdf/1611.04230.pdf
•
Romain Paulus, Caiming Xiong, and Richard Socher. 2018: A Deep Reinforced Model for Abstractive Summarization:
https://arxiv.org/abs/1705.04304
•
Abigail See, Peter J. Liu, and Christopher D. Manning. 2017: Get To The Point: Summarization with Pointer-Generator Networks:
•
Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, C¸ aglar Gulc¸ehre, and Bing Xiang. 2016: Abstractive Text Summarization Using
Sequence-to-Sequence RNNs and Beyond: https://arxiv.org/abs/1602.06023
•
Alexander M. Rush, Sumit Chopra, and Jason Weston. 2015: A Neural Attention Model for Abstractive Sentence Summarization:
•
Seq2Seq+Attentionのその先へ: https://qiita.com/ymym3412/items/c84e6254de89c9952c55
•
Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. 2016: Pointer Sentinel Mixture Models:
•
Jiatao Gu, Zhengdong Lu, Hang Li, and Victor OK Li. 2016: Incorporating Copying Mechanism in Sequence-to-Sequence Learning:
30

参考文献
• Shiqi Shen, Yong Cheng, Zhongjun He, Wei He, Hua Wu, Maosong Sun, Yang Liu. 2015: Minimum Risk Training for Neural Machine
Translation: https://arxiv.org/abs/1512.02433
• 大自然言語時代のための、文章要約: https://qiita.com/icoxfog417/items/d06651db10e27220c819
• Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, Min Sun. 2018:A Unified Model for Extractive and Abstractive
Summarization using Inconsistency Loss: https://arxiv.org/abs/1805.06266v1
• Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, Noam Shazeer. 2018:Generating Wikipedia by
Summarizing Long Sequences: https://arxiv.org/abs/1801.10198
• Yoon Kim. 2014: Convolutional Neural Networks for Sentence Classification: https://arxiv.org/abs/1408.5882
• Oriol Vinyals, Meire Fortunato, and Navdeep Jaitly. 2015: Pointer Networks: https://arxiv.org/abs/1506.03134
• ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning: https://www.slideshare.net/pfi/nlp2018-
introduction-of-deep-reinforcement-learning
• Ronald J. Williams. 1992: Simple statistical gradientfollowing algorithms for connectionist reinforcement learning: http://www-
anw.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf
• Sequence Level Training with Recurrent Neural Networks （関東CV勉強会強化学習論文読み会）:
https://www.slideshare.net/YoshitakaUshiku/sequence-level-training-with-recurrent-neural-networks-cv
• これからの強化学習: http://www.morikita.co.jp/books/book/3034
• つくりながら学ぶ！深層強化学習 PyTorchによる実践プログラミング: https://book.mynavi.jp/manatee/books/detail/id=91985
• Yen-Chun Chen, Mohit Bansal: Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting:
https://arxiv.org/abs/1805.11080v1
31

APPENDIX
32

モデルによる要約
33

SSSSLIDE

Fast abstractive summarization with reinforce selected sentence rewriting

Yasuhide Miura さんの他のスライド

関連するスライド

このスライドの内容

SSSSLIDE