"MULTI-AGENT COOPERATION AND THE EMERGENCE OF (NATURAL) LANGUAGE" について読んでみた.

久々の更新

論文紹介する機会があったのでついでにその論文についてブログで整理したいと思います.
紹介するのはICLR2017で発表された [1612.07182] Multi-Agent Cooperation and the Emergence of (Natural) Language です.
この研究分野は, Google DeepMindやFacebook AI Research 等多くの研究所や大学がここ数ヶ月立て続けにマルチエージェントによる記号創発?の研究成果を発表しています.

はじめに

AIの主目的の一つに他のAIと協力して目的を達成するエージェントの開発というのがある.
今回紹介する研究では"sender"とreceiver"という二つのエージェントを用意して画像当てゲームを行い, 協力する過程でエージェント間のコミュニケーション(sender→receiver)の記号と共通の概念の獲得を試みる. 創発された信号(記号)自体は人間にはわからない.

背景

そもそも現在, 機械学習は機械翻訳やQA,感情分析などの自然言語処理タスクにおいて大規模なコーパスを統計的に取り組むことによって大幅に進歩した. だけど人間がAIと知的にコミュニケーションをする点において統計的パターンにおける学習のみでは不十分だよね.
つまり人間だって母国語を文字のみから現在,使えるようになってないだろ?的な感じのスタンス

手法

本実験で用いる画像当てゲームの概要、エージェントの説明、ゲームの流れ(学習手順)を説明します.

画像当てゲームについて

画像当てを伝言するゲーム

・送信者は二枚の画像と二枚のうちのTarget(左右どちらか)という情報を入力とし信号を出力する.
・受信者は二枚の画像と信号を入力としTargetが二枚の画像のどちらか当てる.

“sender"と"receiver"について

senderは全結合層モデルとinformed model(畳み込み層モデル)の2モデルを用いる.
senderとreceiverのモデルは下記に示す.

画像に対して前処理としてVGG16を用いるが, この際にVGG16のsoftmax層(sm)を用いるパターンとその前の全結合層(fc)を用いるパターンで実験を行なった.

学習の流れ

1. データセットから適当に二枚の画像を選択する.ターゲット t ∈ {L,R} とする.
2. senderは入力 からボキャブラリVから一つシンボルを選択する.
3. receiverはシンボルからターゲットを当てる.
   
4. Targetとrが一致すれば報酬+1,不一致なら報酬=0を与える.

データセットはMcRae et al’s (2005)

詳細: 20の大きいカテゴリ(動物,果実,乗り物,…etc)
・463の具体的概念(猫,りんご,車,…,)

★学習手法に強化学習を用いているのですがその部分について記述されていないため具体的にどう実験したかが不明.
(もしかしたら, 関連研究には詳細書いてあるのかもしれない… )

結果

senderがどちらのモデルでもsender-reciever間での画像当てゲームの正解率は99%となった.
結果 senderが畳み込みモデル(informed)の方が用いた信号数が多かった. 逆に全結合(agnostic)は用いて良い信号の上限数を決めた場合でも2つしか信号を用いなかった.

また画像当てゲームの際にsenderとrecieverで同じカテゴリで別の画像を与える実験も行なった.
この実験を行う目的としてより抽象的な概念を獲得できるのか?

その際の結果が以下になる.

なぜsmでなくfcの場合しか検証しなかったのか不明. 初めの実験における同一条件比べるとused-symbolやpurityが向上していることがわかる.
また, シンボルごとのラベルを可視化した結果の一部分が下記図である.
左が一番初めの実験での各シンボルごとのカテゴリで右が受信者と送信者で概念が共通の別画像で行った実験での各シンボルごとのカテゴリ

この結果, 左ではairplaneやbike , ambulanceが別シンボルであったが右では同一のシンボル(車)となったことがわかった.

結論

単純なニューラルネットで画像当てゲームにおいて
エージェント間の協調できることがわかった.
協調とは明確には正しくないかもしれない. エージェント間の共通の概念?信号の意味理解ができたってことでいいのかな.

感想

こういう論文は実は読んだことがなかったので勉強になった.
今回紹介した論文はICLR2017で発表された論文なのですが,そのワークショップで発表された論文に方が手法が明確に詳細に書かれているためこちらの方が良かったのかもしれない. こちらの手法は今回消化した論文とは別の手法を用いている. この論文も'sender'と'receiver'の二つのエージェントが画像参照ゲームを行う.
[1705.11192] Emergence of Language with Multi-agent Games: Learning to Communicate with Sequences of Symbols

おわりに

再現実験するならば[1705.11192] Emergence of Language with Multi-agent Games: Learning to Communicate with Sequences of Symbolsの方が良い感じ?

また, この論文の関連研究を調べている際に言語獲得/言語創発というキーワードから「記号創発ロボティクス」にも興味を持った.

自らの認知に閉じた実世界の経験と他者との対話に基づき言語を獲得し, 言語的コミュニケーションを通じて他者と協調しうる人工システムを創造することが、人間理解を深めるために「記号創発ロボティクス」という研究分野に課せられた使命なのである.(記号創発ロボティクス 41p)

記号創発ロボティクス 知能のメカニズム入門 (講談社選書メチエ)

この研究は記号創発とは違うような気がする.
調べてて思ったのが記号創発の分野って海外でもやってるんだろうけど検索キーワードがわからん…

関連研究/参考

• [1703.06585] Learning Cooperative Visual Dialog Agents with Deep Reinforcement Learning
• [1611.03218] Learning to Play Guess Who? and Inventing a Grounded Language as a Consequence
• 人工知能は「機械同士で会話する」独自の言語を覚え始めている｜WIRED.jp

• [DL輪読会]Multi-Agent Cooperation and the Emergence of (Natural) Language

  空白の期間に色々あったのでそのあたりまとめて.. あとまたブログを書いていきたい.