感情分析AI「ML-Ask」をPythonで検証|10種類の感情を3行で抽出
AI/Tech

感情分析AI「ML-Ask」をPythonで検証|10種類の感情を3行で抽出

ML-Askは、テキストから喜・怒・哀など10種類の感情を抽出するPythonの無料ライブラリ。3行のコードで動かし、ツイートを分析して実用性を検証しました。

文:(株式会社ガーオン 代表取締役)

SHARE

主なポイント

ML-Askは「喜・怒・昂・哀・好・怖・安・厭・驚・恥」の10種類の感情をテキストから抽出できるPython無料ライブラリです。朝日新聞のコロナツイート分析記事にも使用されており、事前にMeCabを導入すれば3行のコードで実行できます。感情表現辞典とラッセルの2次元感情モデルに基づいています。

ML-Askは、テキストから「喜・怒・昂・哀・好・怖・安・厭・驚・恥」の10種類の感情を抽出できる感情分析ライブラリで、Pythonから無料で使えます。

本日、朝日新聞デジタルにTwitterの分析記事が掲載されていました。

コロナツイート3億件を分析 「人災」10万超える日も

当ブログではこれまでにTwitterやヤフーニュースなどの口コミ分析として、AmazonやGoogleの学習済みモデルを使った自然言語処理を試してみました。

Amazonの人工知能を使ってSNS等の口コミを感情分析する方法

「10万再給付ない」麻生大臣発言で大炎上した2万超のヤフトピコメントをAI解析する

今回は、上記朝日新聞の記事にも使われている「ML-Ask」という感情分析モデルを実際に使ってみて検証していきたいと思います。

ML-Askとは

RUSSELLの感情円環モデル:覚醒-非覚醒と肯定-否定の2軸で10種類の感情を分類した図

ML-Askは、 感情表現辞典 やラッセルの2次元感情モデルなどを使い、入力したテキストデータから「喜・怒・昂・哀・好・怖・安・厭・驚・恥」の10種類の感情を抽出するというモデルということです。

Michal Ptaszynski / Research

This is a homepage of Michal Ptaszynski

arakilab.media.eng.hokudai.ac.jp

Pythonの無料ライブラリの一つにもなっており、事前にMeCabを導入すれば、下記3行のシンプルなコードで実行することが可能です。

$pip install pymlask

from mlask import MLAsk
emotion_analyzer = MLAsk()
emotion_analyzer.analyze("text")

朝日新聞の記事では、2回発令された緊急事態宣言の前後2週間を対象に全量ツイートをML-Askで分析したそうです(実際に分析したのはJX通信社)。

朝日新聞の記事では8万件のデータを対象にしたそうですが、今回は試しに同時期にランダムで抽出した1,000件のTwitterデータをそれぞれML-Askで分析してみたいと思います。

朝日新聞の記事ではリツイートデータが含まれている可能性が高いですが、今回はリツイートデータやメンションデータは全て除いた形で抽出しています。

ツイートを分析

まず対象ワードを含む全体のTwitter投稿数を確認してみます。

コロナツイート投稿数推移(2020/1~2021/2)3億708万件、2020/3/30ピーク約345万件

対象ワードの全体の投稿数は、志村けんさんのニュースが流れた2020/3/30にピークを迎え、その後小ピークを2020/8と2021/1頃に確認でき、全体的には減少傾向にあります。

ML-Askで感情を抽出

続いて朝日新聞の記事にもある、2回の緊急事態宣言の前後2週間のTwitterデータをそれぞれML-Askで分析した結果が下記です。

2020/4~2020/5と2021/1~2021/3の緊急事態宣言前後における感情分析結果の比較表。「嫌」「喜」「怖」「怒」など10種類の感情ワードの宣言前1W・宣言後1W・増減を表示。

こちらをグラフ化したのが下記です。

第1回・第2回緊急事態宣言前後のTwitter感情分析結果、喜び・嫌悪・恐怖などの割合を比較したグラフ

1回目の緊急事態宣言では、宣言後で「嫌」が増加し、「喜」「怖」が減少傾向にあります。

2回目の緊急事態宣言では、こちらも宣言後で「嫌」が増加し「喜」が減少する一方、「怖」は増加する傾向が見て取れます。また1回目と異なり「怒」が増えているのも特徴です。

朝日新聞の記事では、

1回目の宣言時は、宣言前より「哀」「怖」の割合が約2~4ポイント減った一方、安心といった感情を含む「安」や「喜」が約2ポイント増えていた。(中略)2回目の宣言後は、宣言前に比べて「厭」や「怖」の感情に分類されたツイートの割合が約2~3ポイント増え、逆に「安」「喜」などのポジティブな感情が約1~5ポイント減っていた。

という傾向が見られたそうですが、今回何故か記事とは少し異なる結果となりました。

原因としては「サンプル数が異なる」「朝日新聞はRTデータを含んでいる」などが挙げられるかもしれませんが、実際に分析してみるとそもそも論として、そもそも今回の対象ワードを分析基準となるワードにして共起語を見つける事自体に意味があるのかという疑問も浮き上がりました。(そもそもそんな毎回対象ワードを入れてつぶやかないですよね。。)

実際に使えるAIはどれだ!?モデル別に比較

さてここからは感情分析モデルをそれぞれ実際に比較していきたいと思います。

比較するモデルは今回使った「ML-Ask」、Googleの学習済みモデルを使う「Google Natural Language API」、Amazonの学習済みモデルを使う「Amazon Comprehend」の3つです。

対象は「怖くて相撲を引退する」というニュースで話題となった、琴貫鐵(ことかんてつ)さんのツイートを使わせていただきます。

ちなみに琴貫鐵(ことかんてつ)さんは、実際には以前に心臓手術をしており、疾病リスクが高いため休場を望んだそうですが、相撲協会が休場を許さずに結局引退することになった、という経緯があったそうです。

この投稿文は人間が見ると、感染への「恐怖・不安」と相撲協会への「怒り」が感じ取れます。各種AIはこうした文脈理解もなく、どのようなアウトプットを出せるのでしょうか。

ML-Askで分析すると

感情ネガポジアクティブさ
kowa(怖い)NEGATIVEACTIVE

上の図(ラッセルの感情円環モデル)では、不快で覚醒度が高い領域に恐怖や怒りが入ります。出力の「kowa(怖い)」もここに入るので、上手く分析できているようです。

Google Natural Language APIで分析すると

センチメントスコア(-1.0~+1.0)全体的感情マグニチュード(感情的な度合い)
-0.300000011920928960.699999988079071

センチメントスコアが-0.3なのでネガティブ寄りという結果となりました。感情の量を表すマグニチュードは0.7です。Googleの説明では文章が長いと大きくなりやすい値で、はっきり否定的な例は4.0です。

ただし、Google Natural Language APIは具体的な感情は出力されないため、ネガティブが「怒り」なのか「悲しみ」なのか「恐怖」なのかは分からないのがネックです。

Amazon Comprehendで分析すると

ニュートラルポジティブネガティブ混合
39%0%60%0%

Amazonの自然言語処理であるAmazon Comprehendは、シンプルにネガティブ、ポジティブ、中立、混合の確信度を、合計で約100%になる値で出力してくれます。今回はネガティブな可能性が60%、中立な可能性が39%という結果となりました。

ML-Askの欠点

ML-Askはこのように具体的な喜怒哀楽の感情を抽出してくれるので、他の自然言語処理AIよりも便利な気もしますが、辞書型のデータベースを活用しているため、テキストデータに分析対象の感情が入っていないとそもそも分類できず、全てのテキストデータには対応できないという大きな欠点があることが分かりました。

具体的には今回のTwitterの投稿データだと、全体の30~35%しか分類してくれません。

朝日新聞の記事の8万件のデータを使ったという表記がありましたが、恐らく実際に分類できたのは2.5万件ほどだったのではないでしょうか。

結論

  • 全体の傾向推移を見るにはML-Askは便利
  • ネガティブ度合いやポジティブ度合いなど数字では出せない
  • Twitterデータだと3割ほどしか分類できない
  • 漏れなく全てを分類するにはGoogleやAmazonなどのAIを使ったほうが良い
  • 単純分類であればAmazon Comprehendが楽(Googleは閾値設定やら解釈が面倒)

以上、ML-Askの解説でした。ML-Askを使ったウイルスとツイートデータの関係性分析は下記論文などにも詳しく載っているのでご参考まで。

参考) www.jstage.jst.go.jp/…35/4/35_F-K45/_pdf

▼合わせて読みたい

【難解!?】Twitter APIを使って投稿データを収集する方法

朝日新聞の要約AIはヤフートピックスの夢を見るか ~ディープラーニングを用いた令和時代のプレスリリースの作り方~

ソーシャルデータから読み解くボヘミアンラプソディの口コミ形成とメディア露出効果

Amazonの人工知能を使ってSNS等の口コミを感情分析する方法

【記事に繋がる】プレスリリースの書き方 10つのポイント

SHARE