catch-img

AIでニュース分析を行う方法【広報✕Dify】

近年の生成AIの登場で、ニュース分析なども効率的に実行できるようになりました。特にノーコードAIツール「Dify」を使えば、API操作や複雑な処理も簡単に実行可能です。最新版では並行処理も可能となり、処理速度も驚くほど向上しました。

本記事ではこうしたLLMを活用したニュース収集・分析手法を解説します。

※当記事はニュース出力の実例を入れているため記事が非常に長くなってしまいました。ポイントだけ知りたい方はこちらから

目次[非表示]

  1. ニュースを取得・分析する方法
    1. 方法①LLM(Perplexity)を使う
      1. OpenAI-API-compatibleモデルのPerplexity
      2. カスタムツールのPerplexity Serch
    2. 方法②組み込みツールを使う
      1. SearchApiのGoogle News API
      2. Serply.ioのNews Search API
        1. 【コラム】検索APIとLLMの関係
      3. 検索ツールの問題点とLLM専用ツール
        1. 【参考】Difyの検索ツールまとめ
    3. 方法③HTTPリクエストを使う
      1. HTTPリクエストを使用する際のポイント
    4. 方法④RSSフィードを使う
    5. 方法⑤外部APIを使う
      1. 非公開メディアAPIも結構ある!?
      2. 生成AI ✕ APIが凄い点
    6. 方法⑥スクレイピングする
  2. Difyで複数のニュースソースを一括調査する
  3. ニュース分析にDifyを使うポイント
    1. ポイント①なるべくローカルDifyを使う
    2. ポイント②未来予測はキーワードで出させる
    3. ポイント③最終出力はCluade 3.5 sunnetがおすすめ

ニュースを取得・分析する方法

従来はニュース分析をしようとすると、まずGoogleでニュース検索をして、次に各メディアでキーワード検索をして、集まった情報をまとめ共通点やキーワードを探り、自社の広報活動に応用する、というのが一般的ではなかったでしょうか。

しかし生成AIやDifyが出てきてからは世界が一変してしまいました。こうした処理は人間がやるよりも、AIにやらせたほうが圧倒的に生産性が増すでしょう。

Dify操作についての基本事項は以下ブログ記事をご覧ください。

  Difyの使い方と理解のポイント(非エンジニア向け) 非エンジニアの視点から 、Difyの使い方と理解のポイントを解説します。 広報・PR支援の株式会社ガーオン

Dify上でニュースを取得する方法は、主に以下の6つの方法で実現することができます。

  1. LLM(Perplexity)を使う
  2. 組み込みツールを使う
  3. HTTPリクエストを使う
  4. RSSフィードを使う
  5. 外部APIを使う
  6. スクレイピングする

それぞれ詳しく見ていきます。

方法①LLM(Perplexity)を使う

最も簡単な手法は、シンプルにLLM単体で使う方法です。現状でDifyでニュースを取得できるLLMは、OpenAI-API-compatibleモデルを活用したオンライン対応の「Perplexity」とカスタムツールの「Perplexity Search」が挙げられます。

OpenAI-API-compatibleモデルのPerplexity

まずはOpenAI-API-compatibleのモデルにPerplexityを設定した状態で、以下のプロンプトを実装し、実際に「ライドシェア」に関するニュースを収集させてみます。

Perplexity

>Perplexity(llama-3.1-sonar-small-128k-online)による検索結果


小泉進次郎氏がライドシェア全面解禁を訴え
ニュースタイトル: 小泉進次郎氏、公約に「ライドシェア全面解禁」日本でもウーバー
発信元: JIDOUNTEN-LAB
URL: https://jidounten-lab.com/u_49629
公開日付: 2024-09-12


Uber Japanが日本初のライドシェア × カーシェアプログラムを開始
ニュースタイトル: Uber Japan、日本初『ライドシェア × カーシェア』ライドシェアドライバー向けのカーシェアプログラムの提供開始
発信元: Uber Newsroom
URL: https://www.uber.com/ja-JP/newsroom/rideshare-by-carsharing/
公開日付: 2024-09-04


日本初のカーシェア車両を活用したライドシェアの試験運用開始
ニュースタイトル: カーシェア車両を活用したライドシェアの試験運用をタイムズカーとUberで実施
発信元: パーク24
URL: https://www.park24.co.jp/news/2024/09/20240904-1.html
公開日付: 2024-09-04


日本型ライドシェアの現状と課題
ニュースタイトル: 日本型ライドシェア2024年解禁!東京都内の最新事情と注意点
発信元: MOOVマガジン
URL: https://mag.moov.co.jp/627/
公開日付: 2024-07-10


自家用車活用事業の進展とライドシェア市場規模調査
ニュースタイトル: ライドシェアとは?(2024年最新版)日本の解禁状況や参入企業まとめ
発信元: JIDOUNTEN-LAB
URL: https://jidounten-lab.com/u_rideshare-rule-japan
公開日付: 2024-08-26
これらのニュースは最新の情報を反映しており、ライドシェアの進展状況や市場動向について幅広く知ることができます。

API版のPerplexityの欠点はニュースソースを出力しない点でしたが、最近は安定して出力してくれるようになっているようです。

またPerplexityAPIはオンラインモデルのため日時は認識しているケースもありますが、他モデルなどでは現在日時を把握できず、ニュースの即時性の重み付けができないことがあるため、Current Timeなどを使ってLLMに現時点の日時を情報として渡しておくことが重要です。

カスタムツールのPerplexity Serch

PerplexityはDify上で「Perplexity Serch」というカスタムツールも登場しています。設定可能な引数は以下のように、API機能をほぼ網羅していますが、肝心のソースを出力するためのReturn Citationsが効いていないようで、現時点ではあまり使えないように思えます

Perplexity Search

>カスタムツールPerplexity Serchの出力結果(※キーワードのみで検索)


日本版ライドシェアの開始: 2024年4月、東京など一部地域で「日本版ライドシェア」が開始されました。日本版ライドシェアは、テック業界が主導する海外と異なり、タクシー会社が主体となっており、運行地域や時間も厳しく制限されています。


政治的動向: 日本の自民党総裁選において、ライドシェアの全面解禁を目指す政治家の動きが活発で、有力候補の小泉進次郎氏や茂木敏充幹事長、河野太郎デジタル相もライドシェア解禁を唱えています。


公共ライドシェア: 京丹後市では、公共ライドシェアの実証運行が行われており、一般ドライバーが自家用車を使って有償で地域住民や観光客を運送しています。実証運行の結果をもとに、本格運行や市内他地域への展開が検証されています。
保険制度: 日本版ライドシェアに対応する「移動サービス事業者向け自動車保険」が東京海上日動火災保険で2025年1月から販売されることが発表されています。この保険は、1時間単位で保険料を算出する方式に対応し、人身傷害保険やレッカー搬送サービスも補償ラインアップに追加しています。


カーシェアプログラム: Uber Japan、タイムズモビリティ、ロイヤルリムジンは、ライドシェアドライバー向けのカーシェアプログラムを提供開始し、車両を所有していない人や家庭外での車の使用が難しい人などに向けて、ライドシェアドライバーとして働く機会を提供しています。


地方での参入: 鹿児島市と種子島のタクシー会社が「日本版ライドシェア」参入を申請し、運転手不足や西之表市の馬毛島基地整備関係者の需要増加に対応する狙いがあります。


Return CitationsをTrueにしていても引用は全く出力されませんでした。これは結構痛いです。

方法②組み込みツールを使う

Perplexity以外にもニュース取得が可能なカスタムツールが用意されています。

Ver.0.8.2の現状では、カスタムツールのNewsタグがついているものは「SearchApi」「Serply.io」の2種が確認できます。

SearchApiのGoogle News API

「SearchApi」では「Google News API」というツールが設定されています。

  Google Search API for real-time SERP scraping Scrape organic results, ads, related searches, inline questions and more. Receive structured results in JSON format. Sign up for a free plan today! SearchApi

こちらで同じく先程のプロンプトで出力させてみます。

>SearchApiのGoogle News APIの出力


content: 今年4月、「日本版ライドシェア(自家用車活用事業)」が東京など一部地域から始まった。テック業界が主導する海外と異なり、日本版ではタクシー会社が...
link: https://toyokeizai.net/articles/-/805347


content: Uber Japan、タイムズモビリティおよびロイヤルリムジンは、ライドシェアドライバー向けのカーシェアプログラムを提供開始する。2024年9月4日に試験...
link: https://monoist.itmedia.co.jp/mn/articles/2409/18/news097.html
content: 田中幹夫南砺市長は16日、自民党総裁選に立候補した小泉進次郎元環境相と金沢市内で宮橋勝栄石川県小松市長と共に面談した。「活力ある地方を創(つく)...
link: https://webun.jp/articles/-/674574


title: 1時間単位で契約できる日本版ライドシェア保険 東京海上
link: https://www.watch.impress.co.jp/docs/news/1624332.html


title: 東京海上、1時間単位の自動車保険 ライドシェア向け
link: https://www.nikkei.com/article/DGXZQOUB122SI0S4A910C2000000/


title: 1時間単位で契約できる日本版ライドシェア保険 東京海上(Impress Watch)
link: https://news.yahoo.co.jp/articles/668c5b18b898ef6dc51f7382b600295c54ea4917
title: 1時間単位で契約できる日本版ライドシェア保険 東京海上
link: https://news.goo.ne.jp/article/www_watch/trend/www_watch-1624332.html


title: 馬毛島基地整備で活況…種子島で日本版ライドシェア参入へ 市丸グループが申請、運転手不足の鹿児島市も(南日本新聞)
link: https://news.yahoo.co.jp/articles/00af990ff0a7caaa9b1a6a0f4706c37902e0c222
title: 災害時、ライドシェア運行可 自治体要請で調整、安全前提 国交省(時事通信)
link: https://news.yahoo.co.jp/articles/98da5e53ee315da01b17ed2720b10b4d754b3472


title: 馬毛島基地整備で活況…種子島で日本版ライドシェア参入へ 市丸グループが申請、運転手不足の鹿児島市も
link: https://www.47news.jp/11497732.html


title: 災害時、ライドシェア運行可=自治体要請で調整、安全前提―国交省(2024年9月17日)|BIGLOBEニュース
link: https://news.biglobe.ne.jp/domestic/0917/jj_240917_5208302650.html

SearchApiのGoogle News APIは、その名の通りGoogleのニュース検索結果を取ってくるもので、パラメーターとして、Location/google_domain/Country/Languageなどが設定できるため、日本のニュースにローカライズして取得することが可能です。

Serply.ioのNews Search API

もう一つのSerply.ioには、News Search APIというツールがあります。こちらもLocation/Country/Languageがパラメーター指定可能ですが、日本語のクエリを入れると文字化けしてしまい全く関係ないニュースを取ってくることが多いです。これは日本語ではまだまだ使えないツールだと思われます。

  Google Search API - Serply.io Best Google Search API for SERPs, Images, Scholar, Video, Crawl, and More! https://serply.io/
【コラム】検索APIとLLMの関係

LLMの処理の中で、検索結果をどのように活用するかは様々なアプリにとって、非常に重要なポイントとなるでしょう。

先程のSearchApiやSerply.ioなどを始めとした従来の検索APIは、主に以下のようなスニペット情報を提供します。

  • タイトル
  • 短い説明(ディスクリプション)
  • URL

しかしLLMに実際にこれらの情報を入力しても、肝心の本文情報がないために、LLMにニュースの文脈全体を考慮した回答を作らせることは困難です。

検索ツールの問題点とLLM専用ツール

タイトルとスニペット情報だけでは、記事の全体的な文脈や重要な詳細が欠けてしまうため、検索ツールそのものは分析ツールとしては、あまり効果が発揮されません。

こうした問題を解決するため、LLM専用の検索ツールも開発されています。

  • Jina
  • Firecraw
  • Tavily

これらのツールはスニペット以外に、本文や周辺情報も取得することが可能です。

【参考】Difyの検索ツールまとめ

ちなみにDifyには検索結果などを取得するツールとして、以下のようなカスタムツールが用意されています。LLMに特化したツールは右の3つとなります。
Difyの検索ツール
※Jina AIとTavilyの比較については下記記事もご参照ください

  生成AI(Dify)を活用した検索・情報収集のポイント Difyの様々な検索・情報収集ツールを実際に使い、精度を比較しながら細かく解説します。 広報・PR支援の株式会社ガーオン

まずTavilyの出力を見てみます。

>Tavilyの出力


https://www.zurich.co.jp/car/useful/guide/cc-whatis-rideshare-takeup/
ライドシェアとは、一般ドライバーが自家用車で有償で乗客を運ぶサービスで、タクシー不足を解消するために2024年4月に日本で始まりました。この記事では、ライドシェアのメリットや海外と日本の普及状況、日本版ライドシェアの対象地域や利用条件などを詳しく解説します。

https://www.sankei.com/article/20240408-QKSU7FLMHFHFDBGUWOUSVVGGO4/
ライドシェアはタクシーの不足を補うために始まったサービスで、アプリで乗車地と降車地を入力すれば運賃が決まる。東京都内で8日から始まり、他の地域にも広がる見通しで、ドライバーには第1種免許が必要で、給与は固定給+歩合制である。

https://jidounten-lab.com/u_rideshare-rule-japan
ライドシェアとは、スマートフォンを通じて車両と提供者をマッチングして旅客運送を行うサービスです。日本では自家用車活用事業が2024年4月に始まり、全面解禁の議論も進んでいますが、法制度や業界動向には課題があります。

https://www.publicweek.jp/ja-jp/blog/article_75.html
日本版ライドシェアとは、一般ドライバーが自家用車を活用して他の利用者と座席をシェアしながら運送する相乗りサービスです。この記事では、ライドシェアの概要やメリットと問題点、自治体の取り組み事例などを紹介します。

https://ja.wikipedia.org/wiki/ライドシェア
ライドシェア・ドライバーズ・ユニオンや [10] 、ザ・ライドシェア・ガイ [11] などの労働者で組織された団体も、路上からライドシェア車両を「呼び止める(hailing)」ことが違法であることから、「ライドシェア」という用語を使用している。

以前のバージョンからTavilyは動作が上手く実行されず、Ver0.8.2になってもinclude_raw_content<検索結果本文の取得>が有効化されないなど、挙動が怪しいです。

Tavilyにはニュースオプションが付いていますが、日本語には対応していないようです。また通常の検索結果を出力するLLMとなるので、ニュースに特化しているわけではありません。

ですので使う場合は、カスタムツールとしてAPI(OPEN APIスキーマでの設定)で使われることをおすすめします。

以下はAPIで取得した同内容の回答です。

>Tavily(OPEN API経由での出力 ※include_raw_content<検索結果本文の取得>を有効)


  [

{
'title': '料金は?どこで乗れるの?ドライバーになるには? 本格スタートのライドシェアq&A - 産経ニュース',
'url': 'https://www.sankei.com/article/20240408-QKSU7FLMHFHFDBGUWOUSVVGGO4/',
'content': 'ライドシェアはタクシーの不足を補うために始まったサービスで、アプリで乗車地と降車地を入力すれば運賃が決まる。東京都内で8日から始まり、他の地域にも広がる見通しで、ドライバーには第1種免許が必要で、給与は固定給+歩合制である。',
'score': 0.9997731,
'raw_content':
'料金は?どこで乗れるの?ドライバーになるには?\u3000本格スタートのライドシェアQ&A\n'
'一般ドライバーが自家用車を使い有料で乗客を運ぶ「日本版ライドシェア」のサービスが8日に東京都内で始まった。'
'サービスはこれから他の地域にも広がっていくが、従来のタクシーとの違いが十分に知られているとはいいがたい。'
'そこで、利用方法や料金などライドシェアに関する素朴な疑問をQ&A形式でまとめた。\n'
'支払いは現金不可\n'
'A\u3000原則、「GO」や「S-RIDE」といったアプリを使って配車する方式で、流しのタクシーを拾うように走行中の空車を捕まえて乗ることはできない。'
'乗車地や乗車時間などの条件がライドシェアの車両とマッチングした場合、乗車地に迎えにくる。'
'アプリによっては、希望に合わせてタクシーに限定して車両を呼ぶことができる\n'
'A\u3000タクシーと同額で、アプリで乗車地と降車地を入力すれば、乗車前に運賃が決まる仕組み。'
'原則、支払いはキャッシュレスで、現金は使えない\n'
'A\u3000国土交通省が配車アプリのデータを分析し、タクシーが不足していると認めた区域。具体的には、'
'①東京23区、東京都武蔵野市、三鷹市②横浜市、川崎市、神奈川県横須賀市など③名古屋市、愛知県瀬戸市、日進市など④京都市、京都府宇治市、長岡京市など。'
'原則、ライドシェアはこれらの区域外への移動はできない。'
'5月以降には、札幌、仙台、埼玉、千葉、大阪、神戸、広島、福岡の8市を含む区域で認められる見通し\n'
'A\u3000国交省が各区域ごとにタクシーが不足する時間帯のみ運行が認められる。'
'東京都の場合は、月~金曜午前7~10時台、金~土曜午後4~7時台、土曜午前0~4時台、日曜午前10時台~午後1時台。'
'ドライバーの活動は週に1~5日勤務、勤務時間は1日4時間、週20時間未満に定められている\n'
'荷物は運べる?\n'
'A\u3000ドライバーには普通免許である第1種運転免許を保有していることと、過去2年間無事故・免許停止などの行政処分がないことが求められる。'
'現時点で、国交省からライドシェア事業者に認定されたタクシー会社がドライバーを採用する形式がとられている。'
'タクシー会社は、採用したドライバーに対し、タクシードライバー同様の研修や勤務時間の管理を行うほか、任意保険にも加入してもらう\n'
'A\u3000年齢や国籍の制限はなく、2種免許がなくてもライドシェアのドライバーになることができる。'
'だが、タクシー会社によっては20~70歳、2種免許の保有、過去にタクシーやバスの運転手としての実績の有無を採用基準に設けているところもある。'
'給与形態は「固定給+歩合制」が基本だが、一部では「時給1400円以上」など時給制での募集もある\n'
'A\u3000国交省によると、道路運送法では、ライドシェアに利用する自家用車は乗車定員10人以下と規定しているが、車種の詳細な規定までは定めていない。'
'そのため、軽自動車も使用することは可能。ただ、タクシー会社によっては軽自動車や改造車などの利用を認めていない\n'
'A\u3000軽トラなど荷台のある車をライドシェアに利用することは法律的には問題ない。'
'原則として、事業者が国交省から貨物自動車運送事業の許可を取得していた場合は、乗客と一緒に大きな荷物を運ぶことができる「貨客混載」が可能だという\n'
'A\u3000ライドシェア車両であることを車の外部にステッカーを貼るなど見えやすく表示しなければならない。'
'また、タクシー会社は運転免許証の有効期限や作成年月日が記載された運転者証明をドライバーに対して発行する。'
'ドライバーはその証明を営業中は必ず携帯しなければならない\n'
'日本版ライドシェア始動、都内で出発式\n'
'4月解禁ライドシェア、浸透には時間\n'
'会員限定記事\n'
'ノーベル賞有力候補の「結晶スポンジ法」\u3000普及に向けた研究の現在地\n'
'新総裁は「買収阻止」をかわせるか\u3000石井聡\n'
'米大統領選の世論調査は正確なのか\u3000過去2回、大きな錯誤\u3000古森義久\n'
'あの候補は何を語った?\u3000自民党総裁選・日本記者クラブ主催候補者討論会詳報\n'
'ライフランキング\n'
'原発・エネルギー\u3000「小石河」の転向は本物か\u3000電力需要増大で原発容認、いぶかしむ声も\u3000自民党総裁選\u3000政策比較(4)\n'
'TBSサンモニ出演のジャーナリストが自民支持者を「劣等民族」\u3000立民・米山氏「差別的」\n'
'藤井聡太王座、開幕2連勝で初防衛に王手\u3000永瀬拓矢九段は王座奪還に赤信号\n'
'水に落ちた犬を一斉に…週刊誌の存在価値はあるまい\u3000兵庫県知事「おねだり」\u3000花田紀凱\u3000花田紀凱の週刊誌ウォッチング(986)\n'
'決選投票が小泉進次郎氏と石破茂氏なら…『新潮』自民総裁選分析はプロの仕事\u3000花田紀凱\u3000花田紀凱の週刊誌ウォッチング(992)\n'
'竜の尻尾、近隣店のカニに挟まれちゃった?\u3000訴訟で撤去の金龍ラーメン看板\n'
'ノーベル賞有力候補の「結晶スポンジ法」\u3000普及に向けた研究の現在地\n'
'「実現不可能」覆した世界遺産登録\u3000仁徳天皇陵古墳\u3000苦節16年の「プロジェクトX」\n'
'囲碁・名人戦第3局\u3000芝野虎丸名人が勝利、対戦成績1勝2敗に\n'
'なぜ「2番」はだめなのか\u3000あの迷言を否定する起業家の「名言」\u3000京都総局長・津田大資\u3000西論プラス\n'
'産経新聞をフォローして情報を受け取ろう\n'
'©2020-2024 The Sankei Shimbun. All rights reserved.\n'
}
]

content_copyUse code with caution.


検索結果の本文(たまたまニュースでした)を取得することに成功しています(ボリュームが多いので1件のみとしています)。

JINAとfirecrawlはURLを元にしたクローリングやスクレイピングが主であり、URLが分かっっている際には強力なツールとなりますが、キーワードでニュースを検索するにはあまり向いていないと言えます。

方法③HTTPリクエストを使う

情報を取得したいニュースサイトが決まっている場合、こちらの手法が良いかもしれません。

例えば、テレビ東京の経済サイト「テレ東BIZ」にリクエストをかけて、ライドシェアで検索すると下記のようなデータが取得できます。

>ライドシェア検索結果


1. 岸田政権の政策から転換させたいことは
自民総裁選9候補が共同会見 自民党の総裁選挙に立候補した9人による共同記者会見が、13日自民党本部で開かれ、それぞれの候補が政策を訴えました。共同記者会見では、岸田政権がこれまでの3年間で進めてきた政策から転換させたいことを問われ、各候補は次のように述べました。

- 高市経済安保担当大臣 「戦略的な財政出動をするということにより、雇用と所得が増える、また消費マインドも改善していく。税率を上げずとも税収が増える形をつくっていく」

- 小林前経済安保担当大臣 「再エネに偏り過ぎていると私が考える現行のエネルギー基本計画は早急・抜本的に見直す。核融合発電の早期実施を進めて将来的にエネルギーの輸出国へ転換する」

- 林官房長官 「物価に負けない賃金上昇をなんとか実現する。地域中小企業、小規模事業の皆様に実感してもらうような施策をさらに追加をしていきたい」

- 小泉元環境大臣 「労働市場改革、ライドシェアも含めて聖域なき規制改革を進めていきたい。日本の経済にダイナミズム取り戻していくこと」

- 上川外務大臣 「女性、シングルマザー、シニア世代、生活に困っている皆さま、そうした人に目を向ける。より多様で包括的で優しく温かみのある政策を進めていく」

- 加藤元官房長官 「給食費、出産費用、子供の医療費、三つの費用の負担のゼロを目指していく。同じ方向を向いている他の政党とも含めて憲法改正を実現していく」

- 河野デジタル大臣 「総理になれば今度はトップダウンで改革のスピードを上げることができる、これはしっかりやりたい。独立財政機関を作って政府が出す数字の前提をしっかりチェックをする、それをやっていきたいと思っている」

- 石破元幹事長 「安全保障についていえばおおむね方向性は妥当だと思うが、なぜウクライナにおいて抑止力が効かなかったのかという検証は、わが国としてきちんとしていかねばならない」

- 茂木幹事長 「国民にとって何がベストかこれを追求していきたい。日本経済、まだまだ成長の可能性があると思っている。成長戦略によって、税収アップすることもできると考えている」

このほか、自民党の派閥をめぐる政治資金事件の真相究明に向けた再調査については、いずれの候補も慎重な考えを示しました。14日は日本記者クラブ主催で全ての候補が出席する討論会が開かれる予定です。 - 放送日: 2024/09/13 - 再生時間: 180秒 - 番組名: ゆうがたサテライト - エピソードリンク
岸田政権の政策から転換させたいことは

--- ### 2. ウーバー 運転手確保へ
“カーシェア”でライドシェア!? 一般のドライバーが自家用車を使って有料で乗客を乗せる「日本版ライドシェア」が始まって5カ月になりますが、タクシー会社では一般ドライバーの採用がなかなか進んでいない状況です。そこで、ウーバージャパンは、4日からカーシェア車両を活用した新たな試験運用を始めました。 - 放送日: 2024/09/04 - 再生時間: 259秒 - 番組名: ワールドビジネスサテライト(WBS) - エピソードリンク
ウーバー 運転手確保へ “カーシェア”でライドシェア!?

--- ### 3. 日経平均大幅安にエヌビディア急落の影/「キシダノミクス」総点検 日経平均一時1,800円超安、再燃する米景気後退?「ポスト岸田」の経済政策、金融所得課税が争点に?、すき間時間にライドシェア、増加する大学発スタートアップ - 放送日: 2024/09/04 - 再生時間: 2906秒 - 番組名: NIKKEI NEWS NEXT - エピソードリンク
日経平均大幅安にエヌビディア急落の影/「キシダノミクス」総点検

--- ### 4. 猛暑でライドシェア緩和!? 政府は新たな猛暑対策を打ち出しました。そのカギを握るのは、日本版ライドシェアです。国土交通省は2日、地域によって運行できる時間帯や台数を制限しているタクシー会社管理型の「日本版ライドシェア」について、気温が35度以上になる時間は、制限を緩和すると発表しました。 - 放送日: 2024/08/03 - 再生時間: 193秒 - 番組名: ワールドビジネスサテライト(WBS) - エピソードリンク
猛暑でライドシェア緩和!?

--- ### 5. ライドシェア 雨天で利便性アップ 東京・大阪など12地域 雨の時のタクシー需要増加に対応します。国土交通省は、一般の人が自家用車を使って有料で客を運ぶ「日本版ライドシェア」について、7月1日から、雨が降ると見込まれる時間帯の運行ルールを緩和します。1時間に5ミリ以上の雨が降ると予報される場合、運行が認められていない時間帯でも運行できるようになります。また、すでに運行できる時間帯では、稼働できる車両の数が増えます。東京や大阪など12の地域が対象です。 - 放送日: 2024/06/28 - 再生時間: 40秒 - 番組名: ワールドビジネスサテライト(WBS) - エピソードリンク
ライドシェア 雨天で利便性アップ

--- ### 6. 導入から2カ月 ライドシェア 「全面解禁」議論も【The追跡】
「日本版ライドシェア」の導入から2カ月が経ちました。ドライバーがタクシー会社に登録し、運行にはタクシー会社が責任を持つなど、一定の条件が課せられます。また運行できる時間帯も決められています。現時点で東京都では1,000人ほどのドライバーが登録しているものの、1日の平均稼働は90台ほどにとどまっています。まだまだ普及には程遠い段階ですが、タクシー事業者以外の参入を認める「全面解禁」の議論が進んでいます。これに対し、タクシーや鉄道、バス会社などで働く「交運労協」は強く反対する姿勢を示しました。 - 放送日: 2024/06/07 - 再生時間: 803秒 - 番組名: ワールドビジネスサテライト(WBS) - エピソードリンク
導入から2カ月 ライドシェア 「全面解禁」議論も


--- このように、各エピソードの概要、放送日、再生時間、番組名、そして関連する画像やリンクをまとめました。他のエピソードについても同様の形式で整えることができますので、必要に応じてお知らせください。

このように特定のサイトやAPIエンドポイントが分かっており、キーワードも事前に決まっているテーマの場合、HTTPリクエストは非常に強力なデータソースになるでしょう。

検索機能が付いているWebサイトであれば、HTTPリクエストでパラメーターに検索キーワードを入力することで、上記のテレ東Bizのように検索結果を取得することもできます。

HTTPリクエストを使用する際のポイント

「HTTPリクエスト」ノードは入力に以下の要素を用意する必要があります。

  • URLエンドポイント(必須)
  • ヘッダー
  • パラメーター

そして出力は以下のような要素となります。

{
  "status_code": 200,
  "body": "", #大抵はbodyデータに欲しいデータが入っている
  "headers":"", 
  "files": []
}

bodyをそのままLLMなどで利用できればよいですが、大抵は不必要なデータがあったり、データ数が大きすぎたりと、データの後処理が必要になるケースが少なくありません。

その際は、「コード」ノードや「パラメーター抽出」ノードを付けて対応します。特にLLMの入力トークンはほぼ文字数とイコールで、gpt-4-miniの場合の上限12万8千トークンの限界数を超えるようなものはデータをフィルタリングするか、テキストデータの末尾を物理的に切るような処理が必要となります。

方法④RSSフィードを使う

HTTPリクエストでは、RSSフィードを取得することも可能です。

例えばGoogleニュースでは以下URLにてRSSが提供されています。以下はGoogleニュースのRSSフィードから、ライドシェアをキーワード入力した際の出力データです。

URL:https://news.google.com/rss/search?q=ライドシェア&gl=JP&ceid=JP:ja&hl=ja

>GoogleNews RSS「ライドシェア」検索結果


テック出身CEOが指摘するライドシェアの課題
link: 記事を読む
pubDate: Thu, 19 Sep 2024 21:00:00 GMT
description: <ol><li><a href="https://news.google.com/rss/articles/CBMiUkFVX3lxTE40ZDRnMWw5Mmh0ZVZMemxVbWlRdm9YcU1ESXI1YWU0QUN5M1YyM2RUU0lsUTdjMXZwbnROYnN0Y1NDbFVMWVdKZWFBMExmRG9XT1E?oc=5" target="_blank">テック出身CEOが指摘するライドシェアの課題</a>  <font color="#6f6f6f">東洋経済オンライン</font></li></ol>
source url: 東洋経済オンライン


三浦の神奈川版ライドシェア、黒岩知事「本格実施つなげたい」 12月中旬まで実証実験(カナロコ by 神奈川新聞)
link: 記事を読む
pubDate: Thu, 19 Sep 2024 13:51:02 GMT
description: <a href="https://news.google.com/rss/articles/CBMif0FVX3lxTFBUaWJqdmFZbEdEOTJlcGh4SmxsQ0tlSnktdEpMb1FNeGN0a1Bhc1NzcjM5TUgxT2J2eXA1Wk0takpxV21iZTk1bHd1Z1pQOTU4WHpGUjJTMEpzZDBCanliMHNjUG9QZ09WNzhvLXpNVGkzNEdHWngxLUVwbmdmbEU?oc=5" target="_blank">三浦の神奈川版ライドシェア、黒岩知事「本格実施つなげたい」 12月中旬まで実証実験</a>  <font color="#6f6f6f">Yahoo!ニュース</font>
source url: Yahoo!ニュース

方法⑤外部APIを使う

ここまで外部Webサイトからの情報取得をメインに解説しましたが、APIを公開しているソース元であれば直接APIを叩いて情報を取得することも可能です。

ニュースの海外APIといえば、NewsAPIが有名です。

NewsAPI

  News API – Search News and Blog Articles on the Web Get JSON search results for global news articles in real-time with our free News API. News API

NewsAPIは、世界中のニュースソースから最新のニュース記事をプログラム的に取得できるWebサービスおよびAPIです。開発者やビジネス向けに設計されており、アプリケーションやウェブサイトにリアルタイムのニュースコンテンツを簡単に組み込むことができます。

>「ライドシェア」検索結果


{"status":"ok","totalResults":22,"articles":[{"source":{"id":null,"name":"Asahi.com"},"author":"朝日新聞デジタル","title":"タクシーつかまらない「交通空白地」、解消に向け官民の枠組み新設へ","description":"国土交通省は4日、移動手段が足りない「交通空白地」の解消に向け、官民の新たな枠組みを設けると発表した。タクシーやライドシェアが不足する自治体と配車の効率化に取り組む企業をマッチングさせるなどして、地…","url":"https://www.asahi.com/articles/ASS943222S94ULFA00JM.html","urlToImage":"https://imgopt.asahi.com/ogp/AS20240904002915_comm.jpg","publishedAt":"2024-09-04T10:00:00Z","content":"Copyright © The Asahi Shimbun Company. All rights reserved. No reproduction or republication without written permission."},{"source":{"id":null,"name":"Toyokeizai.net"},"author":"財新 Biz&Tech","title":"中国BYD、ウーバーと「EV10万台導入」の戦略提携 価格優遇などで契約ドライバーの買い換え支援 | 大解剖 中国「EV覇権」 | 東洋経済オンライン","description":"中国のEV(電気自動車)最大手の比亜迪(BYD)とアメリカのライドシェア最大手のウーバー・テクノロジーズは7月31日、ウーバーの配車プラットフォームにBYD製のEVを10万台導入する計画を発表した。両社は複数年に…","url":"https://toyokeizai.net/articles/-/804132","urlToImage":"https://tk.ismcdn.jp/mwimgs/d/e/1200w/img_de5491652d9b1c26004d53f22828813167774.jpg","publishedAt":"2024-08-25T23:00:00Z","content":"Copyright©Toyo Keizai Inc.All Rights Reserved."},

NewsAPIは検索機能があるものの、もともとの仕様として、本文を一部しか取得できないためLLMでの活用は限定的な気もします。

NewYorkTimes API

海外新聞社のAPIでは、NewYorkTimesのAPIが有名です。キーワード検索などが可能です。

  https://developer.nytimes.com/ https://developer.nytimes.com/

日本語コンテンツはなく、以下は英語でride shareを検索した結果です。

>「ride share」検索結果


タイトル: 彼らは生計を立てて運転しているが、ニューヨークの交通は「最悪だ」と言う
内容: ニューヨーク市には9万台以上のタクシー、ウーバー、リフトがあり、ドライバーや他の人々が街中を移動するのが難しくなっている。この問題を扱った「Street Wars」というシリーズの一部。
日付: 2024年7月22日
ソースURL: https://www.nytimes.com/2024/07/22/nyregion/street-wars-traffic-uber-taxi-new-york-city.html


タイトル: ライドシェアサービスを試してみる
内容: フルガル・トラベラーの著者が、夏の長旅でお金を節約するために、3つのライドシェアサイトにルートを投稿した結果をまとめた。
日付: 2013年9月17日
ソースURL: https://www.nytimes.com/2013/09/22/travel/taking-ride-share-services-for-a-spin.html


タイトル: ライドシェアが空港の交通混雑を引き起こす
内容: 記録的な旅行者数とウーバー、リフトの人気が、空港での交通混雑を悪化させていることを報告。
日付: 2019年8月19日
ソースURL: https://www.nytimes.com/2019/08/19/business/airports-traffic-uber-lyft.html


その他海外メディアとしては、英ガーディアン紙のThe Guardian APIなどが提供されています。

非公開メディアAPIも結構ある!?

一方日本では、一般公開されているニュース系APIはほとんどありません。非常に残念ですが、実はWebメディアを持っている新聞社やテレビ局など、サイト内検索にAPIを利用しているメディアは多いです。公開していないAPIも結構見つけることが分かりました。

こうしたAPIはWindowsのChromeブラウザであれば、F12開発者ツール→ネットワーク、から探すことができます。

生成AI ✕ APIが凄い点

生成AI ✕ APIの最も重要なポイントは、こうしたAPIをLLMに使わせることもできる点が挙げられます。

通常APIを人的に操作する場合、エンドポイント(URL)や引数(パラメーター)を人間が考えて設定する必要があります。

APIをLLMに使わせることで、どの関数を使って引数をどうするか、その使うタイミングはいつなのか、などなど、AIに丸投げすることができるのです。

この機能をOPEN AIではFunction Calling(AnthropicではTool use)と名付け、Difyでは「エージェント」といっています。

  [OpenAI]Function Callingとは?実例で仕組みを解説 生成AIの重要機能Function Callingの仕組みの説明、実装方法、ノーコードLLMツールDifyとの関係などを中心に、なるべく分かりやすく解説していきたいと思います。 広報・PR支援の株式会社ガーオン



方法⑥スクレイピングする

欲しいニュースのURLが確定していたら、スクレイピング(ページを読み込んで)して本文情報を取得することも可能です。

Difyで使えるスクレピングツールの代表が、FirecrawlとJina Readerの2つです。中でもLLM強力なツールがFirecrawlです。

  Firecrawl Turn any website into LLM-ready data. Firecrawl

Firecrawlには、現在以下の3つの機能があります。

  • Scrape / スクレイピング(記事URLが決まっている場合)
  • Crawl / クローリング(記事URLが決まっていない場合)
  • マップ(リンク一覧を取得)

取得したいURLが確定している場合は「スクレイピング」、具体的なURLは決まっていないがドメイン内を探してみたいときは「クローリング」という使い分けが一般的かと思います。

Firecrawlのスクレイピング手法の中には、LLMを使ったものも公開されており、今まで厳密に処理する必要があったスクレイピングの歴史も大きく変わろうとしています。

Difyで複数のニュースソースを一括調査する

Difyの凄いところは、これらの全手法を並行処理して実行することもできる点です。

今までのニュース分析を全て駆使し、1発で複数のニュースソースを調査・分析して、LLMでニュースポイントやPR戦略をまとめるプロセスを作ってみたいと思います。

内容は下記を入れてみました。

  • RAG知識(NHK番組情報)
  • キーワード検索(テレ東Biz/日経新聞/ABEMAプライム/Perplexity/NHK視点・論点・クロ現)

これでキーワード「ライドシェア」で出力してみます。


以下、ご要望に沿って、ライドシェアに関する広報戦略の課題やポイントをステップバイステップで考察し、報告いたします。


 ## 現状の課題


1. タクシー運転手不足と交通空白地域の拡大

​​​​​​​ NHKクローズアップ現代の要約によると、日本でのライドシェア導入の背景には、タクシー運転手の深刻な不足があります。また、地方での鉄道の廃線などにより、交通空白地域が拡大しています。 具体的な事例として、Yahoo! JAPANのSDGsニュース(2024年6月3日付)では、福島市土船地区での「土船おでかけサポート」という住民の互助による移動支援サービスが紹介されています。このサービスは500円の「ワンコイン」料金ルールで運営され、高齢者の移動支援に効果を上げています。 出典: https://sdgs.yahoo.co.jp/featured/488.html


2. 白タク問題とライドシェアの関係

よいたび.jpの記事(2024年3月21日付)によると、国や経済界はライドシェア解禁によって白タクを根絶できると説明していますが、実際には白タク行為は依然として続いています。最近のテレビ報道では、白タク容疑者の逮捕が報じられる一方で、ライドシェアの認可が一部地域で進められています。 出典: https://yoitabi.jp/report/post-19079/


3. 地域格差と労働者搾取の懸念

フォーサイトの記事によると、日本版ライドシェアは地域や運行時間を限定して開始されましたが、タクシー不足を解消する特効薬となるかは不透明です。また、地域格差や労働者の搾取についての懸念も指摘されています。 出典: https://www.fsight.jp/articles/-/50746


4. ドライバーの稼働率と効率性の問題

日本テレビNEWS24の記事(2024年4月8日付)によると、日本版ライドシェアが都内でスタートし、ドライバーは「スキマ時間の仕事」として受け止めています。しかし、中心地への移動が難しい地域や短距離移動が多い地域での営業は難しいと報告されています。 出典: https://news.ntv.co.jp/category/society/e371c2dd3df64d84ae16c7eb7f352349


5. 安全性と責任の所在 NHKクローズアップ現代の要約によると、ライドシェアには安全性や補償の問題が指摘されています。現行法では原則禁止されており、新たな制度化が課題となっています。


## 企業の解決策

1. タクシー会社主導のライドシェアモデル

NHKクローズアップ現代の要約によると、自治体主導で独自の「ライドシェア」モデルを検討する動きが出ています。安全管理や運行管理などを既存のタクシー事業者に担わせる取り組みが進められています。 具体的な事例として、2024年4月8日に東京都内でスタートした日本版ライドシェアでは、タクシー会社が運行の管理運営を行っています。ドライバーはタクシー会社による面接や実技を含む研修を受け、運転前にはアプリを使ってアルコール検査や点呼を受けます。事故の保険や責任はタクシー会社が負う仕組みとなっています。 出典:テレビ朝日 ゆうがたサテライト(2024年4月8日放送) https://txbiz.tv-tokyo.co.jp/you/news/post_298980 日本版ライドシェアの出発式の様子

2. 配車アプリの活用 日本テレビNEWS24の記事によると、ドライバーは配車アプリを利用し、効率的に営業を行っています。これにより、需要と供給のマッチングを最適化し、ドライバーの稼働率向上を図っています。 出典: https://news.ntv.co.jp/category/society/e371c2dd3df64d84ae16c7eb7f352349


3. 地域特性に応じた柔軟な運用 全国知事会は、地域の実情に応じた対応を求めています。これを受けて、各地域では地域特性に合わせたライドシェアの運用が検討されています。例えば、福島市土船地区の「土船おでかけサポート」のような住民互助型のサービスも、地域の実情に応じた解決策の一つと言えます。 出典: https://www.fsight.jp/articles/-/50746 https://sdgs.yahoo.co.jp/featured/488.html


4. 規制緩和と制度整備 政府は年内にも対策をまとめる方針で、ライドシェアの制度化に向けた検討を進めています。NHKクローズアップ現代の要約によると、現行法の拡充による対応が重要とされています。


## 今後の業界予測

1. 段階的な規制緩和

現在の日本版ライドシェアは地域や時間を限定して導入されていますが、今後は段階的に規制が緩和され、対象地域や時間帯が拡大していく可能性があります。


2. タクシー業界との融合

タクシー会社が主導する現在の日本版ライドシェアモデルは、今後もタクシー業界とライドシェアの融合が進む可能性を示唆しています。既存のタクシー会社がライドシェアプラットフォームを活用し、新たなビジネスモデルを構築する動きが加速すると予測されます。


3. テクノロジーの進化による安全性向上

配車アプリの機能拡充や、AIを活用した運行管理システムの導入など、テクノロジーの進化により、ライドシェアの安全性が向上していくと考えられます。


4. 多様な移動サービスとの連携

ライドシェアは、公共交通機関やカーシェアリング、自転車シェアリングなど、他の移動サービスと連携し、総合的なモビリティサービスの一部として発展していく可能性があります。


5. 労働環境の整備

ドライバーの労働条件や権利保護に関する議論が活発化し、フリーランスドライバーの待遇改善や社会保障の整備が進むと予測されます。


## データから推測されるメディアが今後注目するだろうテーマ、キーワード

1. 地域活性化とライドシェア

- 過疎地域の交通問題解決 - 観光地でのモビリティ確保

2. シェアリングエコノミーの進展

- 新たな雇用形態 - 副業としてのライドシェアドライバー

3. テクノロジーと交通の融合

- AIによる配車最適化 - 自動運転技術との連携

4. 安全性と信頼性の確保

- ドライバーの審査基準 - 利用者の評価システム

5. 法制度の整備

- ライドシェア関連法案 - 労働法制の見直し

6. 環境への影響

- CO2排出削減効果 - 都市部の渋滞緩和

7. データプライバシーと情報セキュリティ

- 利用者情報の保護 - サイバーセキュリティ対策 ## まとめ 日本版ライドシェアは、タクシー運転手不足や交通空白地域の拡大という社会課題に対する解決策として注目されています。しかし、その導入には安全性や労働者の権利保護、既存のタクシー業界との調和など、多くの課題が存在します。 企業は、タクシー会社主導のモデルや配車アプリの活用、地域特性に応じた柔軟な運用などの解決策を提示しています。


今後は、段階的な規制緩和やテクノロジーの進化、他の移動サービスとの連携などにより、ライドシェア業界がさらに発展していくと予測されます。 メディアは、地域活性化やシェアリングエコノミーの進展、テクノロジーと交通の融合、安全性と信頼性の確保、法制度の整備、環境への影響、データプライバシーなど、多角的な視点からライドシェアを取り上げていくことが予想されます。


ライドシェアは、単なる移動手段の提供にとどまらず、社会構造や働き方、都市計画にまで影響を及ぼす可能性を秘めています。今後の展開に注目が集まるとともに、社会全体でのコンセンサス形成が求められる重要なテーマとなるでしょう。

このように様々なニュースソースからキーワードに合わせてニュースを調査し、広報課題やメディア注目のキーワードを出すことができました。

使うモデルやTemperatureの設定などで出力イメージが大きく変わるので、まずは色々と試してみるのが良いかと思います。

ニュース分析にDifyを使うポイント

ここからは実際にDifyを広報/PRツールとして活用する際のポイントについてまとめておきます。

ポイント①なるべくローカルDifyを使う

Difyには自分のPCなどで実行可能な無料のローカル版と、ネット上で有料で使用するクラウド版の2種類が存在します。

お手軽なのはクラウド版ですが、ローカル版には無料で使えたり、データ制限を外したりするほか以下のような多くのメリットがあります。

  • 無料で利用可能
  • 使用に関する制限がない
  • 有料のFirecrawlがなんと無料で使える
  • ウェブクローリングとデータ収集が容易に
  • RAG(Retrieval-Augmented Generation)の容量を気にする必要がない

ニュース分析においても、ローカルDifyの活用は多くの利点をもたらします。

まず、ローカルDifyは無料で利用可能であり、使用に関する制限がないため、大規模なプロジェクトでも柔軟に対応できます。特筆すべきは、Firecrawlが無料で使えることで、これによりウェブクローリングとデータ収集が容易になり、幅広いニュースソースからの情報収集が可能になります。

さらに、RAG(Retrieval-Augmented Generation)の容量を気にする必要がないため、大量のデータを扱う分析に適しています。これは、長期間にわたる複雑なニュース分析や、多岐にわたるトピックの統合分析に特に有効です。また、容量制限の変更が可能なため、プロジェクトの規模や要件に応じて柔軟に調整できます。

セキュリティの観点からも、ローカルDifyは大きな利点があります。データがローカル環境で処理されるため、機密性の高い情報や個人情報を含むニュース分析でも、データの外部流出リスクを最小限に抑えることができます。これは、企業や組織の内部情報を扱う分析や、法的規制の厳しい業界でのニュース分析に特に重要です。

ポイント②未来予測はキーワードで出させる

過去のニュースをもとに、今後メディアで注目されるニュースを知りたいところですが、LLM系の予測は、まだあまり使えないのが現状でしょう。

この場合は、エピソードでなくより抽象的なキーワードで出力させるのがおすすめです。ニュースソースの対象を幅広くとることで、より柔軟な出力ができるようになるでしょう。

企画や情報のスピードという観点からは、ABEMA Primeなどもおすすめです。

ポイント③最終出力はCluade 3.5 sunnetがおすすめ

DifyではGPTやGeminiなど様々なLLMモデルが使えますが、ニュースの分析という観点からは今のところCluade 3.5 sunnetが最も相性が良いと感じています。

プレスリリースなどの出力のセンスも良いため積極的に活用したいところですが、いかんせんコストが割高です。

よってDifyではニュースの収集やデータ処理にはコストが安くスピードも早い4o-miniなどを使い、最終レポートや文章出力などの最後のノードだけCluade 3.5 sunnetを使うのがオススメです。

以上、長くなってしまいましたがDifyでニュース分析をする方法の解説でした。

直近ではOpenAIからAIと遅延なく音声会話できるRealtime APIが発表され、音声指示でニュースサイトを掘り下げる手法も公開されるなど今後の動きにも注目です。




関連記事

広報・PRやプレスリリースまわりでお困りのことはございませんか?
多数の企業サポートを行ってきた当社が解決いたします。
お気軽にお問合せください。