AI/Tech2024-10-04

Realtime APIでヤフーニュースを取得してみる | AI時代のニュース消費の形を探る

OpenAIが公開した新Realtime APIを使い、ヤフーニュースを実際に探索した実験記事。タイムラグなくAIと会話できる新技術がニュース消費の形をどう変えるか、広報・PR業務への応用可能性とともに解説します。

主なポイント

OpenAIの新Realtime APIを使ってヤフーニュースを取得・探索する方法を解説しています。・Realtime APIはAIとの会話をタイムラグなくリアルタイムで行える技術・ニュース消費のAI時代における新しい形を探る実験的な取り組み・広報・PR業務への応用可能性を示しています。

catch-img

RealtimeAPIとは

OpenAIから新たにRealtimeAPIが公開されました。最近のOpenAIのデモでも使われたもので、ChatGPTのようなAIとの会話をタイムラグを感じさせることなくリアルタイムですることができます。

既にChatGPTのアプリ版には搭載されていますが、今回これがAPIとして公開されました。

Function Callも使用可能

RealtimeAPIは他の生成AIのAPIと同様、外部関数が利用可能なFunction Call機能も搭載されています。

[OpenAI]Function Callingとは？実例で仕組みを解説生成AIの重要機能Function Callingの仕組みの説明、実装方法、ノーコードLLMツールDifyとの関係などを中心に、なるべく分かりやすく解説していきたいと思います。広報・PR支援の株式会社ガーオン

そして早速、ノーコードAIアプリケーション「Dify」のクローリングツールとしても有名なツール「Firecrawl」により、スクレイピング技術と融合させたデモが公開されました。

\\
— @nickscamara\_ (@nickscamara_) 午後4:42 · 2024年10月4日

[Using OpenAI's Realtime API and Firecrawl to Talk with Any WebsiteBuild a real-time conversational agent that interacts with any website using OpenAI's Realtime API and Firecrawl.Firecrawl](https://www.firecrawl.dev/blog/How-to-Talk-with-Any-Website-Using-OpenAIs-Realtime-API-and-Firecrawl)

ブログにもサンプルコードや利用方法などが公開されているため、今回はこちらを日本語で実装してみたいと思います。

実演：RealtimeAPIでYahooニュースを探索してみる

実際の実行状況を以下にアップロードしました。

このようにYahooニュースも問題なくスクレイピングできており、ニュースの内容も解説してくれました。

AIとの会話の中で、スクレイピングツール「Firecrawl」をFunction callとして使うことで、ニュースを取得するもので、映像に出てくるニュースの画像は、スクレイピングプロセスの一貫としてキャプチャー（静止画像）を取って表示させたものになります。

機能は現在、指定した単一ページをスクレイピングするscrape_dataと、単一URLからURLを抽出しキーワードで探すmap_websiteの2つが公開されています。

scrape_data

 client.addTool(
  {
    name: 'scrape_data',
    description: 'Goes to or scrapes data from a given URL using Firecrawl.',
    parameters: {
      type: 'object',
      properties: {
        url: {
          type: 'string',
          description: 'URL to scrape data from',
        },
      },
      required: ['url'],
    },
  },
  async ({ url }: { url: string }) => {
    const firecrawl = new FirecrawlApp({
      apiKey: process.env.FIRECRAWL_API_KEY || '',
    });
    const data = await firecrawl.scrapeUrl(url, {
      formats: ['markdown', 'screenshot'],
    });
    if (!data.success) {
      return 'Failed to scrape data from the given URL.';
    }
    setScreenshot(data.screenshot || '');
    return data.markdown;
  }
);

map_website

client.addTool(
  {
    name: 'map_website',
    description: 'Searches a website for pages containing specific keywords using Firecrawl.',
    parameters: {
      type: 'object',
      properties: {
        url: {
          type: 'string',
          description: 'URL of the website to search',
        },
        search: {
          type: 'string',
          description: 'Keywords to search for (2-3 max)',
        },
      },
      required: ['url', 'search'],
    },
  },
  async ({ url, search }: { url: string; search: string }) => {
    const firecrawl = new FirecrawlApp({
      apiKey: process.env.FIRECRAWL_API_KEY || '',
    });
    const mapData = await firecrawl.mapUrl(url, { search });
    if (!mapData.success || !mapData.links?.length) {
      return 'No pages found with the specified keywords.';
    }
    const topLink = mapData.links[0];
    const scrapeData = await firecrawl.scrapeUrl(topLink, {
      formats: ['markdown', 'screenshot'],
    });
    if (!scrapeData.success) {
      return 'Failed to retrieve data from the found page.';
    }
    setScreenshot(scrapeData.screenshot || '');
    return scrapeData.markdown;
  }
);

他のFunction Callと同様、toolに設定するだけ追加実装が可能なため、例えば SEOツールのahrefsをWebサイトを見ながらAIに音声で指示 したり、 音声でXの投稿文を作らせ投稿させる こともできます。