MulmoCastは、元マイクロソフトの中島聡さんが開発しているAI-Native設計の次世代プレゼンテーションプラットフォームです。

一言で言えば、文章などを自動的にプロ品質の動画に変換してくれる画期的ツールです。

以下の動画を見るとイメージが付きやすいかと思います。

• プレスリリースの文章 → ナレーション付き動画
• 商品説明書 → 製品紹介動画
• 社内報告書 → プレゼンテーション動画

• プレスリリース動画：新製品発表、企業ニュース
• 説明動画：サービス紹介、使い方ガイド
• 社内向け動画：研修資料、業績報告
• マーケティング動画：商品PR、キャンペーン告知

Githubでオープンソース公開されており、生成AIが台本となるJsonファイルを自動生成し、そこから生成AIによる画像生成や動画生成を経て、1本の動画を作り上げます。

生成AIとの協働を前提として一から設計されているそうです。天才エンジニアと評される中島さんのAI実装コードを見れるのも貴重です。

「子供向けの冒険物語を作りたい」といった自然言語で入力されたユーザーの要望を、MulmoScriptという独自のJson形式のファイルに変換されます。

このjsonにはナレーター発話用のセリフや、画像出力用のイメージプロンプトが含まれています。これが最初の脚本となります。

{
  "$mulmocast": {
    "version": "1.0"
  },
  "canvasSize": {
    "width": 1280,
    "height": 720
  },
  "speechParams": {
    "provider": "openai",
    "speakers": {
      "Narrator": {
        "displayName": {
          "ja": "ナレーター"
        },
        "voiceId": "coral",
        "speechOptions": {
          "instruction": "はきはきした元気なアナウンサーの声で。重要な箇所はゆっくり強調して話してください。",
          "speed": 1.1
        }
      }
    }
  },
  "imageParams": {
    "style": "フラットデザイン、親しみやすいイラスト風、明るく温かみのある色調、未来的だが威圧感のないビジュアル、アイソメトリックな3D表現",
    "provider": "openai"
  },
  "audioParams": {
    "padding": 0.4,
    "introPadding": 1.2,
    "closingPadding": 1,
    "outroPadding": 1.2,
    "bgmVolume": 0.12,
    "audioVolume": 1
  },
  "title": "【特報】スマホが身分証に！iPhoneがマイナンバーカードになる日",
  "lang": "ja",
  "beats": [
    {
        "speaker": "Narrator",
        "text": "こんにちは！今日はApple社のプレスリリースの補足説明を、話題のAI動画生成ツール「マルモキャスト」で行う実験をしてみたいと思います。",
        "imagePrompt": "明るいApple社の実験室のような空間で、中央に「MulmoCast」のロゴが浮かび、その周りをプレスリリースの紙が舞い、AI技術を表す光の粒子がキラキラと輝いている、革新的で楽しげな雰囲気"
      },

このjsonを使い画像などをOpen AIの画像出力モデルgpt-image-1などを使い1枚1枚出力していきます。音声はgpt-4o-mini-ttsがディフォルトで使われるようです。

そして最後に出力画像と音声をつなぎ合わせ、ffmpegで動画を作っていきます。

  "beats": [
    {
      "audioFile": "C:\\Users\\xxx\\xxx.mp3",
      "duration": 10.72,
      "imageFile": "C:\\Users\\xxx\\xxx.png"
    },

単一のスクリプトから様々な形式のコンテンツを生成することができます。

• 🎬 動画

• 🎙️ ポッドキャスト

• 📊 スライドショー

• 📄 PDF資料

• 🎨 マンガスタイルコミック

このMulmoCastを使えば、従来時間がかかっていた動画作成が簡単にできるため、広報業務としては、動画版プレスリリースや難解な情報の補足動画などに使うと非常に効果的だと思います。

今回サンプルとして、Apple社のiPhoneマイナンバー機能対応リリースを元素材として、どのような動画が出来上がるのかサンプルを作ってみました。

元素材はこちらのリリースのみとします。

出来上がった動画が以下となります。

分かりづらかった機能や設定方法など、非常に分かりやすくなったのではないでしょうか。

ここからは簡単にマルモキャストの使い方をご紹介します。

PCにインストールしたあと、主に2つのステップで動画を作成します。

まず、動画の設計図となるMulmoScriptを作成します。

作成方法は「AIとの対話で作成するモード」と「URLから作成するモード」「既存文章から作成するモード」の3パターンが選べます。

インタラクティブモードのコマンドは以下となり、既存のプレスリリース文書がある場合は、テキストファイルとして保存し、それを元にスクリプトを生成できます。この方法では、既存の文書の構造と内容を活かしながら、動画に適した形式に自動変換されます。

#対話モード
mulmo tool scripting -i -t [テンプレート] -o [出力先] -s [ファイル名]

#既存テキストから作成モード
mulmo tool scripting --input-file [テキストファイル] -t [テンプレート] -o [出力先] -s [ファイル名]

どちらの方法でも、完了するとscript-175109280.jsonのようなJSONファイルが生成されます。

これが画像出力や音声出力の元となる脚本データとなります。

PR動画などで使う場合は、最初のディフォルト出力をそのまま使うことは少ないかと思います。

jsonファイルに適宜修正を加えながら、脚本データを整えていく必要があるでしょう。

mulmo tool movie [jsonファイル]  -o [出力先] 

なお上記サンプル動画は静止画像生成にgpt-image-1を使っていますが、このモデル設定をGoogleのVem3に変えることで、動画で動かすことも可能となります。

以下は上記サンプルをGoogleのveo-2.0-generate-001で作成したものです。クオリティはまだまだですが、いずれ気にならないレベルになってしまうでしょう。

以上、MulmoCastのご紹介でした。

生成AI時代はこれから様々なフォーマットで情報発信ができるようになるでしょう。

従来テキストオンリーだったプレスリリースも、動画リリースや動くグラフなど様々なフォーマットを駆使する時代へ突入していきそうです。

詳しい使い方はオフィシャルのドキュメントなどをご確認ください。