VoiceChat v2は「AI会話はテキストストリームに限定される必要はない」という洞察から生まれたマルチモーダルAIチャット研究プロトタイプ。ユーザーが自然な会話を行いながら、同時にキャンバス上でリッチなビジュアル・インタラクティブコンテンツを体験できる。画像が具現化し、地図が探索可能になり、ゲームがプレイ可能になる——すべてが会話の流れの中で起こる。LLM_OS.md / WHITEPAPER.md / TOOLPLUGIN.mdの3部構成ドキュメントで、AIネイティブOSのアーキテクチャとデザインパターンを体系化。OpenAI / Gemini / Anthropic / Ollama / ComfyUIの5モデルを切替可能。
この作品の要点
| 困っていたこと | 既存チャットUIはテキストストリームに閉じている。 |
|---|---|
| やったこと | キャンバスとチャットを統合したマルチモーダルUI。 |
| 起きたこと | マルチモーダルAI OSの研究プロトタイプとして公開。 |
どこでつまずいたか
01既存チャットUIはテキストストリームに閉じている
02ビジュアルと言語理解を自然に共存させるアーキテクチャが未確立
03マルチAIを切り替えながら使う体験が分断されている
どう解いたか
01キャンバスとチャットを統合したマルチモーダルUI
02TypeScriptコントラクト＋Vueビューのプラグイン契約を定義
035モデルを統一インターフェースでスイッチ可能に
できあがったもの
できあがった画面
結果
| 01 | マルチモーダルAI OSの研究プロトタイプとして公開 |
|---|---|
| 02 | プラグイン拡張の設計パターンを確立 |
この作品でできること
- 5つのAIモデルをシームレスに切替（OpenAI/Gemini/Claude/Ollama/ComfyUI）
- 会話フロー内で画像・地図・ゲームが動的に具現化
- TypeScriptコントラクトベースのプラグインシステム
- LLM_OS.md / WHITEPAPER.md の体系化ドキュメント
- ローカルLLM（Ollama）+ ローカル画像生成（ComfyUI）統合
どう作ったか
できること3項目
| 5つのAIモデルをシームレスに切替 | キャンバスとチャットを統合したマルチモーダルUI |
|---|---|
| 会話フロー内で画像・地図・ゲームが動的に具現化 | TypeScriptコントラクト＋Vueビューのプラグイン契約を定義 |
| TypeScriptコントラクトベースのプラグインシステム | 5モデルを統一インターフェースでスイッチ可能に |
つくり2項目
| フロントエンド・基盤 | Vue 3 / TypeScript / OpenAI API / Gemini API / Anthropic API |
|---|---|
| AI・連携・データ | Ollama / ComfyUI / Google Maps API / EXA API |
使いどころ3項目
| 既存チャットUIはテキストストリームに閉じている | キャンバスとチャットを統合したマルチモーダルUI |
|---|---|
| ビジュアルと言語理解を自然に共存させるアーキテクチャが未 | TypeScriptコントラクト＋Vueビューのプラグイン契約を定義 |
| マルチAIを切り替えながら使う体験が分断されている | 5モデルを統一インターフェースでスイッチ可能に |
担当と道具
| 担当 | 企画・アーキテクチャ設計・AI連携・プラグイン設計 |
|---|---|
| 使った技術 | Vue 3・TypeScript・OpenAI API・Gemini API・Anthropic API・Ollama・ComfyUI・Google Maps API・EXA API |
この作品のきほん
| 種類 | Webアプリ |
|---|---|
| いまの状態 | 開発中 |
| 規模 | 担当4領域 / 技術9種類 |
| 公開先 | voicechat.nextcode.ltd |
相談する
おなじものが作れます
同じ仕組みを、あなたの商品でも作れます。
同じカテゴリの制作実績（Webアプリ）
似た課題を解いた他の事例です。
