本文へスキップ

Webアプリ開発中

VoiceChat v2LLM-Native OS

AI会話をテキストストリームから解放するマルチモーダルOS研究

無料で相談する実物を見る
種類
Webアプリ
いまの状態
開発中
公開先
voicechat.nextcode.ltd
掲載日
2026-04-24

この作品について

VoiceChat v2は「AI会話はテキストストリームに限定される必要はない」という洞察から生まれたマルチモーダルAIチャット研究プロトタイプ。ユーザーが自然な会話を行いながら、同時にキャンバス上でリッチなビジュアル・インタラクティブコンテンツを体験できる。画像が具現化し、地図が探索可能になり、ゲームがプレイ可能になる——すべてが会話の流れの中で起こる。LLM_OS.md / WHITEPAPER.md / TOOLPLUGIN.mdの3部構成ドキュメントで、AIネイティブOSのアーキテクチャとデザインパターンを体系化。OpenAI / Gemini / Anthropic / Ollama / ComfyUIの5モデルを切替可能。

要点

この作品の要点

困っていたこと
既存チャットUIはテキストストリームに閉じている。
やったこと
キャンバスとチャットを統合したマルチモーダルUI。
起きたこと
マルチモーダルAI OSの研究プロトタイプとして公開。

課題と解決

困りごとと、解き方

  • 困っていたこと

    既存チャットUIはテキストストリームに閉じている

  • やったこと

    キャンバスとチャットを統合したマルチモーダルUI

  • 困っていたこと

    ビジュアルと言語理解を自然に共存させるアーキテクチャが未確立

  • やったこと

    TypeScriptコントラクト+Vueビューのプラグイン契約を定義

  • 困っていたこと

    マルチAIを切り替えながら使う体験が分断されている

  • やったこと

    5モデルを統一インターフェースでスイッチ可能に

成果

できあがったもの

成果

  • マルチモーダルAI OSの研究プロトタイプとして公開
  • プラグイン拡張の設計パターンを確立

見どころ

  • 5つのAIモデルをシームレスに切替(OpenAI/Gemini/Claude/Ollama/ComfyUI)
  • 会話フロー内で画像・地図・ゲームが動的に具現化
  • TypeScriptコントラクトベースのプラグインシステム
  • LLM_OS.md / WHITEPAPER.md の体系化ドキュメント
  • ローカルLLM(Ollama)+ ローカル画像生成(ComfyUI)統合

作り方

どう作ったか

担当
企画・アーキテクチャ設計・AI連携・プラグイン設計
使った技術
Vue 3・TypeScript・OpenAI API・Gemini API・Anthropic API・Ollama・ComfyUI・Google Maps API・EXA API

主要機能

5つのAIモデルをシームレスに切替
キャンバスとチャットを統合したマルチモーダルUI
会話フロー内で画像・地図・ゲームが動的に具現化
TypeScriptコントラクト+Vueビューのプラグイン契約を定義
TypeScriptコントラクトベースのプラグインシステム
5モデルを統一インターフェースでスイッチ可能に

技術的詳細

フロントエンド・基盤
Vue 3 / TypeScript / OpenAI API / Gemini API / Anthropic API
AI・連携・データ
Ollama / ComfyUI / Google Maps API / EXA API

活用シーン

既存チャットUIはテキストストリームに閉じている
キャンバスとチャットを統合したマルチモーダルUI
ビジュアルと言語理解を自然に共存させるアーキテクチャが未
TypeScriptコントラクト+Vueビューのプラグイン契約を定義
マルチAIを切り替えながら使う体験が分断されている
5モデルを統一インターフェースでスイッチ可能に

次の一歩

この作品に近いものを作りたい

この形で相談する