本文へスキップ
開発事例 / Webアプリ

コハク(声で話せるAIペット)

声で会話し、カメラで見たものに反応する相棒AI

公開中

スマホに住む小さな相棒AI。声で自由におしゃべりでき、カメラで見たものに反応し、天気や時間も分かり、これまでの会話を覚えている。昔話や翻訳もこなす。合言葉で呼び覚ますウェイクワード方式で、ペットのような存在感を目指した音声AIコンパニオン。

この作品の要点
困っていたこと既存の音声アシスタントは事務的で愛着が湧かない。
やったことペルソナを持つ「相棒」として会話体験を設計。
起きたこと声・視覚・記憶を統合した音声AIコンパニオンを実現。
もくじ

どこでつまずいたか

01既存の音声アシスタントは事務的で愛着が湧かない

02会話が毎回リセットされ関係性が育たない

03画面を見ないと使えないAIが多い

どう解いたか

01ペルソナを持つ「相棒」として会話体験を設計

02会話履歴を記憶して継続的な関係性を作る

03音声とカメラで画面を見なくても使える体験に

できあがったもの

できあがった画面

コハク(声で話せるAIペット) の画面 1
コハク(声で話せるAIペット) の画面 2
コハク(声で話せるAIペット) の画面 3
コハク(声で話せるAIペット) の画面 4
コハク(声で話せるAIペット) の画面 5
コハク(声で話せるAIペット) の画面 6
コハク(声で話せるAIペット) の画面 7

結果

01声・視覚・記憶を統合した音声AIコンパニオンを実現
02ウェイクワードで常駐する自然な呼び出し体験を構築

この作品でできること

  • 声で自由に会話できるリアルタイム音声AI
  • カメラで見たものに反応するVision対応
  • 会話を記憶して続きから話せる
  • 合言葉(ウェイクワード)で呼び覚ます
  • 天気・時間・昔話・翻訳にも対応

どう作ったか

できること3項目

声で自由に会話できるリアルタイム音声AIペルソナを持つ「相棒」として会話体験を設計
カメラで見たものに反応するVision対応会話履歴を記憶して継続的な関係性を作る
会話を記憶して続きから話せる音声とカメラで画面を見なくても使える体験に

つくり1項目

AI・連携・データリアルタイム音声AI / カメラ/Vision / 音声認識・合成

使いどころ3項目

既存の音声アシスタントは事務的で愛着が湧かないペルソナを持つ「相棒」として会話体験を設計
会話が毎回リセットされ関係性が育たない会話履歴を記憶して継続的な関係性を作る
画面を見ないと使えないAIが多い音声とカメラで画面を見なくても使える体験に

担当と道具

担当企画・UI設計・フルスタック開発・音声AI統合
使った技術Next.js・TypeScript・Tailwind CSS・リアルタイム音声AI・カメラ/Vision・音声認識・合成

この作品のきほん

種類Webアプリ
いまの状態公開中
規模担当4領域 / 技術6種類
公開先kohaku.nextcode.ltd

相談する

おなじものが作れます

同じ仕組みを、あなたの商品でも作れます。