MuseTalkでリアルタイムAIアバター接客を作る — ASR→LLM→TTS→リップシンクの本番ストリーミング設計

[ユーザー発話(マイク)]
   │  ① ASR：ストリーミング文字起こし（Whisper系）
   ▼   → /blog/openai-whisper-production-guide-selfhost-vs-api
[確定テキスト/部分テキスト]
   │  ② LLM：返答をトークン・ストリームで生成（Claude）
   ▼   → /blog/claude-api-ai-sdk-v6-production-ai-features
[返答テキスト(チャンク)]
   │  ③ TTS：文単位でストリーミング音声合成
   ▼
[音声チャンク]
   │  ④ MuseTalk：事前焼き込みアバターに即リップシンク
   ▼
[喋るアバター映像(フレーム列)]
   │  ⑤ 配信：WebRTC / WebSocket / 低遅延HLS
   ▼
[ブラウザ/サイネージ]

// lib/avatar/runtime.ts — MuseTalkを「焼く/喋る」で抽象化（実装は差し替え可能 = DIP）
import { z } from "zod";

export const SpeakChunk = z.object({
  audioUrl: z.string().url(),
  seq: z.number().int().nonnegative(), // 並び順。順序保証に使う
});
export type SpeakChunk = z.infer<typeof SpeakChunk>;

export interface SpeakResult {
  readonly videoUrl: string; // or フレーム列のストリーム参照
  readonly seq: number;
}

export interface AvatarRuntime {
  /** 新規アバターを1回だけ前処理（preparation: True 相当）。重いので起動時に。 */
  prepare(input: { avatarId: string; sourceVideoUrl: string; bboxShift?: number }): Promise<void>;
  /** 焼き込み済みアバターに音声チャンクを当て、口を合わせる（preparation: False 相当）。 */
  speak(input: { avatarId: string; chunk: SpeakChunk }): Promise<SpeakResult>;
  /** 進行中の生成を即停止（バージイン用）。 */
  cancel(avatarId: string): void;
}

// lib/avatar/turn.ts — 1ターンを状態機械で管理し、段をまたいでストリーミングする
import { z } from "zod";
import type { AvatarRuntime } from "./runtime";

export type TurnState = "idle" | "thinking" | "speaking" | "interrupted" | "error";

// 各依存は「ストリームを返す関数」。型で契約を固定する（ETC: 実装を差し替えやすく）
export interface TurnDeps {
  llmStream: (userText: string, signal: AbortSignal) => AsyncIterable<string>; // トークン片
  ttsStream: (sentence: string, signal: AbortSignal) => AsyncIterable<unknown>; // 音声チャンク
  avatar: AvatarRuntime;
  avatarId: string;
  onState: (s: TurnState) => void; // 可観測性：状態遷移を外へ通知
  onClip: (r: { videoUrl: string; seq: number }) => void; // 生成された口映像を配信層へ
}

const TtsChunk = z.object({ audioUrl: z.string().url() });

/** 文の区切りでLLMストリームを文単位に束ねる（KISS: 句点/改行で割る）。 */
async function* sentences(tokens: AsyncIterable<string>): AsyncIterable<string> {
  let buf = "";
  for await (const t of tokens) {
    buf += t;
    const parts = buf.split(/(?<=[。．！？\n])/); // 文末で分割
    buf = parts.pop() ?? "";
    for (const s of parts) if (s.trim()) yield s.trim();
  }
  if (buf.trim()) yield buf.trim();
}

export async function runTurn(userText: string, deps: TurnDeps): Promise<TurnState> {
  const ac = new AbortController();
  let seq = 0;
  deps.onState("thinking");

  try {
    // ② LLMをストリーム → ③ 文が揃うたびにTTS → ④ チャンクごとにリップシンク
    for await (const sentence of sentences(deps.llmStream(userText, ac.signal))) {
      deps.onState("speaking");
      for await (const raw of deps.ttsStream(sentence, ac.signal)) {
        if (ac.signal.aborted) break;
        const { audioUrl } = TtsChunk.parse(raw); // 境界で必ず検証
        const clip = await deps.avatar.speak({
          avatarId: deps.avatarId,
          chunk: { audioUrl, seq: seq++ },
        });
        deps.onClip(clip); // 先頭から順に配信 → 全文を待たずに喋り始める
      }
    }
    deps.onState("idle");
    return "idle";
  } catch (err) {
    if (ac.signal.aborted) {
      deps.onState("interrupted");
      return "interrupted";
    }
    deps.onState("error"); // フォールバック（定型音声/字幕）へ落とすのは呼び出し側の責務
    return "error";
  }
}

// lib/avatar/session.ts — セッションは「今のターン」を1つだけ持ち、新発話で前ターンを殺す
import { runTurn, type TurnDeps, type TurnState } from "./turn";

export class AvatarSession {
  private current: AbortController | null = null;
  constructor(private readonly deps: Omit<TurnDeps, "onState">) {}

  /** ユーザーが話し始めた瞬間に呼ぶ：進行中のターンを即停止（バージイン）。 */
  bargeIn(): void {
    this.current?.abort();
    this.deps.avatar.cancel(this.deps.avatarId); // GPU側の生成も止めてコストを無駄にしない
    this.current = null;
  }

  async handle(userText: string): Promise<TurnState> {
    this.bargeIn(); // 新しい発話は、常に前のターンを上書きする
    const ac = new AbortController();
    this.current = ac;
    return runTurn(userText, {
      ...this.deps,
      onState: () => {}, // このセッションは状態通知を購読しない（必要なら deps に onState を渡す設計に）
    });
  }
}

// 構造化ログ（PII除外）。相関IDでASR/LLM/TTS/リップシンクを横断して追える
type TurnLog = {
  turnId: string;
  avatarId: string;
  state: "idle" | "thinking" | "speaking" | "interrupted" | "error";
  ttfwMs: number | null; // 最初の音と口が動くまで
  fallback: "none" | "subtitle" | "audio_only" | "filler";
  // ❌ 入れない：userText, 音声バイト, 顔画像
};