---
language:
  - ja
license: apache-2.0
library_name: pytorch
base_model: Aratako/Irodori-TTS-500M-v2
tags:
  - text-to-speech
  - dialogue
  - japanese
  - overlap
  - flow-matching
---

# KABURI-TTS

[English is below](#kaburi-tts-english)

**KABURI-TTS** は、2 話者の日本語対話音声を左右 2 チャンネルで同時に生成する対話音声合成システムです。相槌・重なり（かぶり）・間を含む対話特有のタイミング構造を、テキストのみから再現できます。使い方・コードは [GitHub リポジトリ](https://github.com/llm-jp/kaburi-tts) を参照してください。

This work was developed as part of the Dialogue Working Group of the Research and Development Center for Large Language Models (LLMC), National Institute of Informatics (NII). / 本成果は、国立情報学研究所 大規模言語モデル研究開発センター（NII LLMC）対話WGの活動として作成されたものです。

## ファイル

| ファイル | 内容 |
|---|---|
| `acoustic/` | 対話音声を生成する acoustic model（Irodori-TTS-500M-v2 を対話ドメインに適応した rectified flow）と推論設定 |
| `raster/` | テキストから音素ラスタを作るモデル（realizer / gap）と、学習データから作成した統計データ |
| `predictor/` | 対話タイミング予測器と設定（論文で評価した構成。`--paper-mode` を付けたときに使われます） |
| `textconverter/` | 書き言葉的な対話を話し言葉に変換するモデル（[llm-jp/llm-jp-3-440m](https://huggingface.co/llm-jp/llm-jp-3-440m) を fine-tune）と tokenizer |

## モデル概要

- **Acoustic**: 音素系列・発話アクティビティ・話者参照音声を条件に 2 チャンネルを同時生成する rectified flow モデル（推論時は classifier-free guidance、cfg_scale=2.5）。出力 latent は [Semantic-DACVAE-Japanese-32dim](https://huggingface.co/Aratako/Semantic-DACVAE-Japanese-32dim) で 48 kHz ステレオに復号。
- **Raster generation**: テキストから 2 話者分の音素ラスタ（実際の発音・音素長・発話内ポーズ・間・かぶり）を作る 2 つの小さなモデル。realizer が発音される音素とその長さを、gap model が各発話を始めるタイミングを決めます。いずれも LLM-jp-Zoom1 の実測タイミングを教師に学習しています。
- **Predictor**: 音素列 + 対話文脈から音素継続長・発話前無音・チャンネル間 gap/overlap を予測する軽量 Transformer（論文で評価した構成）。
- **Text converter**: 書き言葉的な対話を、LLM-jp-Zoom1 の話し言葉スタイル（短いターン・相槌・フィラー）に書き換えるモデル。

## 論文との関係

音響モデルは論文と同一です。最新版では、論文版の単一 timing predictor を realizer（実発音・音素長・発話内ポーズ）と gap model（間・かぶり）に置き換えています。GitHub のデモページに掲載している合成音声は最新版で生成しています。論文版は `predictor/`（`--paper-mode`）、対応するコード一式は GitHub の `paper-release-v1` タグで再現できます。

## 学習データ

**LLM-jp-Zoom1**（NII LLMC が構築した 2 話者日本語自由対話コーパス）。

## 制限事項

- 出力品質の上限は DACVAE codec（32-dim, 25 fps）に依存します。
- G2P 辞書に無い語は読みが不明瞭になることがあります。
- 韻律がやや不自然な箇所が残ることがあります。
- 話者参照は、学習データと近い条件の音声ほど品質が安定します（オンライン会議で録音した自然な会話で、10 秒程度、その中でよく話している音声）。スタジオ録音の朗読音声などでは品質が下がることがあります。

## ライセンス

本リポジトリで配布するモデル重み・設定は Apache License 2.0 です（本文は同梱の `LICENSE`、第三者素材の帰属は同梱の `NOTICE` を参照）。ただし派生元・依存先のライセンスが併せて適用されます。

- **acoustic model** は [Irodori-TTS-500M-v2](https://huggingface.co/Aratako/Irodori-TTS-500M-v2)（MIT）の派生であり、MIT の条件も適用されます。
- **textconverter** は [llm-jp/llm-jp-3-440m](https://huggingface.co/llm-jp/llm-jp-3-440m)（Apache 2.0）の派生です。
- 合成時に自動でダウンロードされる [Semantic-DACVAE-Japanese-32dim](https://huggingface.co/Aratako/Semantic-DACVAE-Japanese-32dim) の重みは MIT で、本リポジトリでは再配布していません（依存として導入される DACVAE のコードは Apache 2.0）。
- 話者参照音声は本リポジトリに含まれません。GitHub のデモページに掲載している音声には別途 [JVS corpus](https://sites.google.com/site/shinnosuketakamichi/research-topics/jvs_corpus) の利用条件が適用されます（[docs/LICENSE-audio.md](https://github.com/llm-jp/kaburi-tts/blob/main/docs/LICENSE-audio.md) を参照）。

## 利用上の注意

以下はライセンス条件ではなく、利用にあたってのお願いと注意です。

- なりすまし・詐欺・誤情報の生成といった悪用はしないでください。派生元の [Irodori-TTS-500M-v2](https://huggingface.co/Aratako/Irodori-TTS-500M-v2) の利用上の注意も併せてご確認ください。
- 出力には学習データ由来の偏りや、不正確・不適切な内容が含まれる可能性があります。
- 利用により生じたいかなる損害についても開発者は責任を負いません。

## 引用

本成果は APSIPA ASC 2026 採録論文です（to appear）。プレプリントは [arXiv:2609.07200](https://arxiv.org/abs/2609.07200) で公開しています。

> Ryuichiro Higashinaka, Shinnosuke Takamichi, and Tetsuji Ogawa. "KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction." In *Proceedings of the 2026 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)*, 2026. (to appear)

```bibtex
@inproceedings{kaburi-tts,
  title     = {{KABURI-TTS}: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction},
  author    = {Higashinaka, Ryuichiro and Takamichi, Shinnosuke and Ogawa, Tetsuji},
  booktitle = {Proceedings of the 2026 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)},
  year      = {2026},
  eprint    = {2609.07200},
  archivePrefix = {arXiv},
  primaryClass = {cs.SD},
  url       = {https://arxiv.org/abs/2609.07200},
  note      = {to appear}
}
```

---

# KABURI-TTS (English)

**KABURI-TTS** is a spoken dialogue synthesis system that generates two-speaker Japanese conversations as two simultaneous audio channels, reproducing conversational timing — backchannels, overlaps (*kaburi*), and pauses — from text alone. See the [GitHub repository](https://github.com/llm-jp/kaburi-tts) for usage and code.

## Files

| File | Description |
|---|---|
| `acoustic/` | Dialogue acoustic model (a rectified-flow model adapting Irodori-TTS-500M-v2 to the dialogue domain) and inference config |
| `raster/` | Models that turn text into phone rasters (realizer / gap), with statistics derived from the training data |
| `predictor/` | Dialogue timing predictor and config (the configuration evaluated in the paper; used when `--paper-mode` is given) |
| `textconverter/` | Model that rewrites written-style dialogue into spoken style (fine-tuned from [llm-jp/llm-jp-3-440m](https://huggingface.co/llm-jp/llm-jp-3-440m)) and its tokenizer |

## Model overview

- **Acoustic**: a rectified-flow model conditioned on phone sequences, utterance activity, and speaker reference audio that generates both channels simultaneously (classifier-free guidance at inference, cfg_scale=2.5). Latents are decoded to 48 kHz stereo by [Semantic-DACVAE-Japanese-32dim](https://huggingface.co/Aratako/Semantic-DACVAE-Japanese-32dim).
- **Raster generation**: two small models that turn text into two-speaker phone rasters. The realizer decides which phones are pronounced and how long each lasts; the gap model decides when each utterance starts (pauses and overlaps). Both are trained on measured timing from LLM-jp-Zoom1.
- **Predictor**: a lightweight Transformer that predicts per-phone durations, pre-utterance silences, and cross-channel gaps/overlaps from phone tokens + dialogue context (the configuration evaluated in the paper).
- **Text converter**: a model that rewrites written-style dialogue into the spoken style of LLM-jp-Zoom1 (short turns, backchannels, fillers).

## Relation to the paper

The acoustic model is unchanged. The current release replaces the paper's single timing predictor with a realizer (realized phones, phone durations, and intra-utterance pauses) and a gap model (gaps and overlaps). The demo samples use the current release. Use `predictor/` with `--paper-mode` for the paper pipeline; the corresponding code snapshot is tagged `paper-release-v1` on GitHub.

## Training data

**LLM-jp-Zoom1**, a corpus of Japanese two-speaker free conversations built at NII LLMC.

## Limitations

- Output quality is bounded by the DACVAE codec (32-dim, 25 fps).
- Words missing from the G2P dictionary may be unclear.
- Some prosodic unnaturalness remains.
- Speaker references work best when they resemble the training data: natural conversation recorded over an online meeting tool, about 10 seconds long, with the reference speaker talking for most of it. Studio-recorded read speech may degrade quality.

## License

The model weights and configurations distributed here are licensed under Apache License 2.0 (full text in the bundled `LICENSE`; third-party attributions in the bundled `NOTICE`). The licenses of the models they derive from or depend on also apply.

- The **acoustic model** derives from [Irodori-TTS-500M-v2](https://huggingface.co/Aratako/Irodori-TTS-500M-v2) (MIT), so the MIT terms apply as well.
- The **text converter** derives from [llm-jp/llm-jp-3-440m](https://huggingface.co/llm-jp/llm-jp-3-440m) (Apache 2.0).
- The [Semantic-DACVAE-Japanese-32dim](https://huggingface.co/Aratako/Semantic-DACVAE-Japanese-32dim) weights (MIT) are downloaded at synthesis time and are not redistributed here; the DACVAE code installed as a dependency is licensed under Apache 2.0.
- No speaker reference audio is included in this repository. The audio on the GitHub demo page is additionally subject to the terms of the [JVS corpus](https://sites.google.com/site/shinnosuketakamichi/research-topics/jvs_corpus) (see [docs/LICENSE-audio.md](https://github.com/llm-jp/kaburi-tts/blob/main/docs/LICENSE-audio.md)).

## Safety considerations

These are not license terms, but requests and caveats for users.

- Please do not use this model for impersonation, fraud, or generating misinformation. See also the usage notes of the upstream [Irodori-TTS-500M-v2](https://huggingface.co/Aratako/Irodori-TTS-500M-v2).
- Outputs may contain biases or inaccurate or offensive content derived from the training data.
- The developers assume no responsibility for any damages arising from use.

## Citation

This work has been accepted at APSIPA ASC 2026 (to appear). A preprint is available as [arXiv:2609.07200](https://arxiv.org/abs/2609.07200).

> Ryuichiro Higashinaka, Shinnosuke Takamichi, and Tetsuji Ogawa. "KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction." In *Proceedings of the 2026 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)*, 2026. (to appear)

```bibtex
@inproceedings{kaburi-tts,
  title     = {{KABURI-TTS}: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction},
  author    = {Higashinaka, Ryuichiro and Takamichi, Shinnosuke and Ogawa, Tetsuji},
  booktitle = {Proceedings of the 2026 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)},
  year      = {2026},
  eprint    = {2609.07200},
  archivePrefix = {arXiv},
  primaryClass = {cs.SD},
  url       = {https://arxiv.org/abs/2609.07200},
  note      = {to appear}
}
```