SEANet: 音声符号化のための畳み込みニューラルネットワーク 2025年12月22日更新
SEANet（Simple and Efficient Audio Neural Network）は、音声の効率的なエンコード・デコードを実現する畳み込みニューラルネットワークアーキテクチャです。本記事では、その基本構造から実装のポイントまでを整理します。
SEANet とは
SEANet（Simple and Efficient Audio Neural Network）は、音声信号を低次元の潜在表現に圧縮し、再び高品質な音声として復元するためのニューラルネットワークアーキテクチャです。Meta（旧Facebook）の研究チームによって開発され、EnCodec などの音声生成モデルのバックボーンとして広く採用されています。
SEANet の主な特徴は以下の通りです。
- エンコーダ・デコーダの対称的な構造
- 畳み込み層とストライドによる効率的なダウンサンプリング・アップサンプリング
- 残差接続（Residual Connection）による学習の安定化
- LSTM 層を用いた時系列依存関係のモデリング
- リアルタイム処理に適した軽量設計
アーキテクチャの全体像
SEANet は大きく分けて以下の3つのコンポーネントで構成されます。
| コンポーネント | 役割 | 主要な処理 |
|---|---|---|
| エンコーダ | 音声波形を潜在表現に圧縮 | 畳み込み + ダウンサンプリング + LSTM |
| 量子化器（Quantizer） | 潜在表現を離散的なコードに変換 | ベクトル量子化（VQ）または残差量子化（RVQ） |
| デコーダ | 潜在表現から音声波形を復元 | LSTM + 転置畳み込み + アップサンプリング |
エンコーダとデコーダは互いに対称的な構造を持ち、量子化器を介して情報のボトルネックを形成します。これにより、音声データを効率的に圧縮しながらも、高品質な再構成を実現しています。
エンコーダの詳細
基本構造
エンコーダは以下のレイヤーで構成されます。
- 初期畳み込み層: 入力音声波形（1チャンネル）を多チャンネルの特徴マップに変換
- ストライド畳み込みブロック: 複数の畳み込み層を用いて、時間軸方向にダウンサンプリングしながら特徴を抽出
- LSTM 層: 時系列の依存関係をモデリング（オプション）
- 出力畳み込み層: 潜在表現のチャンネル数を調整
ストライド畳み込みブロックの仕組み
各ストライド畳み込みブロックは、以下のような構成になっています。
Conv1D(stride=2) -> ELU() -> Conv1D(stride=1) -> ELU() -> Residual Connection
ストライドを 2 に設定することで、時間軸方向に半分のサイズにダウンサンプリングしながら、チャンネル数を増やしていきます。これにより、空間的な解像度を下げつつ、より抽象的な特徴を学習します。
残差接続の効果
各ブロック内では、入力と出力を加算する残差接続（スキップコネクション）が使用されます。これにより、勾配消失問題を緩和し、深いネットワークでも安定して学習できるようになります。
デコーダの詳細
デコーダはエンコーダの逆操作を行い、潜在表現から元の音声波形を復元します。
基本構造
- 入力畳み込み層: 量子化された潜在表現をデコーダの内部表現に変換
- LSTM 層: エンコーダと対称的に時系列モデリング
- 転置畳み込みブロック: 複数の転置畳み込み層を用いてアップサンプリング
- 出力畳み込み層: 最終的に1チャンネルの音声波形を生成
転置畳み込み（Transposed Convolution）
転置畳み込みは、畳み込みの逆操作として機能し、特徴マップのサイズを拡大します。SEANet では、各ブロックでストライド 2 の転置畳み込みを使用し、時間軸方向に2倍にアップサンプリングします。
ConvTranspose1D(stride=2) -> ELU() -> Conv1D(stride=1) -> ELU() -> Residual Connection
量子化器の役割
エンコーダとデコーダの間に配置される量子化器は、連続的な潜在表現を離散的なコードに変換します。これにより、音声データをビット列として表現でき、効率的な圧縮と伝送が可能になります。
ベクトル量子化（Vector Quantization, VQ）
VQ では、あらかじめ学習されたコードブック（複数のベクトルの集合）から、入力に最も近いベクトルを選択します。これにより、連続値を離散的なインデックスに変換できます。
残差量子化（Residual Vector Quantization, RVQ）
RVQ は複数段階の量子化を行い、各段階で前段階の量子化誤差を次の段階で補正します。これにより、より高精度な表現が可能になり、音質の向上が期待できます。
実装のポイント
1. 畳み込み層の設計
SEANet では、カーネルサイズやストライドの設定が音質に大きく影響します。一般的には以下のような設定が用いられます。
- カーネルサイズ: 7 ～ 16
- ストライド: 2, 4, 5, 8 などの組み合わせ
- パディング: カーネルサイズに応じて調整（時間軸の対称性を保つため）
2. 正規化とアクティベーション
各畳み込み層の後には、通常 Weight Normalization や Layer Normalization が適用されます。アクティベーション関数には ELU（Exponential Linear Unit）が使われることが多く、負の値に対しても滑らかな勾配を持つため、学習が安定します。
3. LSTM の適用
LSTM 層はオプションですが、長い時系列依存関係を捉えるために有効です。ただし、計算コストが増加するため、リアルタイム処理が必要な場合は省略されることもあります。
4. 損失関数
SEANet の学習では、以下のような損失関数の組み合わせが使用されます。
- 再構成損失: L1 損失や L2 損失により、入力と出力の波形の差を最小化
- スペクトログラム損失: STFT（短時間フーリエ変換）を用いた周波数領域での損失
- 敵対的損失: Discriminator を用いて、生成された音声の自然さを評価
- 量子化損失: コミットメント損失やコードブック損失を用いて、量子化の精度を向上
応用例
SEANet は以下のような音声処理タスクに応用されています。
- EnCodec: 高品質な音声圧縮コーデック（Meta AI）
- MusicGen: テキストから音楽を生成するモデルのバックボーン
- AudioGen: 環境音や効果音の生成
- リアルタイム音声通信: 低遅延での音声符号化・復号化
まとめ
SEANet は、シンプルかつ効率的な設計により、高品質な音声の符号化・復号化を実現します。畳み込み層と残差接続を組み合わせた構造により、深いネットワークでも安定した学習が可能であり、リアルタイム処理にも適しています。音声圧縮や音声生成のタスクにおいて、今後も重要な役割を果たすアーキテクチャといえるでしょう。
参考文献
- Défossez, A., Copet, J., Synnaeve, G., & Adi, Y. "High Fidelity Neural Audio Compression." arXiv preprint arXiv:2210.13438 (2022). https://arxiv.org/abs/2210.13438 (accessed 2025-11-07)
- Meta AI. "audiocraft - PyTorch library for audio processing and generation." GitHub Repository. https://github.com/facebookresearch/audiocraft (accessed 2025-11-07)