メタ:
- id: ubuntu22-04-gstreamer-ndi-sdk-gst-plugin-ndi
- slug: ubuntu22-04-gstreamer-ndi-sdk-gst-plugin-ndi
- url: /blog/ubuntu22-04-gstreamer-ndi-sdk-gst-plugin-ndi/
- title: ubuntu22.04でGStreamerとNDI SDKを使ってUSBカメラの映像をNDI化してネットワークに流してみた。gst-plugin-ndiなど。
- date: 2024年2月18日22時33分
- tags: GStreamer, NDI, Ubuntu, Video Streaming, Projects

> **Note !** 本記事は公開から**1年以上**経過しています。
> - NDI SDK・GStreamer プラグイン・パッケージ名は更新が早いです。NewTek / 各配布元のインストール手順と対応版を確認してください。
> - ライセンス条項（SDK の利用範囲）は変更されることがあります。再配布や商用利用の前に最新規約を確認してください。
> - 記事は Ubuntu 22.04 前提です。カーネル・libndi の組み合わせでビルド要件が変わる場合があります。

通常ではGStreamerにはNDIの機能はありませんが、NDI SDK（Software Development Kit）とGitで公開されているgst-plugin-ndiを使うことでGStreamerで取得したカメラ映像をNDI化してネットワークに流すことができます。
GStreamerでわざわざNDIを使う理由は、2つあります。

異なる技術で比較するものではないのですが、RTSP/RTMPなどより低遅延で高品質です。

しっかりとした映像伝送を目的としているので、無線Wifiなどのような通信が不安定な状況での利用には、あまり適していません。

施設内の映像伝送に使うには最適化もしれませんね。

![](/blog-assets/media/ab5f74f3176a1587f203d21bfb3aa3d88e6758b177c6868e64ece5e31e2888dd/2024-02-23-10-59-16-029.webp)
NDIとして映像が流れてしまえば、IPの設定なども意識しなくてよいし、複数の端末から低遅延で高品質に映像を見ることができます。
直接gitを見てできる人はgst-plugin-ndiを見た方が早いでしょう。

[GitHub：GStreamer用NDIプラグイン](https://github.com/teltek/gst-plugin-ndi)

### GStreamerとは

GStreamerは、マルチメディアコンテンツの作成、処理、および再生を扱うための強力なフレームワークです。

Linux、Windows、macOSなど、さまざまなオペレーティングシステム上で動作し、高度なメディアハンドリングを可能にするオープンソースのライブラリとして設計されています。

FFmpegと同様に、GStreamerも多様なオーディオおよびビデオフォーマットをサポートし、エンコード、デコード、トランスコード、フィルタリング、ストリーミングなどの機能を提供しますが、そのアーキテクチャと使用法において独自の特徴を持っています。

[GStreamer公式：映像・音声処理フレームワーク](https://gstreamer.freedesktop.org/)

### NDI とは

NDI（Network Device Interface）は、NewTekによって開発されたビデオオーバーIPのための技術です。

NDI SDK（Software Development Kit）を使用すると、開発者はネットワーク経由で高品質のビデオとオーディオをリアルタイムで送受信できるアプリケーションを作成できます。

無線より有線で使うべき伝送技術で、有線ネットワークを介して使用することが推奨されており、映像の品質を重視したものです。

なので監視カメラの用途に最適化といえば、状況によるでしょう。

[NDI Central：NDIの技術・製品情報](https://tricaster.jp/ndi-central/)

## OS・USBカメラ・ハードウェア構成

USBカメラはELP USB Webcamシリーズ、OSはUbuntu 22.04、ミニPCはCHUWI LarkBox X AMD Ryzen 3750U 最大4.0GHz 4コア8スレッド 8GB RAM+256GBストレージTera Term 5で作業するので最初にSSHを入れています。

<p>関連する商品の一覧：<a class="amazon-affiliate-link" href="https://www.amazon.co.jp/s?k=ELP%20USB%20%E3%82%AB%E3%83%A1%E3%83%A9&amp;tag=20305963-22" rel="sponsored nofollow noopener">Amazon：ELP USBカメラの商品一覧</a>（広告）</p>

<p>関連する商品の一覧：<a class="amazon-affiliate-link" href="https://www.amazon.co.jp/s?k=CHUWI%20LarkBox%20X%20Ryzen%203750U&amp;tag=20305963-22" rel="sponsored nofollow noopener">Amazon：CHUWI LarkBox X（AMD Ryzen 3750U搭載）の商品一覧</a>（広告）</p>

その辺は適宜設定してください。

![](/blog-assets/media/28b894ba8400f5abf31f2f313e05b06803336bf472a64a7c7916925133942ec0/DSC08558-scaled.webp)

## ubuntu22.04でGStreamerとNDI SDKを使ってUSBカメラの映像をNDI化してネットワークに流してみた。gst-plugin-ndiなど構築

![](/blog-assets/media/edad9ca5ca8284473c4c2e1f870c93088508419ae46af6c4f17926abed2f8be9/DSC08562-scaled.webp)
OpenSSHサーバーをインストール、UFW（Uncomplicated Firewall）をインストールして、ファイアウォール設定、ポート22（デフォルトのSSHポート）への着信接続を許可します

```
sudo apt install openssh-server
sudo apt install ufw
sudo ufw allow 22
```

パッケージリストを更新して、最新バージョンにアップグレードします

```
sudo apt update
sudo apt dist-upgrade
```

GStreamerおよびその基本プラグイン、追加のメディアフォーマット用のプラグインをインストールします

```
sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-ugly
```

Git、Curlをインストールします

```
sudo apt install git
sudo apt install curl
```

Rustのインストーラーをダウンロードし、実行します。これにより、Rust言語とCargoパッケージマネージャがインストールされます。1) Proceed with installation (default)を選択します。Rustの環境変数を現在のシェルセッションに読み込みます。

```
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env
```

以下サイトから所定の登録を進めるとEメールでInstall\_NDI\_SDK\_v5\_Linux.tar.gz をダウンロードできます。NDI SDKのLinux版をダウンロードします。バージョンによって名前やダウンロード方法など変わるでしょう。

[NDI公式：SDKのダウンロード](https://ndi.video/download-ndi-sdk/)

ダウンロードしたNDI SDKのアーカイブを解凍します。ファイル名など適宜最適にしてください。

```
tar -xzvf Install_NDI_SDK_v5_Linux.tar.gz
```

NDI SDKのインストーラースクリプトを実行します。インストール時の質問には10番までエンターでスキップしてから`Y`を押して同意します。**10番を超えたら1回ずつエンターを押さないとスキップしてしまいます。**
![](/blog-assets/media/61cefc2f0e7eaf90a82697911e1da6e98d6c89e73b4e8fd2c59083b2f7666c04/2024-02-23-10-45-52-913.webp)

```
sudo ./Install_NDI_SDK_v5_Linux.sh
```

NDI SDKのインストールディレクトリに移動します。ファイル名などバージョンによって若干ちがうかもしれませんので、lsなどで確認してください。要はlibのなかのx86\_64-linux-gnuに進みます。

```
cd 'NDI SDK for Linux'
cd lib
cd x86_64-linux-gnu
```

NDIライブラリをシステムのライブラリディレクトリにコピーします。

ライブラリキャッシュを更新します。

直接ライブラリを移動すれば、環境変数など変更しなくてよいからです。

**lsでx86\_64-linux-gnuのなかにlibndi.so.5.6.0などのファイルが3つぐらいあるはずです。**

**それらを全部移動します。**

**libndi.so.5.6.0だけ移動するのでもよいのかもしれません。**

![](/blog-assets/media/af20ac47f4a676199fa89c10d5c7b11cd593b37e02d72ad3b99cab5a06f21a33/2024-02-23-10-46-40-598.webp)

```
sudo cp libndi.so* /usr/local/lib/
sudo ldconfig
```

/sbin/ldconfig.real: /usr/local/lib/libndi.so.5 はシンボリックリンクではありませんなど表示されるでしょう。libndi.so.5が実際のファイルであることを確認し削除します。

```
sudo rm /usr/local/lib/libndi.so.5
```

libndi.so.5.6.0への正しいシンボリックリンクを作成します。再度ldconfigを実行して、ライブラリキャッシュを更新します。エラーが無くなるはず。

```
sudo ln -s libndi.so.5.6.0 /usr/local/lib/libndi.so.5
sudo ldconfig
```

GStreamer用NDIプラグインのリポジトリをクローンします。cd ~で元の階層に戻ります。それでリポジトリのフォルダーに移動します。

```
cd ~
git clone https://github.com/teltek/gst-plugin-ndi.git
cd gst-plugin-ndi
```

RusのインストールマネージャーrustupをSnap経由でインストールします。Cargo、Rustのパッケージマネージャをインストールします。GStreamerのNDIプラグインをビルドします。

```
sudo snap install rustup --classic
sudo apt install cargo
sudo cargo build --release
```

sudo apt install cargoで動作が止まる（もしくは時間がかかる？）場合は、途中で中止にして、何度か入力すると設定が進みます。
![](/blog-assets/media/4e867546adb94f568d4a6f2a37fb39b13fe4ece405f975e5386b008152a6c260/2024-02-23-10-49-12-631.webp)
次は、ビルドされたプラグインをGStreamerのプラグインディレクトリにインストールします。このコマンドにより、ビルドされたNDIプラグインがGStreamerによって認識され、利用可能になります。これによって、GStreamerを使用しているアプリケーションでNDIストリームの受信や送信が可能になるわけです。

```
sudo install -m 755 target/release/libgstndi.so /usr/lib/x86_64-linux-gnu/gstreamer-1.0/
sudo ldconfig
```

念のため現在のユーザーを`video`グループに追加します。ビデオ関連のデバイスへのアクセス権を与えるためです。

```
sudo usermod -aG video $USER
```

GStreamerフレームワーク内でNDI関連のプラグインが機能しているか確認してみましょう。

```
gst-inspect-1.0 ndi
gst-inspect-1.0 ndisrc
gst-inspect-1.0 ndisink
```

![](/blog-assets/media/55d07bbc46d763c23b36cf5d9db7a4c95fc8d218719e84598472e03839f57274/2024-02-23-10-53-25-030.webp) ![](/blog-assets/media/95f1a36675b5f1fa9bd7e5e033c934e883a5aa617d8a2f475fb800584624433c/2024-02-23-10-53-46-679.webp)
正常に動作すれば完了です。USBカメラを接続します。

```
sudo apt install v4l-utils
sudo v4l2-ctl --list-devices
```

大抵/dev/video00か1にUSBカメラが来ているはずです。このカメラはvideo0とvideo1の二つが表示されますが、video0が映像のようですね。
![](/blog-assets/media/1763809acb2e0f7fa10a966e406be0c31add8f79658dec8d9a341c2afde2741d/2024-02-23-10-57-05-599.webp)
映像を送信するコマンドを入れてみます。これでネットワーク内にCamera1のNDIが流れます。

```
sudo gst-launch-1.0 -v v4l2src device=/dev/video0 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! ndisink ndi-name="Camera1"
```

NDIを受信できました。GStreamerにNDI SDK（Software Development Kit）とGitで公開されているgst-plugin-ndiを使うことでGStreamerで取得したカメラ映像をNDI化してネットワークに流すことができました。
![](/blog-assets/media/ab5f74f3176a1587f203d21bfb3aa3d88e6758b177c6868e64ece5e31e2888dd/2024-02-23-10-59-16-029.webp)

## 圧縮したいが出来ない！！！

FHDサイズで80Mbpsぐらいのデータ量です。もっと減らしたいと思い、h264やh265の圧縮も使ってみます。例えばこんな感じです。

```
gst-launch-1.0 -v v4l2src device=/dev/video0 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! x264enc bitrate=5000 speed-preset=ultrafast tune=zerolatency ! h264parse ! decodebin ! queue ! ndisink ndi-name="Camera1"
```

WARNING: erroneous pipeline: エレメント "h264parse" がありませんとエラーが出ましたので以下のgstreamer1.0-plugins-badを追加します。

```
sudo apt-get update sudo apt-get install gstreamer1.0-plugins-bad
```

NDI SDKでは、送信されるデータは圧縮されません。いろいろ試行錯誤しましたが、うまくいきませんでした。どうやらNDI HXという規格が圧縮機能も備えたもので、企業向けに有料で提供されているようです。
NDI HXに対応しているエンコーダー製品には、ビットレートを設定できるものがあります。企業向けに有料で提供されるNDI SDK Advanceを使用することで、そのような機能が利用できるようです。つまり圧縮をかけて無線などでも軽量に扱えるようにするには、個人の自作だと難しいということですね。

[NDI公式：Advanced SDKの案内](https://ndi.video/advanced/)

もしくはWindowsならNDI Toolに含まれるNDI Bridgeを使うと、圧縮のビットレートを指定することが可能です。こちらは無料で使えます。

## カメラ何台まで同時に送信できるかテスト

ハードウェアは、CHUWI LarkBox X AMD Ryzen 3750Uです。2022年3月に4万円ぐらいで購入したものです。ubuntuのサーバー用にいろいろ使えて便利です。
![](/blog-assets/media/28b894ba8400f5abf31f2f313e05b06803336bf472a64a7c7916925133942ec0/DSC08558-scaled.webp)
LANが2個あり、USB3ポートも4つあります。FHDのUSB2.0カメラを3つまで動作しました。エンコードの設定を工夫すれば4つも動きそうですが。。。どうでしょうね。
![](/blog-assets/media/c07a558be68847bdfbd8878eb4107d52d9e18a222570cc51119c0dcac0d7805e/717qP5xF3jL._AC_SL1500_.webp)
カメラ3つを接続してデバイスを確認します。

```
sudo v4l2-ctl --list-devices
```

こんな感じでリストアップされます。たぶんcam 0/cam 2/cam5が映像が出てくるカメラだと思われます。
![](/blog-assets/media/7d03590f87db746d5ebe5fa575f6f8e300c04314db4da9cceecf4bc4ffe95fe9/0885-1.webp)
どの番号にカメラが来ても良いように.shファイルを作成しました。

```
#!/bin/bash

sudo gst-launch-1.0 -v v4l2src device=/dev/video0 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera1" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video1 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera2" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video2 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera3" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video3 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera4" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video4 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera5" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video5 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera6" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video6 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera7" &

sudo gst-launch-1.0 -v v4l2src device=/dev/video7 ! "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! videoconvert ! timeoverlay ! ndisink ndi-name="Camera8" &

wait
```

camera.shを実行すると3つのUSBカメラの映像がNDIで流れます。

```
./camera.sh
```

こんな感じにNDIを受信できました。
![](/blog-assets/media/3f51afa3cf6da2022839277992d554a683090eee1e18884c4e553205c71548f6/0886.webp)
shファイルをサービス化して自動起動させれば、USBカメラを監視カメラのように扱うこともできるでしょう。もう少しcamera.shをスマートにします。

```
#!/bin/bash

# カメラの数を定義
NUM_CAMERAS=8

# カメラごとにループ
for ((i=0; i<NUM_CAMERAS; i++)); do
    # GStreamerのパイプラインを実行
    gst-launch-1.0 -v v4l2src device=/dev/video$i ! \
    "image/jpeg,width=1920,height=1080,framerate=30/1" ! jpegdec ! \
    videoconvert ! timeoverlay ! ndisink ndi-name="Camera$((i+1))" &
done

wait
```

実行権限を付けます。

```
chmod +x camera.sh
sudo usermod -aG video $USER
```

以上です。

<p><a class="amazon-affiliate-link" href="https://www.amazon.co.jp/s?k=ELP%20USB%20%E3%82%AB%E3%83%A1%E3%83%A9&amp;tag=20305963-22" rel="sponsored nofollow noopener">Amazon：ELP USBカメラの商品一覧</a> <small>広告・Amazonアソシエイトリンク</small></p>
