PrimitiveAMI

[デモ動画]

[論文]

概要

VRChat上における好奇心ベースの原始自律機械知能の実装です。シンプルでかつこれからの土台となるAMIを実装しています。

著者

GesonAnko, myxy, ocha_krg, ぶんちん, Klutz

動作方法

セットアップ

PC環境のセットアップはこちらをご確認ください

1. このリポジトリをクローンする
2. Miniforge3を取得し、仮想環境を作成する。pythonのバージョンは3.10である。
3. pip install poetryでpoetryを取得し、このリポジトリ内で poetry install する。

起動

1. VRChatを起動する
2. OBSでVRChatをキャプチャし、仮想カメラを開始する。
3. 次のコマンドで起動する。

   python src/train.py

options

• 複数カメラデバイスがある時

  python src/train.py environment.sensor.camera_index=<index>

  NOTE: 事前にカメラデバイスのindexをメモしておく。

docker

Dockerイメージをビルドして環境を構築する。

事前に必要な依存関係

• docker
• make
• v4l-utils

NOTE: dockerイメージを起動する前にOBSを起動し、仮想カメラを有効化すること

Dockerイメージをビルドし、起動する。

make docker-build
make docker-run

Dockerの起動時にOBSの仮想カメラを自動的に選択し、イメージ内の/dev/video0に接続している。(OpenCVのVideoCaptureのdevice indexが0になるように。)

Dockerはホストとネットワークを共有する、ホストモードで起動する。(VRChatのOSC APIを叩くため。) そのためネットワークポートの競合に注意が必要である。

その他情報

• VRChat自律機械知能プロジェクト中間発表その1
• VRChat自律機械知能プロジェクト中間発表その2
• 機械学習における「好奇心」
• 入門：自律機械知能