情報量が制御可能なランダム観測生成手法

[Geson-anko]

概要

単位時間あたりの総情報量 $\bar{I} [ \text{bit} / s]$ が計算可能であり、かつそれをいくつかの有界なパラメータで制御可能なランダム観測生成手法を考案します。

理論

基本的な考え

ある時刻 $t$ における 観測 $o_t$ がある確率分布 $p$ からサンプルされるとします。

$$ o_t \sim p(o_t) $$

次の時刻 $t+$ では、サンプル確率 $q$ で 新しく 観測がサンプルされ、 $q-1$ で前時刻の観測が用いられる、とします。

設定

ここで、ハイパーパラメータなどの設定を列挙しておきます。

確率分布 $p$ について

• $p$ の確率分布形状: これは、離散一様分布としておきます（後に情報量を計算しやすいため）
• $p$ の最大段階数のオーダー $B \in \mathbb{N} $, 実際の最大段階数は $2^B$ とする。
• [制御値] 段階数のオーダ−比率 $\rho \in [0,1]$ , $p$ の段階数は $\text{round} (2^{B \cdot \rho})$ となる。

観測 $o$ について

• 観測 $o$ は長さ $L \in \mathbb{N}$ のベクトル。 ( $o \in [-1,1]^L$)
• [制御値] 観測の長さの比率 $r \in [0,1]$
• 観測 $o$ は、 実際には 長さ $L^{\text{raw}}= \min [ \text{round} (L \cdot r), 1]$ だけ $p$ からサンプルされ、 線形補完されて 長さ $L$ となる。

観測のフレームレート

• 時刻 $t$ と $t+1$ 間の長さを $T [s]$ とする。
• サンプル確率 $q$ は 制御値.

総情報量 $\bar{I}$

これらの設定値から、単位時間あたりの総情報量 $\bar{I}$ を計算する:

$$ \bar{I} = (L \cdot r) \cdot (\frac{q}{T})\cdot \mathcal{H}(p) $$$$ \mathcal{H}(p) = - \log_2 2^{-B \cdot \rho} = B \cdot \rho $$$$ \bar{I} = (L \cdot r) \Big(\frac{q}{T} \Big) (B \cdot \rho) $$

制御値

• 長さ比率 $r$
• サンプル確率 $q$
• オーダー比率 $\rho$