エントロピー

エントロピーはこんな式だけれど、
-\sum_{x \in X} p(x)log p(x)
こういう風にするとわかりやすいということが「腑に落ちた」
\sum_{x \in X} p(x) \{ log \frac1{p(x)} \}
と書いてやって、いろいろ細かいことを忘れてabuseすることを恐れずに行くと、
log \frac1{p(x)}
の加重平均ということになる。で、これは x の情報量を示すわけで、エントロピーは平均情報量ということになると。
カルバック・ライブラー情報量は、
\sum_{x \in X} p(x) log \frac{p(x)}{q(x)}
だけど、これは
\sum_{x \in X} p(x) \{log \frac1{q(x)} - log \frac1{p(x)} \}
とすると、差の平均ということになるのだな。