2009-01-21 エントロピー エントロピーはこんな式だけれど、 こういう風にするとわかりやすいということが「腑に落ちた」 と書いてやって、いろいろ細かいことを忘れてabuseすることを恐れずに行くと、 の加重平均ということになる。で、これは x の情報量を示すわけで、エントロピーは平均情報量ということになると。 カルバック・ライブラー情報量は、 だけど、これは とすると、差の平均ということになるのだな。