关于熵的问题

[wildcat]

1.熵的单位是不是（位）

2.教材书上第四章关于熵的例题对求图像的熵的公式是求平均值的
即(15/40)×log(40/15)+(7/40)×log(40/7)+...+(5/40)×log(40/5)=...

而第四章ppt第3副的例题求字符串的熵不用求平均值
即Ea×5+Eb×3+Ec×2=...

且两者都为整幅图（信息）的熵

请问以哪个为准？

谢谢～祝好

[wildcat]

[李锐]

1.熵是一种概念，表示了待编码的数据的信息量，教科书和讲义上的两个熵的结果其实是该字符串的信息量（也就是熵）的两种不同表示方法而已，他们两者其实是一回事，并不矛盾（可以互相推导出）。
我们并不能笼统地给熵给出一个统一的单位，我们只能给出某种描述，比如按书上的例子，求得的熵就是平均每个字符所需要的位数，按讲义上的例子，求得的熵就是指整条信息说需要的位数总和。

2.在考试的时候遇到这种求熵，你用两种方式计算均可，应该说，讲义上比教科书上写得更容易理解一些，建议用讲义上的标准。

[wildcat]

谢谢～