这一次是关于信息的度量。
现在可以说是信息的时代,信息可以说是充斥着我们的整个生活。但是我们好像对信息的多少并没有多少概念。我们知道在正常状态下一桶水是比一瓶水多的,一米是比一厘米长的。那么信息是不是也有一个具体的衡量方式呢?
确实是有的,以一个byte作为单位,以信息的不确定性作为衡量的标准。有点难以理解,可以举个例子。有四个密封箱子ABCD,其中只有一个有东西。现在要求猜出哪一个是有东西的箱子。如果你现在对这几个箱子一无所知,那么你就要一个一个的去猜,这个时候也就相当于4byte的数据。此时的信息量就是4byte.对于一个学计算机的,可能会想到一种优化的方案,那就是二分法。所以现在就只需要两次就可以猜出结果。这样这个问题的答案就是2byte.这就是这一条信息的价值量就是2byte。
我们可以沿着这个方向再继续延展一下,将箱子的数量拓展到1000个。那么就价值量就是10byte。很明显,信息的度量跟问题的不确定性有关。在书中,作者将其称作信息熵,这个可以和化学上的作类比。
所以呢,信息的作用也就很好理解了,那就是消除不确定性。知道的信息越多,随机事件发生的概率也就越小,对使用信息的我们也就越有利。