本文来自微信公众号：阿茶的AI之路，作家：起名贼汉典的阿茶，题图来自：AI生成

那天中午，我在上看到一个真谛的问题：

把一篇英语著述的总共aeiou替换成t，它还有可能被透顶破译吗？

我翻阅了许多回答，有的列举了tt、ttt、tttt...这样的例子、有的则一册郑重地瞎掰八谈、还有东谈骨干脆把问题丢给大模子处理....

我认为这骨子上是一个信息论的问题。当咱们把总共元音替换成't'后，剩余的信息是否充足撑握咱们复原原文？英语自己就有很高的冗余性，比如语法结构、词语搭配等王人能提供大宗高下文信息。因此，在长文本中，这种复原应该是可行的。重要在于，这种替换究竟亏本了若干灵验信息，剩下的部分是否还足以撑握咱们的透露和复原。

说到信息论，我与它的接洽大约是大学选过的一门课，叫《多媒体工夫》。选课之前，我活泼地以为这门课会教我如何用PS，如何剪视频，如何作念PPT。因为从小就在说的“多媒体讲明”，嗅觉即是通过ppt来上课。还有“多媒体教室”，即是多了个投影，是以我一直以为这即是“多媒体”。我选它的原因也很浅显，我的确不会用PS，我思学学。况兼这门课应该比较浅显。

上课之后：奈奎斯特定理、信息熵、zigzag、JPEG图像压缩旨趣...

我以为的课设：剪一个视频。

践诺上的课设：

就这样一门和我思象大相径庭的课，我目下却认为是我学过最有用的一门课。因为“信息”无处不在。你看的新闻是信息，你与他东谈主的交流是信息，以致你遐想的居品界面也在给用户传递信息。

尤其是在当下，信息分娩的本钱急剧裁汰，各式公众号...一个事件可能会被上百个号类似报谈。此外，AI限度的阐述亦然日眉月异。比较之下，咱们就像大海中的划子，随时可能被信息团结。采纳吧，脑子好像又处理不外来；不采纳吧，又怕错过了什么。而信息论，恰是匡助咱们找到透露这些信息的角度，以及制定获取信息计谋的器用。

说远了，我去浅显温习了一下信息论的基础常识，也共享给全球。

从生涯中透露信息

最开动写这篇著述的时间，我从界说和公式的角度先容信息、信息熵、自信息这些观念...但发现太专科了，不允洽阅读。是以我缱绻烧毁那些专科的常识，从一个浅显的游戏透露信息论。这种直不雅透露关于非专科东谈主士来说更为迫切。

最初，信息是放手不确信性的。

假定我心里思了一个1到100的数字，请你来猜。在莫得任何教唆的情况下，这即是一个透顶不确信的系统 —— 每个数字的可能性王人是特地的。

要是我告诉你：“今天天气可以，我认为等会咱们可以出去玩，趁机去吃个暖锅”。

这句话你会发现对你预见毫无作用。

而要是我告诉你：“这个数字大于50”。你的预见规模就减少了一半，然后你猜了个75。

我无间说：“这个数字的规模在60-70之间”。你的预见规模进一步收缩，你猜了个63。

我说：“猜对了！”

通过这个浅显的游戏，咱们就能透露信息论中的几个中枢观念：

最初，根据信息论中的界说，信息是用来放手不确信性的。你试图猜我心中思的数字，通过不断的尝试，来裁汰这个不确信性。直到你猜到我所思的。

自信息：单个事件发生时带来的信息量。这里的事件指的是我给你的教唆。其中“这个数字是73”这个事件的自信息就很大，因为它的发生概率很小（1/100）。

信息熵：系统的平均不确信性，当你透顶不知谈我内心所思的时间，信息熵达到最大。

信息增益：赢得这个信息后，系统不确信性减少的进度。它践诺上是信息熵的变化量：正本的信息熵 减去赢得信息后的信息熵。在这个对话中，“60-70之间”能带来的信息增益一定大于“大于50”，因为它帮你撤销了更多的侵犯。你只需要在10个数内部选一个。而不是50个数。要是我顺利告诉你这个数字是63，那么它会将通盘游戏的信息熵降为0。因为你还是不需要猜了。

这即是信息的骨子：放手不确信性。当你赢得的灵验信息越多，系统的信息熵就越小，你就越接近信源。

再举个生涯中的例子。当你在谈判是否购买一件商品时，每条信息王人在帮你放手不确信性：

“这是一件纯棉T恤”（确信了品类和材质）

“价钱299元”（确信了价钱区间）

“左近店同款199元”（这个信息增益很大，可能顺利影响你的方案）

很显著，这些观念不仅存在于表面中，更与咱们的日常生涯密切关连。每当咱们需要作念方案时，王人在不断地会聚信息，评估信息的价值，通过获取高信息增益的内容来匡助咱们作出更好的采用。但愿这两个例子能够让你有一个直不雅的印象。

目下咱们再来望望开首的问题，用刚学到的信息论观念来分析一下。当咱们把总共元音王人替换成't'时，名义上看是亏本了一些信息。但英语文本中其实存在大宗的“信息冗余”。比如语法结构（主谓宾的位置）、单词搭配（即使“make a decision”中的元音被替换，咱们也大约能猜出来），以及整句话的语境，这些王人在帮咱们放手不确信性。即使失去了元消息息，其他信息的存在依然能匡助咱们很猛进度推测出原文。天然，这说的是大部分场景，信息越多，能复原告成的概率越高。

信息论给咱们的启示

透露了信息的骨子，咱们就能以不同视角看待一些问题：

1. 为什么大模子会“瞎掰八谈”？

我常常强调大模子回报质地是跟用户的发问质地密切关连的。

当它在面临高度不确信的问题时，莫得充足的信息来裁汰系统的信息熵。就像你在猜数字时，要是得到的教唆太少或者有误导，也可能作出作假的判断。

比较之下，教唆词工夫这些王人是辅助减少信息噪声的能力，中枢唯唯一个，即是让用户如何清亮准确的抒发问题。

2. “冗余”的必要性

在信息传递过程中，噪声是不可幸免的。就像在电话里话语，可能会碰到信号不好、配景音嘈杂等情况。这时间，要是信息莫得任何冗余，一朝受到侵犯，就很难复原出原始信息了。

这个问题在内容转头类功能中其实极端显著。许多东谈主让大模子转头著述时，会条件“只给我重心”。戒指得到的时时是一堆要点的堆砌。一朝大模子的透露有所污蔑，就会导致信息失真极为严重。

此外，要点的堆砌诚然信息密度很高，但读起来极端汉典。这就像把著述中的总共妄语王人删掉，只留住中枢不雅点。名义上看起来很高效，践诺上反而加多了读者的透露本钱。东谈主类透露信息时需要高下文。那些看似冗余的内容，比如例子、类比、过渡语句，它们就像语言中的语法结构和单词搭配雷同，能够匡助咱们的大脑更好地处理和采纳信息。当这些必要的冗余被去掉，即使信息王人在那儿，咱们也需要糜费更多元气心灵去透露和贯穿它们。

3. 信息获取计谋

说到如何接济信息获取效果，我的计谋很浅显：不主动刷新闻。

因为有价值的信息会天然传递。迫切的事情总和会过各式渠谈传到你耳朵里。即使你不主动去征集，该知谈的总会知谈。反而是那些不迫切的信息，要是你不去主动获取，它们就会天然祛除。

目下AI限度每天王人在爆出新模子、新冲突。但仔细不雅察就会发现，信得过的冲突性阐述很少，大部分王人是平时的科学辩论。关于并不需要专注于科研的东谈主来说，莫得必要去刷那么多新闻。

那些信得过迫切的冲突，势必会在多个渠谈反复出现，况兼会握续发酵。就像GPT-4的发布，它带来的不仅是一个新闻，而是一系列的工夫权略和讹诈探索。这种握续的信息流才是值得关爱的。比如说这几天的Deepseek。

从信息论的角度看，当一个信息通过多个渠谈类似出当前，不仅接济了信息的可靠性，更迫切的是时时会带来不同的视角息争读。这些相反刚巧能匡助咱们更全面地透露这个信息的价值。与其追求信息的全面，不如追求信息的深度。当你对某个限度有充足深的透露时，判断一个新信息的价值时时只需要几秒钟。那些看似错过的信息，很可能对你并不迫切；而那些信得过迫切的信息，一定会以各式形式类似出目下你眼前。

在信息爆炸的期间，保握定力比追求全面更迫切。让信息天然流动，而不是惊悸地追赶每一个新闻，这可能才是最高效的信息获取计谋。

4. 充满包容的换取

许多时间并不是对方笨，而是因为你们对信息的透露不合等。这让我思起一个很特真谛的游戏：Tick Tock。一个双东谈主互动游戏，但它不需要通过作事器联机：两个玩家各舒缓我方的手机上玩，一个东谈主解谜的同期，另一个东谈主要互助完成某些操作。但重要是两个东谈主并不可看到对方的视角，只可通过其中一方的形色，来让两边理清处境和需求。

这个游戏完整地诠释了信息不合等的骨子。当咱们认为“其他东谈主怎样这样笨”的时间，时时不是对方的确笨，而是咱们站在已知信息的角度，忽略了对方的信息盲区。就像在游戏中，要是莫得跟对方形色明晰你的画面，他就没法赐与你匡助。游戏也就经久无法鼓舞。

咱们常常吐槽用户使用软件的时间老是“不按套路出牌”。但换个角度思，这不是用户的问题，而是咱们在遐想时，莫得谈判到用户的信息领略水平。咱们认为理所天然的操作经过，对用户来说可能充满了不确信性。

其实大模子的使用即是一个很好的左证。它就像一个莫得确认书的居品，即使开导者也不可透顶了解它。当作使用者，咱们也在不断摸索，各式教唆词工夫王人是试出来的。从更高维度看，咱们总共东谈主王人是愚蠢的用户。

是以，好的换取不是浅显地传递信息，而是要谈判：对方当前的信息情状是什么，如何通过符合的信息冗余来确保透露，以及如何成就响应机制，考据信息是否被正确接收。

无意间，咱们需要的可能不是更多的解释，而是更多的包容。毕竟，在信息不合等的寰球里，咱们每个东谈主王人在靠着我方的领略摸索前行。

本文来自微信公众号：阿茶的AI之路，作家：起名贼汉典的阿茶

本内容为作家孤独不雅点，不代表虎嗅态度。未经允许不得转载，授权事宜请接洽 hezuo@huxiu.com