香农在 1941 年去了贝尔实验室，之后在那里呆了 15 年。在二战期间，他参与了开发数字加密系统的团队，其中的一个系统被丘吉尔和罗斯福用来开跨洋会议。

        就是这个工作，香农说，引导他发展自己的信息理论。他意识到，数字编码能够在侦探的眼睛下保护信息，那也能够在静电和其他形式的干扰下保护信息。这些编码也能够用于更高效地打包信息，从而让更多的信息通过既定通道传输。

「我的第一个（关于信息理论的）想法，」香农说，「是如何在噪声渠道里最好的改善信息传输。这是一个特殊的问题，因为那 时你可能正想着电报系统或者电话系统。但当你想这个问题时，你脑海中可能就对所有广泛的应用有了概念。」被问及是否在某一个时刻他有了「Eureka」似 的闪电灵感，香农用下面这句话侧面回答了这个过分简单的问题，「我本该有过，但是我不知道如何拼写那个词。」

香农在 1948 年的论文里对信息的定义对其通论理论非常的重要。回避了关于意义（他曾强调他的理论「不能也不曾打算解决意义问题」）的问题，香农表明信息是一个可测量的商品。他表示，给定消息中的信息量，除了可能被传送的消息，由被选中的特定消息的或然率决定。

他将系统中全部的信息能力定义为熵，熵这一概念来自于热力学所表达的系统的无序程度，或者物理学家称之为「混乱程度」。 （伟大的数学家和计算机理论家 John von Neumann 说服了香农使用「熵」这个词。von Neumann 认为，没有人知道什么是「熵」这一事实，将在信息理论的辩论中给香农优势。）

香农定义了信息的基本单位，也就是是贝尔实验室的 John Tukey 衍生出的二进制单元，然后是比特，作为一个或两个状态的信息表达。一个人能够在相对较小的比特中编码大量信息，就像在古老的游戏《二十个问题》中，一个人 能够就通过灵巧的询问快速调整归零得到正确答案。

基于这个数学基础，香农展示了任何给定的通信通道都有可信赖传输信息的最大承载量。事实上，他表示一个人可以通过高明的编码去接近这个最大值，但永远不能完全达到这个最大值。这个最大值也就是熟知的香农极限。

香农 1948 年的论文显示了如何计算香农极限——但并不知道如何接近那个极限值。后来，香农和其他一直在挑战这个问题。第一步是消除信息冗余。就像一个说话简洁的罗密欧仅仅用「i lv u」几个字表达信息，好的编码首先将信息压缩到最高效的模式。

去除足够冗余之后，一个所谓的误差修正编码加进来，从而保证分拆信息不会被噪声淹没。举例来说，一个误差修正编码处理数字流时，可能会加入一个多项式方程，保证所有的数字落到方程式上。接收端的译码员知道偏离方程式的任何数字在传送中是被改变了。

Aaron D. Wyner 是 AT&T 贝尔实验室（位于美国新泽西州默里希尔市）通信分析研究部的负责人。他指出，一些科学发现追溯起来只是那个时代不可忽视的产品，但香农的不是这样。

事实上，香农的想法过于有先见之明，以至于不能产生即刻影响。1948 年加入贝尔实验室的 Edgar Gilbert 说，「实验室里很多实际操作的人认为，这是一个有趣却不非常有用的理论。」。他的一部分工作就是和香农一起完成的。简单来说，真空管电路处理不了接近香农 极限所需的复杂编程，Gilbert 解释。香农的论文甚至受到来自伊利诺伊大学香槟分校的 J. L. Doob 的负面评论。Historian William Aspray 也指出在那个年代，在任何事件中，香农的概念框架都不适用于信息理论应用。

直到 20 世纪 70 年代，伴随着高速集成电路的出现，工程师们开始全面利用信息理论。就算在今天，香农的见解也无形中帮助构建了储存系统、处理系统、数字化信息传送系统，从紧密的磁盘到超级计算机，从传真机到外太空探索（如旅行者号探测器）。

*******************************************************************************

       基本上，这就是他的原发思想。

      控制论因为维纳写过书，所以很清楚。

      信息论一直都不明白，香农当时是怎么想的