计算光学成像是建立在信息传递的基础上，光场是计算成像的灵魂，那么，信息是如何在光场中传递的呢？
计算光学成像发展到了一定阶段后，会遇到一个躲不过去的坎儿，那就是“如何评价计算光学成像系统？”当我们说一种成像方法好的时候，总是拿着图像评价方法去应付，虽然在图像层面上能说明一些问题，但是，综合评价指标如何，这时候，我们就发现那个旧瓶的确盛不了新酒，结果也难以服人。计算光学成像学者很快面临的问题就是如何评价成像方法。
计算光学成像既然是“以信息为传递的”，那么，信息一定要作为其评价指标。很显然，信息通过越多，成像系统性能就应该越好。计算成像的目标是五个“更”，即“更高、更远、更广、更小、更强”，而能够传递信息的物理量是强度、相位、偏振、光谱、时间和空间等，自然地，围绕着这些物理量承载的信息去探讨信息传递，一定是评价成像系统性能的必经之路。
本篇将从调制传递函数（Modulation Transfer Function，MTF）讲起，引入信息传递，抛砖引玉，尝试给出信息传递的准则，供研究者一起探讨。
1.MTF，举起了传统成像评价的大旗
传统对光学系统进行评价的方法琳琅满目，其中使用最为广泛的评价指标是MTF，最主要的原因是MTF以信息为评价导向，评价最为客观。MTF是一种用来描述光学成像模糊程度的参数，它通常被用来衡量图像对比度和分辨率。传统的MTF一般是一维的。近年来，新的MTF标准提出了二维MTF表示方式，更完整地描述了图像的分辨率、对比度等信息，在光学成像应用中显示出更好的效果。MTF其实是光学传递函数（Optical Transfer Function，OTF）的模值，那么自然而然就会有相位传递函数（Phase Transfer Function，PhTF）。因为OTF是复数，MTF是实数，用起来方便，而且MTF能够表征大部分成像系统的性能，自然地，它就变成了主角。
在傅里叶光学中，OTF可以看作是点扩散函数（Point Spread Function，PSF）的傅里叶变换对，用来描述不同空间频率是如何被光学系统捕捉或传输的。MTF作为OTF的模值往往表现为一条关于空间频率的曲线，这个空间频率往往以每毫米多少周期为单位描述，也就是线对（line pairs，lp）的概念。
USAF-1951分辨率靶标及不同组线对对照表
不同线对数对应不同空间频率
MTF是一种用于描述光学系统对不同频率光信号传递效率性能的评价指标，即输入信号的变化如何在输出图像中得到保留。通常情况下，可以将光学系统看成具有旋转对称特性的线性不变系统，MTF测量沿着水平或垂直方向变化的空间频率变化并绘制一维曲线。因此，MTF被视为一维信息传递的评价指标，MTF与光学系统的像差和光学系统衍射效果相关，可被用于评价光学系统的成像质量。
光学系统的非旋转对称性
然而，实际情况下的图像光强信息是部分或非旋转对称的，这时系统如何截取单一维度方向的传递函数无疑会影响设计人员的设计思路。现有设计软件也都是基于旋转对称条件下的成像质量评价，往往MTF曲线只能观测到子午与弧矢方向，无法真实反映系统物像空间调制情况。如果可以得到物像空间360°全方向的MTF曲线，即三维立体MTF曲线图，就可以让设计人员读取任意方向图像的成像质量，充分优化光学系统。也就是说，MTF也有很多种形式，而这些不同的形式，给我们带来了多角度评价成像系统的手段。
可是，这些MTF曲线往往还是表现出相当的独立性，从系统综合的角度看，显然差距还是很远。
现在，我们就来深度剖析一下这个MTF到底传递的是什么物理量，哪些东西丢掉了？其实不难看出，MTF实际上是依据对比度（强度）设计出来的，本质上就是看能够解析出单位空间内多少条黑白条纹，而这个黑白条纹只是强度信息的周期性表现而已。分析到这里，你就会恍然大悟：以高维度信息获取为目的的计算成像，除了强度之外，还有光谱、相位、偏振、轨道角动量等等信息，而这些物理量多以间接形式通过强度反演出来，其包含的信息量却很少有方法去衡量，当然更没有评价体系。最常见的一个词是“保真度”，其字面意思就是与真值的偏离度是多少；可是真值是什么，在很多时候难以述说，主要是测量很困难。典型的是偏振，我们经常用消光比来衡量偏振片的性能。消光比的定义是通光量的最大值与最小值的比值，理想情况下应该是正无穷，也就是说最小通光量应该是0，但是，实际器件做不到。好的偏振片消光比能达到上万比一，而偏振探测器在小的像元上做偏振栅格，消光比就弱了很多，好一点的100:1，差的只有30:1，甚至更差。这些工作仅仅是在器件级别上做的，而在整个成像系统中，怎么去评价，都是我们需要做的工作。于是，对计算成像而言，这些信息该如何评价，直接影响着计算成像的发展。
2.熵（Entropy）：从热力学到信息论
2.1 热力学中的熵：从克劳修斯到玻尔兹曼
时间回溯到19世纪中叶，欧洲的蒸汽机时代促进了热力学的发展。科学家发现尽管能量间可以相互转化，但在转化过程中，总有一部分能量会被浪费掉，效率达不到100%，于是就出现了有用功和无用功的概念。于是，1865年德国物理学家克劳修斯提出了熵（Entropy）的概念，用来描述无法利用的那部分能量。1877年，玻尔兹曼给出了熵的统计物理学解释：熵可以看作是一个系统“混乱程度”的度量，系统越混乱，熵的值越大。
我们都知道，热力学第二定律又称之为“熵增”定律，即一个封闭系统只会趋向于越来越混乱，也就是熵只会增加，不会减少。这个让人绝望的理论甚至告诉我们时间只有一个方向，只能走向未来，回不到过去。
1948年，香农将统计物理中熵引入到信道通信的过程中，于是开启了信息时代，这个熵也称之为信息熵，或香农熵，而且，这个熵与玻尔兹曼熵有着非常相似的表示形式，只相差一个比例常数。
熵——衡量系统的无序程度，自左至右展示了熵增过程
2.2 熵与信息论的发展史（香农-Rényi–Francia–光学本征理论）
1948年，任职于AT&T贝尔实验室的克劳德·香农通过计算多个离散随机事件出现的概率表征事件发生时提供给我们的信息，发表了他研究十年的划时代成果《通信的数学原理》，将熵的概念引入到信息论中，用熵解决了信息量化度量的问题。香农提出的信息熵，也称为香农熵，并且，这个熵与玻尔兹曼熵有着非常相似的表示形式，只相差某个比例常数。
我们从上述的两个公式上可以认为香农熵与热力学熵在本质上是相同的，只是描述的物理意义有所不同。同时，我们更应该知道：当熵最大时，系统即处于最混乱的状态。
香农和他的《通信的数学原理》
继信息论创立之日起世界上光学界的先驱者便致力于把信息论引入光学领域，1961年匈牙利数学家AlfrédRényi对香农熵进行推广，进一步提出了任意熵（Rényi Entropy）：
当为不同数值时，代表不同类型的熵，如当，且假设概率不为0时，任意熵退化为最大熵：
当时，任意熵退化为香农熵：
当时，任意熵退化为碰撞熵：
当时，任意熵退化为最小熵：
Alfréd Rényi
除了衡量事件本身的信息量外，我们还可以用熵来衡量两个随机变量的总信息不确定性以及两个随机变量之间的相互依赖程度，如：
条件熵：
联合熵：
互信息：
其中pij均表示X = i且Y = j的联合概率分布，pi和pj分别表示X和Y的边缘概率分布。条件熵用于衡量在已知条件下的信息不确定性;联合熵用于衡量两个随机变量的总信息不确定性;互信息用于衡量两个随机变量之间的相互依赖程度。
在熵发展的同时，还有一个人在光信息领域也做出了很大的贡献，1955年美国科学家G.Toraldo Di Francia等首先把自由度的概念引入到光学领域，虽然一开始受到人们的争议，但是在1969年，Francia把Slepian、Pollak 和Landau发展的回转球波函数，引入光学创立了光学本征理论，完善地解决了在相干条件下无像差光学系统传递信息量的问题，随后逐渐形成了光学信息论这门独立的学科。
在这里，还需要说明一点的是：当系统可逆时，熵保持不变，即不会产生热量；而系统不可逆时，会出现熵增，也就是会产生热量。我们来看看计算机常用的几种基本运算：与、非、或、异或，只有“非”和“异或”是可逆的，熵保持不变，即不会产生热量；而“与”和“或”则不可逆，熵增会产生热量。这也是计算机产生热量的重要原因之一。在冯·诺依曼架构下的计算机避免不了“与”和“或”的计算，产生热量是必然的，这也是我们寻求非冯·诺依曼计算架构的原因之一。
那么，在计算光学成像的过程中，熵是怎么变化的呢？信息是如何传递的？怎么设计我们的成像系统才能达到熵增最小呢？这都是我们要去研究的问题。接下来，我们来看看光学成像的信息是如何传递的。
3.信息在成像链路中的传递
3.1 何为信息？
什么是信息？“信息”这个词最早出现在五代南唐一位名叫李中的诗人的《碧云集·暮春怀故人》：“梦断美人沉信息，目穿长路倚楼台。”
西方科学巨匠Hartley、Wiener等都有对信息的独到见解，香农给出的信息的定义是：“信息是使不确定性减少的东西。”量子计算领域开拓者之一的赛斯·劳埃德教授在他的书《编程宇宙：量子计算科学家解读宇宙》中写到：“信息即物理。”
信息的表现形式有很多，从古代的烽火台到现代的摩斯码，从声音到图像，从视频到元宇宙，这些都是信息的不同表现。对于成像而言，自然是希望能够在有限的系统中获取最多的信息量。这其实有两重含义：第一、让更多的信息进入系统；第二、系统能够提取出最大量的信息。我们提出的五个“更”其实就是对信息在不同维度的要求。
3.2 光场中的信息传递
在成像链路中，信息的载体通常是光波。在摄像机中，光波会被光学系统及传感器捕获，并通过模数转换器转化成数字信号，进而被记录和解译。在这个过程中，光波所携带的信息也被记录下来，只不过是混叠在了一起，我们从图像上观察到的亮度、色彩、对比度、分辨率及透视效果等等信息均是光波在不同维度上的投影；如果我们在光路中引入偏振器件或分光器件，我们还可以获取光波在偏振及光谱维度的投影。
信息在成像链路中的传递概念图
那么，光场信息量该如何表示呢？由于光场是一个关于时间、空间、光谱、偏振等物理量的多维函数，因此，一个光场传递信息量的表达式可写成：
其中，m表示光场的信噪比，NDOF为总自由度数，又可以展开为：
其中Nt,Ns,Nc,Nφ分别定义为时间、空间、颜色和偏振自由度。
由光场传递信息量公式可知光场信息量I与信噪比为m对数关系，与总自由度数NDOF为线性关系，因此,相比之下NDOF的变化对信息量的影响大于m的影响。
下面，我们来介绍下与相关理论。
颜色自由度Nc由光场的波段数决定，对于单色光场Nc=1，对于复色光场，按照三原色理论，Nc=3。
定义偏振自由度Nφ，考虑光场存在两个独立的偏振态，因此Nφ=2。
当考虑动态光场信息量时，需要用到时间自由度Nt，
来表示，其中T为观测时间，Δυ为系统时间带宽，当时ΔυT>>1，有：
最后，我们来讨论空间自由度数。根据M.von Laue的观点，一个相干光场的空间自由度数正比于物(或像)面积和光学系统空间频率带宽积。设单色光场像分布为矩形，并且在x, y方向的尺寸分别为Lx和Ly。若讨论的光学系统为具有矩形孔径的理想无像差系统，其在x, y方向上的像方孔径角为2ax和2ay，则系统的空间自由度为：
其中k指代波矢。
但为什么写成这种形式，M.von Laue本人并未作进一步解释，后经Gabor、Gamo、Miyamoto等人的努力才搞清楚空间自由度数Ns与一个空间频带受限的光信号的抽样点数之间的关系。
可见，光场自由度学说可以说是光信息量化的依据。当然，光波与光路中遇到的任何介质发生相互作用后得到的调制结果也是信息，采用数字信号的方式对这些光信息进行记录、传递和编码，是我们处理信息常见的手段。
3.3 全链路中的信息传递
在传统的光学系统中，MTF可以用来评估系统的性能。但是在计算光学成像过程中，颠覆传统光学设计方法，以信息传递为准则取代传统成像中的像差约束，计算成像全链路中信息是以复数的方式进行传递，现有的以单一维度的评价体系难以对高维信息在信道中的传递效率直接评价，其在信道中传递效率的评价投影在图像上即为图像质量评价指标，投影在光学系统上即表现为光学系统设计评估参数；计算光学系统设计方法，如光学-图像联合设计、端到端设计方法，以成像质量为目的，联合优化图像质量与光学系统参数，该过程可以看作统筹了光学系统和最终成像两个阶段的低维评价指标对高维信息传递过程的描述，较传统单一维度的评价指标更准确，从而在一定程度上表述了高维信息的传递。通过对比以往的评价指标，以信息为导向的评价指标更具有说服力，并且可以融合多个维度的信息量，评价更加客观、更加准确。
高维信息传递及评价
传统光电成像模型的物理过程是线性描述的，成像与重构过程存在分立性，这中间会产生近似误差，无法准确反映复杂、多变的成像过程。图像处理的过程基于实数变换，存在信息维度的丢失，无法表征真实成像过程中多个维度的物理信息。计算成像针对传统成像模型问题，建立新型成像模型，将物理成像过程与图像处理相统一，引入非线性与复场变换，综合考虑成像系统间的关联信息，最终实现真实物理场景的准确描述；也可以在成像链路中加入主动调控手段，拓展信息获取路径或维度，优化光信号采集，拥有更高成像自由度和灵活性。
因此，从新型成像模型的建立，新型探测器的研制到统筹物理与信息域，全链路优化，计算成像技术将光源、传播路径、光学系统和处理电路等以全局观点进行描述，打破了传统光电成像技术的分立式表征方法，由传统成像链路的单一计算和独立优化转向全链路成像设计优化，从多个渠道突破传统光电成像的局限。
光场全链路信息传递过程
计算光学系统设计是根据任务需求，设计高维度信息编码调制方法，信息在成像全链路传递，光学系统衔接上下游，保证需求信息的信息维度和信息量，计算成像技术以成像信息传递为驱动实现全局优化的一体化设计。
光学系统成像受口径限制，高频信息丢失；目标经大气、生物组织等介质会导致的信息混叠及部分信息丢失，无法获取理想成像效果；探测器失配、使用校准等问题；计算机处理过程量化精度误差及数字之殇；这些均会导致信息丢失并造成熵增。所以建立能够评价全链路“熵增”的评价体系以全面实现信息传递的评估，实现以信息传递为最优的计算光学系统设计十分重要。
目前的光学-图像联合设计方法就是迈向全信息评价的第一步，该方法不局限于端对端的处理方式及线性一一映射关系，能够更充分地发挥成像链路中各环节的特点和优势，实现成像效果的较优解。
全链路光学系统优化
单一模块优化结果与系统-算法协同优化结果
4.信息容量与解译
4.1 空间带宽积
一般认为：信息的容量受到口径的限制，口径越大，信息总量就越大。
空间带宽积(Space Bandwidth Product, SBP) 经常用来描述光学系统的信息通量，它是一个无量纲物理量，定义为透镜像面面积与最小可分辨像点面积的比值，表征了一个给定视场的光学系统可以清晰分辨（像点无重叠）的像点数目。SBP越高，图像所包含的信息量就越多。其英文定义为：“The number of pixels required to capture the full area at full resolution”，意即光学系统在满足奈奎斯特-香农采样定理的分辨率条件下（即“at full resolution”，像元尺寸需要小于或等于系统衍射极限Δ的一半）采集全视场（Full area）所需要的像素数。以显微镜系统为例，采用尼康公司10×/0.45 CF160物镜，放大率M = 10，NA = 0.45，视场数（Field number，FN）= 25 mm，波长λ取500 nm，则该系统的SBP为42.7×106像素。
一个系统SBP可以无限增长吗？答案当然是否定的。Lohmann最先发现了透镜系统遵循的比例法则，透镜系统比例法则是指透镜系统整体成比例缩放得到不同尺度的光学系统，尺度越大获取的信息量越大。这只是理想情况，即只存在与衍射极限光学系统中，如果考虑系统像差，结果必然大不相同。
不同光学系统放缩比M下SBP的变化
图中一共有三条曲线：当尺度很小，系统为衍射极限系统时， (红线)。随着尺度的增大，渐渐不可忽视像差对信息传递的影响，尺寸的增大导致SBP缓慢增加，直到即使尺度增大也不会带来信息增加（绿线），这便是传统光学系统设计的瓶颈，为了改善这一极限，不得已耗费大量人力物力去重新优化系统，很多时候效果也一般，是“事倍功半”。当发展到计算成像时代时，我们要进一步思考：这么做到底值不值得！
光学系统的SBP取决于两方面因素——视场与分辨率，因此可以从视场的扩大与分辨率的提高两个方面来提高SBP。基于视场扩大的SBP拓展技术又可以细分为多探测器/多孔径成像与单成像系统扫描拼接两类技术。其中多探测器/多孔径成像的典型代表包含本团队自主设计的广域相机及多孔径相机，其相机样机及成像结果如下图所示。
广域相机及成像结果图
多孔径相机及成像结果图
单成像系统扫描拼接通常采用高放大倍率光学系统以获取高分辨率图像，然后通过扫描拼接的方式得到大视场图像，典型的应用是病理切片扫描仪，下图所示为本团队青年教师自主设计的基于单帧实时自动对焦的全切片扫描显微成像系统。
基于单帧实时自动对焦的全切片扫描显微成像系统
基于分辨率提升的SBP拓展技术仅利用单个成像系统先获取较大的成像视场，然后采用高分辨率重建算法获取高分辨率成像结果，实现大视场高分辨率成像，以此达到高SBP成像，典型的有美国康涅狄格大学郑国安教授课题组提出的高通量叠层成像技术，又可以细分为基于透镜系统的傅里叶叠层显微成像技术和基于无透镜系统的编码叠层显微成像技术，分别如下图所示。
傅里叶叠层显微成像系统
无透镜编码叠层显微成像系统
4.2 光信息编码
在通信系统中，我们知道信息是可以压缩的，可以编码的；对光电成像而言，光信息是否可以压缩，以编码的形式进入到系统中？图像经过傅里叶变换，我们知道信息有低频、中频和高频。高频信息在频谱中占得能量很小，但如果缺失，则会造成图像模糊，细节丢失；如果没有低频，整个图像都会变得暗淡，那是图像能量最集中的区域；而丢失了中频，图像的层次就会失去。这其实告诉我们，想看到一个轮廓很容易实现，而想看得“细致入微”则需要付出很高的代价，这个代价其实就是获取体现细节的高频，往往需要更大的口径。既然如此，能不能重新分配低频、中频和高频信息，在保证口径不变的情况下，通过所需要的信息？我们知道，凸透镜成像可以认为是在频率域中做傅里叶变换，那就是说我们的镜头对高、中、低频都是线性作用的，也就是说，不可能实现信息频率的重组，想重新分配这些频率是不可能的，除非采用非传统透镜的模式。对，非传统透镜可以打破这种限制，比如散射“镜头”，更高频率的光信息通过曲折的多径状态，把在传统凸透镜不可能进入到成像系统的光线纳入，可以突破口径的限制。可是，这种散射透镜的中低频信息获取能力很差，成像效果很差。
散射透镜实现超分辨率成像
对了，你不是说计算成像的基本思维是升维吗？你上面的这些说法是不是还停留在低维度上的思考呢？没错，我们再进一步去思考：哪些信息是简并的，在口径不变的情况下传递更多的信息？传统成像中，我们大部分只考虑强度信息，而相位、偏振等都没有考虑，尽管这些信息其实已经进入了光学系统。这是我们做计算成像更应该考虑的问题，这其实是编码问题，详见“编码，该怎么编码？”一文。因为，那五个“更”的需求，就决定在更多“定制”的信息是如何进入到系统，最后解译出来。
4.3 信息解译
信息的解译依赖于算法，算法为上乎？那要看算法的承载基础是什么。算法的潜力很大，但总是有极限的。图像处理的知识告诉我们：图像处理后信息只会减少，不会增加！严格地讲：凡是不可逆的计算，熵只会增加，不会减少。而且，数字图像处理的算法几乎没有可逆的，仅仅是一个“数字计算”，就很难保证算法的可逆，我把它称之为“数字之殇”，具体可参考“计算成像中的数学问题”一文。信息不会无中生有，那么算法恢复所获得的MTF曲线质量提升的信息来自哪里？事实上我们知道，这些额外“增长”出的图像信息的源头往往来自于目标场景中物体特征的先验知识，如果没有这些条件，算法的恢复效果也不过是“无米之炊”。那么，算法的极限受什么制约？答案就是光电成像系统获得的物理信息总量。正如热力学第二定律所言，只有开放的系统才能突破原算法的极限，即：要有新的输入，典型的例子就是深度学习，依靠的是大数据作为输入获得强大的算法能力，这也恰恰验证了热力学第一定律存在威力：能量守恒！
5. 总结
目前还没有评价计算成像系统性能的体系，多采用传统成像的MTF和图像质量评价方法去评价计算成像，很显然，这些方法捉襟见肘，结果也难以令人信服。建立计算成像的评价体系是计算成像技术健康发展的需求，不能缺失。从上述分析来看，熵应该成为评价体系的主角，客观评价信息在成像链路中的传递。当然，计算成像面向应用，应用的目的性体现在五个“更”，不是仅仅看“图像质量”。这个图像质量是依靠算法完成的，目的性很强，还是瞄准着五个“更”，肯定会出现熵增的情况，如何评价算法，也是我们要研究的内容之一。当然，图像是成像最终的表现，图像的评价体系也可以作为辅助参考，这需要我们设计一个完整的评价体系。
因为很多人还没有意识到评价的重要性，研究的人员也很少。不少学者在听了我今年3月底在广州做的“计算成像的信息传递与评价”报告后，对计算成像的评价方法感兴趣。本文的目的也是抛砖引玉，也限于篇幅，很多问题只是列举出来，没有讲清楚，在后续的文章里，我会做进一步的解释。