Adobe，作者： Sharad Mangalick，机器编译，参与： Nurhachu Null，路。
最近，adobe推出了一个名为Enhance Details的照片编辑APP应用程序新功能，它使用机器学习来提高图像的分辨率和质量。 Lightroom CC提供了新功能，adobe表示某些图像的分辨率最多可提高30%。 最近，adobe推出了名为Enhance Details的照片编辑APP应用程序的新功能。 这个功能使用经过机器学习——训练的卷积神经网络3354，为真正值得重视的照片提供最高的质量。 扩展功能可以很好地用于拜尔格式(佳能、尼康、索尼等)和X-Trans格式(富士胶片)的原始马赛克文件中。
上图显示了将Fuji X-Trans文件的详细区域放大到200%时的差异。 请注意，窗户和路灯细节的清晰度得到了增强。 要理解摄像头是如何看世界的“强调细节”原理，首先要理解普通的数码相机传感器是如何看世界的。 人眼可以区分百万种颜色。 我们大部分人都有三种颜色的视觉，视网膜上有各种类型的感知红、绿、蓝的锥形感光细胞。 每个视锥细胞使眼睛区分约100种色度，人类视觉系统可以通过混合信号看到数百万种不同色度的颜色。 但是，摄像机并不是这样看世界的。 所有的数码照片都从单色开始。 然后在马赛克转换过程中将照片转换成彩色。 数码照相机的传感器由两部分构成。 首先是主要的光传感器阵列。 微观感光性腔室测量特定像素的光强度。 只有光强，没有颜色。 例如在沙滩上，看太平洋的日落。 你看到的景象是这样的：
你记忆中的样子。 照相机的光传感器阵列上只能看到单色的图像。 (由于光传感器感知光的方式与人眼不同，“原始处理”( raw processing )关注这个问题，而超暗的图像不感兴趣……。
在没有滤色器阵列的相机上可以看到这样的。 在光传感器阵列上添加滤色器阵列可以获得不同的结果。 滤色器阵列允许传感器记录每个像素的颜色。 例如：
在滤色器阵列中，每个像素被记录为一个红色、绿色或蓝色。 此图显示为绿色的原因是，“Bayer array”中的绿色像素是红色和蓝色像素的两倍。 这是为了模仿人眼感知颜色的方法。 数码相机对每个指定的像素只记录三种颜色中的一种。 例如，对于红色像素，滤色器阵列将删除所有蓝色和绿色信息，最终该像素只记录红色。 因此，原始图像中的每个像素都缺少其他两种颜色的信息。
软件如何重建图像？数字照片中每个像素的红色、绿色和蓝色值是通过去马赛克转换过程创建的。 马赛克变换法的出现是艺术和科学。 有很多方法可以对一张照片进行去马赛克处理。 马赛克设计的选择会影响一切，从照片的整体分辨率到小色域的保真度，再到精确的细节再现。 在其最基本的形式中，去马赛克过程对相邻像素的颜色值进行平均。 例如，具有红色滤镜的像素只提供该像素关于红光强度的记录。 去马赛克算法对所有四个相邻蓝色像素的值进行平均，以确定最可能的蓝色值，然后对周围的绿色像素执行同样的操作以获得绿色值。 推测最有可能的值是什么的过程被称为插值，它是去马赛克过程的重要部分。 在具有平滑颜色梯度或恒定颜色的图像区域中，去马赛克处理(如蓝天或白云)相对简单。 但是，在更复杂的图像区域，这个过程变得特别困难。 在具有纹理、细节、重复图案和锐边的区域中，标准去马赛克方法会出现问题，并以较低的分辨率生成有问题的图像。
高级去马赛克方法可以处理这些复杂区域，但这些方法消耗大量计算资源。 创建图像需要大量的数学计算来执行必要的插值操作。 即使是最强大的计算机硬件，这也很费时间。 因此，像Lightroom这样的软件总是在图像保真度和速度之间进行权衡。 去马赛克问题实际上要解决的去马赛克问题并不多。 但是，他们一次又一次，以新的、更复杂的形式，一个接一个地出现在图像中。
大小详细信息：如果图像包含接近照相机传感器分辨率极限的小细节，这是一个大问题。 如果运气好的话，只会把这些细节变成混乱的颜色。 遗憾的是，当遇到云纹图案时，颜色伪像排列成迷宫般的图案。 假色：如果去马赛克算法跨过锐边而不是沿边缘进行错误插值，则可能会出现颜色突变或不自然的变化。 Zippering (图像边缘缺少通常用于插值颜色数据的一半像素，因此边缘可能模糊。 adobe一直在努力提高反向马赛克的算法。 多年来，adobe一直在改进算法，使其能在大多数图像中表现得非常好。 但是，这些特殊的课题仍然需要我们用不同的方法来思考这个问题。 强调细节进入Adobe Sensei。 Sensei综合了包括机器学习在内的人工智能的所有分支。 要强调细节，使用经过大量训练的卷积神经网络进行图像质量最大化的优化。 adobe使用问题示例来训练神经网络，对原始图像进行去马赛克处理，然后使用最新的Mac OS和windows10操作系统中内置的机器学习框架运行网络。 加强细节使用的神经网络已经被训练了超过10亿个样本。 这10亿个例子中的每一个都包括一个或多个上述问题，这给标准的去马赛克方法带来了严重的问题。 adobe训练了两个模型。 一个用于拜尔传感器，另一个用于Fujifilm X-Trans传感器。 因此，增强细节会产生惊人的效果，包括提高分辨率、精确渲染边缘和细节，以及减少伪色和波纹图案等瑕疵。
adobe使用西门子星分辨率测试卡进行计算，发现“扩展细节”可以在Bayer和X-Trans原始图像中提供高达30%的分辨率提升。 如果您想亲自试用，请访问富士胶片原始文件( https://theblog images.adobe.com/WP-content/uploads/2019/02/fuji-x-trans-same )
