联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
用深度学习技术把黑白图片变成彩色图片
用深度学习技术把黑白图片变成彩色图片
用深度学习技术把黑白图片变成彩色图片
目的任务
用一张黑白照片,制造出它的彩色版本。直觉上,这个想法相当简单。依据照片的内容,晓得它的颜色应该是什么。比方,树叶普通是绿色的,天空是蓝色的,云朵是白色的等等。我们需求做的就是使计算机能完成它。
以前的工作和存在的问题
过去主要应用了深度学习,他们用回归来预测每一个像素的颜色,但是结果却不尽如人意,颜色平淡单调。
Figure 1.0 Results of a regression based model. Left: Input to the model. Right: Output of the model
Figure 1.0 Results of a regression based model. Left: Input to the model. Right: Output of the model
以前的作品运用均方误差(Mean Squared Error ,MSE)作为锻炼模型的损失函数,作者指出,MSE将尝试“均匀”出颜色,以取得最小的均匀误差,这将招致平淡的外观。于是作者改动思绪,将图片着色变为分类问题。
模型的输入输出
作者运用了LAB颜色空间形式(最常见的使RGB)。在LAB计划中,L通道记载了光强值,另外两个通道则记载了一组对立色,绿-红 和 蓝-黄。关于LAB你能够在这里理解更多。
运用LAB颜色空间的一个很有利的缘由是它能使光强值坚持别离。益处是黑白图片能够被当作L通道,这样模型在预测时就不用学习如何坚持光强。(运用RGB则必需)。这样,模型只需学习怎样将图像彩色化,从而专注于关键步骤。
模型输出的AB通道值,能够被直接应用到黑白图像是上得到彩色图片。
该模型是一个相当规范的卷积神经网络,作者并没有用池化层,取而代之的是运用上/下采样层。
颜色量化
经过上面简短的引见,作者采用了分类模型取代回归模型。因而,类型的数量需求做修正,作者选取了313个AB对作为分类可能数量。固然看起来这有点少,但也能够运用一些办法来确保能呈现更多颜色。(文末有引见)
损失函数
作者运用的损失函数是规范的穿插熵(Cross Entropy)。Z 是像素的真实类型,Z^ 是模型的输出。
Equation 1.0 Standard Cross Entropy
Equation 1.0 Standard Cross Entropy
作者还指出,颜色值在分类中会呈现不平衡,运用穿插熵作为损失函数在分类不平衡上不能很好地发挥作用,通常具有较少示例的类具有更高的权重。而不饱和色 灰色和浅蓝色 想比其他会愈加丰厚普遍,由于它们常常呈现在背风光中。所以作者提出了一种权重计划。
Equation 1.1 Weighing scheme
Equation 1.1 Weighing scheme
作者从ImageNet数据库中计算〜p,即类的散布。Q 则是类型数量(313),λ 取 0.5 效果不错。需求留意的是,作者对〜p停止了平滑处置,在这里我将跳过,感兴味能够阅读原作。
所以思索权重后,我们的损失函数最终如下:
Equation 1.3 Loss function after weighing scheme
v( ) 只是每个类的权重值,h 和 w 分别是图像的高度和宽度。
依据类型预测颜色
直接用313个颜色分类会使图象很粗糙,只要少数能与真实颜色相匹配。
作者为了从预测模型中得到更多样化的颜色范围,又加了一步后续处置。
Equation 2.0 Calculating color from class probabilities
Equation 2.0 Calculating color from class probabilities
H 是一个函数,Z 是模型的输出,T 是一个超参数(hyper-parameter),作者实验了如下一些不同的值。
Figure 1.0 Effect of different values of T
这是很巧妙地一步,缘由是模型的输出是一组概率值,相比只取最大约率所对应的颜色值(就像做图片分类一样),上述函数试图应用 模型输出一组概率值 的全部信息来计算颜色,因而效果更好。
锻炼框架
锻炼这样一个神经网络分为两局部。首先 锻炼数据正向传播经过模型,计算输出得到预测结果。然后计算 H 的的倒数来计算损失(loss)。
结果
实验结果图片是十分鲜艳的,在大多数状况下与理想相差无几。但也要留意有时与真实环境会有偏向,但语义(semantically correct)上仍是正确的(模型能为目的赋予正确的颜色)。
Figure 2.0 Comparison between different colouring frameworks
Colouring Legacy Black & White Photos
Figure 2.1 Colouring photos that were originally taken in Black & White
结论
在本文中,我们讨论了一种运用修正版的损失函数对图像停止着色的新办法。 我们讨论了如何经过超参数来控制 vibrancy,以及为什么 类型的重新均衡( class rebalancing) 在自然图像着色方面起着重要的作用
上一条:马来西亚身份证识别
下一条:android系统护照阅读机