産総研,深層学習で赤外線画像をカラー化

産業技術総合研究所(産総研)の研究グループは,多層の人工ニューラルネットワークを用いた深層学習による赤外線画像の可視光カラー化技術を開発した(ニュースリリース)。

今回,画像の特徴量を抽出し学習することができるCNNと時系列情報間の関連性を学習することができるRNNという深層学習の手法を基本に,輝度情報と色情報を同時に学習するモデルを構築することで,赤外線静止画や赤外線動画を可視光カラー化する技術を開発した。

まず,被写体一式を赤外線カットフィルターのない通常のカメラで撮影し,可視光下での通常のカラー画像,赤外線照射下での通常の赤外線画像,従来の技術で赤外線画像を可視光カラー化した画像(中心波長780nm,870nm,940nmの画像をそれぞれ赤,青,緑に変換して合成した画像)と比較した。

その結果,色再現性が大幅に改善され,可視光下での通常のカラー画像と区別できない程度まで再現されていることが分かった。なお,ここではCNNを基本とするモデルを用いているが,入力画像を変化させて学習させることにより,過学習の抑制あるいは汎化性の向上が期待される。

そのため,画像とその鏡映,反転,回転画像を入力画像とし,画像とその鏡映,反転,回転画像を教師画像としてそれぞれ学習し,学習済みモデルに赤外線画像を入力して変換している。この際の変換時間は約30msであり,リアルタイムでの変換が可能としている。

また,シリコンイメージセンサーを用いた通常のカメラでは,赤外線領域の850nm程度まで,カラー化フィルターの各分光特性間に差がある。モノクロ画像と比較して情報量が増えるため,その分光情報も利用して学習させた。開発した赤外線カラー暗視カメラのような赤外線領域に特殊な分光特性を持たせたカメラで撮影したより情報量の多い画像を用いると,学習効率をさらに上げることができるという。

一方,カラー画像より情報量が少ないため,その分,学習に時間が掛かるが,赤外線モノクロ画像の可視光カラー化も可能となる。可視光カラー画像を教師画像として学習する深層学習を用いれば,赤外線領域に分光情報のない赤外線モノクロ画像もカラー化できる。

さらに,赤外線動画と教師動画を用いてそれぞれCNNモデルまたはRNNモデルにより学習させ,それぞれの学習済みモデルに赤外線動画を入力してそれぞれの赤外線カラー動画を得た。画像の特徴量から色を推定するCNNモデルでは,類似した形状の物体の識別に混乱が生じる場合もあるが,時系列情報間の関連性を考慮するRNNモデルではそれが改善されていることを示したという。

研究グループは,この技術をさらに改善することで,視認性の高いセキュリティーカメラや夜行性動物の生態記録などへの応用が期待されるとしている。

その他関連ニュース

  • パナ,Vieureka対応カメラの新機種発売 2020年04月03日
  • 兵庫医科大,AIで眼底写真から脈絡膜厚さ推定 2020年04月01日
  • 日本アビオら,感染症向け発熱検知製品の開発開始 2020年03月25日
  • 2019年画像認識関連技術市場,290億円に 2020年03月25日
  • 東大,目的の原子層を全自動探索する顕微鏡開発 2020年03月24日
  • ams,統合IRイルミネータモジュールを発表 2020年03月12日
  • 東北大,非線形力学モデル同定の新手法を開発 2020年03月10日
  • がん研,内視鏡動画のデータ化プロジェクト開始 2020年03月04日