[nikomat 1133] Re: CCD line sensor for AF

[HIURA Shinsaku <shinsaku@vision.kuee.kyoto-u.ac.jp>]

ひうら＠きょうだいです。

長文堂氏：
> 信号の素性が良くて補完を上手にやるとピクセル以下の分解能が
> 得られるということを「写り」の話にすり替えて兄者に質問。。。。。

これはですね、

ピクセル以下の分解能が得られる、というのは少し誤解を生む
表現でして、正確には「ピクセル以下の精度で位置合わせを
行うことが出来る」です。

乱暴な話、今 y = x みたいな傾き１の直線があるとして、
これが左右に平行移動するとします。この平行移動量を
a1, a2 とすると、おのおの y1 = x - a1, y2 = x - a2
という２本の平行な直線が得られます。

で、この直線が、どれだけ左右にずれているか？というのを
求めるためには、y 軸上の y 値、つまり x = 0 の時の
値を用いれば良い。y1 = -a1, y2 = -a2 ですから、ずれ量は
y1 - y2 で求められます。

ここで、x は CCD の並びに沿った方向の軸とし、y は CCD 
によって得られる輝度値とすると、たった１ピクセルの輝度値で
完全に「グラデーション状」の被写体に対してフォーカシング
出来ることになります。

まぁここでは傾きが最初から 1 である、と仮定したのですが、
仮に、対象の明度変化が直線状であると仮定すると、隣り合った
２ピクセルの差によりその直線の傾きは推定できますから、
やはりずれ量が推定できます。

・・・・

この考え方を発展させていくと、（任意の波形はフーリエ変換
により級数展開出来るので）入力波形をフーリエ変換し、
その各周波数成分の位相ずれ量を求めることでピントが合わせられる
ということになります。

で、実はここには数学のトリックが潜んでいまして、
「実数１つは、無限の情報量を持つ」ということなんです。
例えば今、任意の実数が任意の精度で保持できる変数があると
すると、どんな長いデータでも、0.10101101101110100010101
ってな感じで各桁に 1, 0 でコーディングすると収まって
しまいますよね。

しかし実際には、そういう変数はありませんし、また「実数値が
得られる」と思っている CCD からの明度値は、実際には AD 変換
された離散値で、かつノイズも含むので、こうは行きません。

先ほどの直線の例を考えたとき、例えば AD 変換が 8bit とすると
(0 - 255 の 256 段階の値が得られるから）実際にはどうがんばっても
直線エッジのずれ量は 256 段階でしか得られないことになります。

・・・とまぁ、CCD のような撮像系を介して画像を撮ったとき、
「サンプリング（標本化）」の問題と、「クオンタイズ（量子化）」
の問題が重要になってくるわけですね。

先ほど出てきた、フーリエ変換のあたりの理論に、「周期が、
サンプリング間隔の倍以上である信号は、サンプリングの後にも
完全に復元される（情報が失われない）」という、
「サンプリング定理」というのがあります。これは、サンプリング
の事しか言ってなくて、量子化の問題にはノータッチなんですね。

> 非常に粒子サイズ（0.03mmとする）の揃ったフィルムがあったと
> しますよね。大雑把な話で、このフィルムを使う限りミリ３０本
> のレンズでよろしい、ミリ１５０本レンズなんぞ無駄であるとな
> ります。ところが、写真を見てみるとそりゃ１５０の方が綺麗で
> すわ。たぶん６０と１５０の差も見えるでしょう。

粒子がきっちり揃っていて、なおかつ綺麗に配列されているような
フィルムだと、ミリ 30本のレンズのほうが、ミリ 150本のレンズより
素直で美しい絵になるはずです。なぜなら、被写体にミリ 150本
程度となるような細かい信号があったとき、これがミリ30本で標本化
されると、ノイズになってしまうからです。
エイリアシングノイズといいます。

例えば自動車の広告などで、自動車は高速で走っているのに車輪は
ゆっくりと回っているように見えるものがありますよね。あれは、
サンプリング間隔が長い（毎秒３０枚とか）ことによってエイリアシング
しているわけです。これをもし「車輪の角度＝明度値」「各時刻の
画像＝各位置のピクセル」と置き換えると同じことが起こります。
（つまりミリ 50本の縞模様をミリ 30本の CCD で撮影すると、
ミリ10本の縞模様に変換されてしまう）

で、車輪の例の場合はまだ、回転速度が一定なのでましなんですが、
もしも実際の物体のように複雑なテクスチャになると、もうノイズ
だらけになってしまいます。自動車の車輪の例で言うと、車輪の
角度が非常に激しくランダムに変化しているような場合ですが、 
こう言うときは、自動車の車輪はフラッシュしているかのように
ちらついて見えるでしょう。

で、COOLPIX 900 や 910 などでは、この問題を避けるために、CCD の
直前に光学的ローパスフィルタというものを挿入して、エイリアシング
ノイズを減少させています。１板カラー CCD 方式ですから、
サンプリングそのものが位相ずれしているので、非常に重要です。

一般に解像度の低いレンズは、ローパスフィルタの働きを
持ちますが、収差によってはいろいろデコボコが生じます。
これはいかん・・ということで、高解像度のレンズと LPF なんて
いうことをやってしまう Nikon は恐るべき凝り性的企業と
呼べるでしょう ^^; 

参考（ニコンの企業文化）：
  http://www.nikon.co.jp/main/jpn/society/rhnc02f4.htm
    （COOLPIX 900/910）：
  http://www.nikon.co.jp/main/jpn/society/tr6-e900j.htm

で、写真フィルムはどうなんか・・というと、こいつは
「ランダムサンプリング」なんですよね。粒子がランダムに
並んでいます。

＃ 平面上にランダムに点をばらまく、次に、平面上の全ての
＃ 座標値を、「最も近い点」に関連づける。というふうにして
＃ 平面全体を領域分割したような図形になっているらしい。
＃ ボロノイ線図ですな。

ランダムサンプリングの理論はあまり勉強していませんが、
（そもそも画像では使わないっす）サンプリング定理と
同様に理論展開していくと、十分長いサンプル数を取れば
確率的に、任意の周期の波は完全に復元出来ると思います。

＃ で、高周波成分は、サンプル数が増えるにしたがって確度が
＃ 上がるというようなことになるんじゃないかなぁ。

で、フィルムだけでなく、人間のもうまく構造もこれに似た
構造をしているらしい・・ということも聞きました。

> 真っ白な壁だったら差は出ないでしょうが、信号がモロにアナロ
> グで質のよろしい人の肌とか、髪の毛の艶とか、建物のエッジな
> んぞだったら経験的に差が見えます。人間の目玉というのは実に
> 巧妙な補完をやりますし、ノイズフィルターまで入っているから
> 解析アルゴリズムとしてはかなり高度でしょう。粒子サイズの不
> 揃いぐらい多少は補正可能でしょう。更に、丹後屋旦那のような
> 目利きになるとアルゴリズムが常人と桁違いに高度でも不思議な
> い。
> 
> ＃ネガ見るときに”細かいところが見えない！”と高倍率ルーペ
> ＃で見るとかえって見えないことがありますよね。目玉補完はか
> ＃なり細かい画像にのみ有効なのかも知れません。

人間の目、脳の補間機能はなかなかすごいものがあると思います。
視細胞と写真粒子が位置合わせされているわけではないですが、
こういう効果が生まれているのは有り得る話と思います。

たまたま近い位置関係の小さな粒子があれば、そこは高周波数成分
の情報を有していますから、そこから補完が効いてくるということは
ありそうです。

で、やっぱりそういう場合には、近づきすぎると余計見えないような
感じになるでしょうね。

というわけで、ランダムサンプリングだと、（高解像度過ぎる
レンズで撮影すると、やっぱりノイジーな感じになると思いますが）
単なるエイリアシングではなく、解像度感を与える絵になるかも
しれませんね。

ちゃんと理論的な確証はありませんが、どこまでもカリカリの
レンズより、なだらかに高周波成分が減少するようなレンズの
方がフィルムには向いているような気がします。

> サブピクセル効果を考えると、ソコソコのフィルムでも眼力を鍛
> える（アルゴリズムが高度化する）と、より微粒子なフィルムを
> 使うのとほぼ同様の情報を引き出せるってことでしょうか？？
> 雑誌では”６切り伸ばし程度の拡大率じゃ差は出ない”とかいう
> が、実のところはISO100ネガカラーのサービス版伸ばしでも高性
> 能レンズの味見が充分に出来るという珍現象の理論的根拠がこれ
> なのでしょうか？？？？

元の絵が復元出来るかどうか？っていうと難しいですが、写真全体
を解析してレンズの解像度を割り出すっちゅうのは可能なような
気がします。「目利き」＝「レンズグルメ」っちゅうことか？
（被写体より、撮影レンズに興味がある人向け？ ^^;;  ）

> ＃目玉補完アルゴリズムの未熟な素人に２枚のＬ版を比べさせて
> ＃も同じというが、ヲタクだと大違いに見える、という事実の説
> ＃明も付く。素人は粒子だけというか生データを読むが、ヲタク
> ＃はデータ解析を付加して粒子の行間まで読んでいる？

これも、「どの情報（被写体 or レンズ性能）」を見ているのかが
違うのかも。

> さらには、信号の質の良さということを言えば、解像度チャート
> のようなデジタルものより一般のアナログ被写体の方が良いわけ
> なんで目玉サブピクセル処理も上手くいく。すると、サービス版
> レンズ味見はアナログ被写体に限る、ということでよろしいので
> しょうか？？

人間の補間機能を頼るなら、やっぱり進化の過程で育まれてきた
自然の対象が適しているでしょうね。

山水画も、あれはなかなかすごくて、松林が、松の葉全部が
書かれているように、視神経の高周波成分を指摘してくるんですが、
近寄って見てみると、単に薄い墨で塗ってあったりするだけなんですね。
濃い墨／強いエッジの部分と、薄い墨／グラデーションというのを
うまく使い分けてそういう効果を生んでいるように思えます。

クリスタルフォントっちゅうのもあったなぁ。
（濃淡値を利用して、極小さいドット数で漢字を表示する。
  近くで見るとなにがなんだか・・だけど、遠くから見ると
  不思議と読めるんだなぁ。）

では。