16. コンピュテーショナルフォトグラフィ・NPR・可視化

此処までのシリーズの殆どは、1つの目標を目指して来ました。
存在しないシーンを撮った写真の様に見える絵です。
此の章では、同じ道具の別の3つの使い方を扱います。
コンピュテーショナルフォトグラフィは、カメラ其の物をコンピュータにして、1回の露出では撮れない写真を作ります。
ノンフォトリアリスティックレンダリングは、敢えて写真に見えない絵を描きます。
アニメ、テクニカルイラストレーション、ペン画などです。
可視化は、数値（CTスキャン、流れのシミュレーション、売上の表）を、人が理解出来る絵に変えます。

3つとも物理的な正確さより、人が何を見るべきかを考えます。
其の為、シラバスでは此の3つを分野7視覚に訴えるグラフィックスとして纏め、コンピュテーショナルフォトグラフィ、ノンフォトリアリスティックレンダリング、可視化の3項目を挙げています。
此の章では、各部の最後に其の部の検定のポイントを置きます。

殆ど全てが前の章の再利用なので、繰り返さずにリンクします。
第2章のカメラ、露出、ノイズ、第3章の色と知覚、第9章の等値面とマーチングキューブ法、第10章のシェーディングと背面、第12章のライトフィールド、そして第15章のトーンマッピング、畳み込み、エッジ検出、ホモグラフィです。

16.1 コンピュテーショナルフォトグラフィとは

昔ながらのカメラは光学機器です。
レンズが像を作り、センサーが其れを1回記録し、写真は完成です。
コンピュテーショナルフォトグラフィは、撮影と計算を1つのシステムとして扱います。
普通の写真1枚より多くの物（複数の露出、複数のピント位置、ライトフィールド、符号化されたぼけ）を記録し、其の後で本当に欲しい写真を計算します。
結果は、どの1回の露出よりも広いダイナミックレンジ、深い被写界深度、少ないノイズや少ないぶれを持てますし、撮影後に判断（ピント、照明）を変える事も出来ます。

2.11節の3つの分野（コンピュータビジョン、画像処理、カメラモデル）を全て使い、手法は何を変えるかで分類出来ます：

スマートフォンは、シャッターボタンを押す度に此の内の幾つかを、大抵は何も言わずに行っています。

16.2 露出ブラケットによるHDR合成

問題：1回の露出には広過ぎる範囲

晴れた日に部屋の中から窓を撮ってみて下さい。
部屋が正しく写れば窓は真っ白になり、空が正しく写れば部屋は真っ黒になります。
シーンのダイナミックレンジ（気にする範囲で一番明るい所と一番暗い所の比）が、1回の露出で記録出来る範囲より大きいのです。
深い影のある日向のシーンは100,000:1、約17段（${\log }_{2}100000\approx 16.6$）を超える事があり、8ビットの画像ファイルが持てるのは256段階です。

解決策は、露出時間を変えて何枚か撮る事です。
此の一連の撮影を露出ブラケットと言い、其れらを1枚のハイダイナミックレンジ画像（HDR画像、第2章）に合成し、シーンの放射輝度を浮動小数点数で保存します。
変えるのは絞りではなくシャッター速度です。
絞りを変えると被写界深度も変わり、写真同士が食い違ってしまうからです。

合成のシーンは暗い箱から太陽まで6,807:1（12.7段）に及び、どの1枚の露出にも収まりません。

モデル

カメラは、露出（放射輝度$E$と露出時間$t$の積）を、応答曲線$f$を通して画素値$Z$に変えます：

$f$が分かっていれば、各露出$j$から、其の画素の放射輝度の推定値が得られます：

センサーのRAWデータなら$f$は殆ど線型で、$E_j$は単に（定数倍を除いて）$Z_j/t_j$です。
JPEGは非線型な曲線（少なくともsRGBの符号化、多くの場合其れ以上）を通っていて、カメラは其れがどんな曲線かを教えてくれません。
ポール・デベヴェックとジテンドラ・マリク（「Recovering High Dynamic Range Radiance Maps from Photographs」、SIGGRAPH 1997）は、ブラケット写真其の物から曲線を求める方法を示しました。
シーンの同じ点が、露出時間の比が分かっている全ての写真に写っているので、$g=\ln f^{-1}$を（定数倍を除いて）解くのに十分な式が得られます。
其の後、推定値の対数の重み付き平均で合成します：

重みは「山形」で、0付近（ノイズ、量子化）と255付近（クリップ）で小さくなります。
$z\le 127.5$で$w(z)=z$、其れより上で$w(z)=255-z$です。
飽和した画素（$Z=255$）の重みは0です。
其の画素から分かるのは、放射輝度が「少なくとも」或る値だったという事だけだからです。

計算例：2枚の露出、2つの画素

線型な応答のカメラで、$t_1=1/15$ sと$t_2=1/240$ sの2枚を撮ります。
比は16、つまり4段です。
画素Pは影の中、画素Qは明るい窓の上にあります：

Pでは2つの推定値が食い違います。
短い露出ではPは黒から6段階しか上でないので、半段階のノイズが8%の誤差になります。
重みが其れを処理します：

結果は信頼出来る長い露出の近くに留まります（対数ではなく値其の物を平均すると1217で、殆ど同じです）。
Qでは長い露出がクリップしているので其の重みは0で、$E_Q=36000$は短い露出だけから来ます。
合成画像はQがPの$36000/1215\approx 30$倍明るい事を知っていますが、1枚1枚の写真はどちらかを間違えていました。

実際には

合成には、動かないシーンとカメラが必要です。
撮影の間に動いた物は何度も写ってしまう（ゴースト）ので、実際のソフトはまず画像の位置を合わせ、一致しない画素を除外します。
結果はOpenEXRの様な浮動小数点形式で保存し、普通の画面に表示する前にトーンマッピング（15.4節）しなければなりません。
上の図は大域的な曲線（ラインハルトの物）を1本使っていますが、局所的なトーンマッピングは、例えば対数輝度をエッジを保つバイラテラルフィルタ（第15章）でぼかした物で大まかな明るさだけを圧縮し、局所的な細部は残します。多くのスマートフォンの写真の「HDRらしい見た目」は此れです。
12.13節のライトプローブは丁度此の方法で作ります。
レンダラーは最初から浮動小数点で計算するので、ゲームは単に毎フレームトーンマッピングします。
其れはOpenGLシリーズの第21章で行います。

16.3 パノラマ：何枚もの写真をつなぐ

パノラマ（見せ方は12.13節で扱いました）は、普通画像のスティッチングで作ります。
カメラを回しながら重なり合う写真を撮り、1枚の広い画像にまとめるのです。
手順は次の通りです：

1. 全ての写真で特徴点を見つけます。角の様な目立つ点で、其々に回転、拡大縮小、明るさの変化に強い周囲の記述子が付きます（SIFT、デビッド・ロウ、2004年が古典的です）。
2. 重なっている写真同士で、記述子を比べて特徴点を対応付けます。
3. 各組の間の変換を推定します。カメラが光学的な中心の周りで回転するだけの時、又はシーンが平面の時、2枚の写真は第15章の3×3の射影変換、ホモグラフィで正確に結ばれます。要素は9つですが定数倍の違いは同じ変換なので未知数は8つ、対応点1組から式が2本出るので、4組の対応で決まります。
4. 間違った対応を除きます。RANSAC（フィッシュラーとボールズ、1981年）を使い、ランダムに4組選んでホモグラフィを計算し、他の対応の内いくつが其れに合うかを数え、此れを繰り返して一番良い物を残します。
5. 全ての写真を共通の面に変形します（数枚なら平面、1周なら円筒か球）。
6. 継ぎ目が見えない様に、重なりをブレンドします。

RANSACの試行回数は簡単に見積もれます。
対応の半分が間違っているなら、ランダムな4組が全て正しい確率は${0.5}^4=0.0625$です。
99%の確実さで少なくとも1回きれいな組を引くには、$1-(1-0.0625{)}^N\ge 0.99$、つまり$N\ge \frac{\ln 0.01}{\ln 0.9375}\approx 71.4$回、72回の試行が必要です。
1回の試行の計算は殆どタダです。

ブレンド。
一番単純なブレンドはフェザリングです。
重なりを横切って、一方の写真の重みを1から0へ線型に下げ、もう一方を上げます。
幅100ピクセルの重なりで、25ピクセル入った所の画素は重み0.75と0.25になり、其処で写真が120と140なら、結果は$0.75\cdot 120+0.25\cdot 140=125$です。
マルチバンドブレンディング（バートとアデルソン、1983年）は、画像ピラミッドを使い、低い周波数は広い範囲で、細かい部分は狭い範囲でブレンドします。
殆どのスティッチングソフトが此れを使っています。
カメラが回るだけでなく移動すると、近くの物と遠くの物のずれ方が変わり（視差）、1つのホモグラフィでは合わず、ゴーストや途切れた線が出ます。

16.4 深度合成、ライトフィールドカメラ、リフォーカス

深度合成

2.3節で、近くの物を撮ると被写界深度がとても浅くなる事を見ました。
深度合成（フォーカススタッキング）は、ピントの距離を変えて何枚か撮り、画素ごとに一番シャープな写真を残します。
シャープさは例えば局所的なラプラシアン（第15章）の大きさで測ります。
ピントの合った領域は高い周波数を強く含み、ぼけた領域は含みません。

ライトフィールドカメラ

12.13節で、全ての光線の放射輝度である4次元のライトフィールドを紹介しました。
ライトフィールドカメラ（プレノプティックカメラとも言います）は、センサーの前に小さなマイクロレンズを並べた配列を置き、小さなライトフィールドを1回の撮影で捉えます（スタンフォード大学のレン・ン達が2005年に手持ちの物を作りました）。
各マイクロレンズはピクセルの小さなブロックを覆い、其の各ピクセルが主レンズの開口の異なる部分を通してシーンを見るので、カメラは光線が当たった所と来た方向の両方を記録します。

代償は解像度です。
例： 7680×5120のセンサー（3930万画素）で、各マイクロレンズが10×10ピクセルを覆うと、位置ごとに100方向が得られますが、位置は$768\times 512=393216$個しかありません。
0.39メガピクセルの画像です。
此のトレードオフの為、ライトフィールドカメラはニッチに留まり、スマートフォンは深度推定（16.6節）で似た効果を実現しています。

シフトして足すリフォーカス

全てのマイクロレンズのブロックから同じ位置のピクセルを拾うと、1枚のサブアパーチャ画像になります。
レンズの小さな一部を通して見たシーンで、少しずれた視点からの写真の様な物です。
ピント面上の点は全てのサブアパーチャ画像で同じ位置に写り、其れ以外の奥行きの点は、サブアパーチャのずれ$u$とピント面からの距離に比例して、画像ごとにずれます。
普通の写真は全てのサブアパーチャ画像を其のまま足すので、ピントの外れた点は広がります。
此れがピンぼけを計算で作った物です。

リフォーカスは、足す前に各サブアパーチャ画像をずらします。
例： 1次元で、3つのサブアパーチャ$u=-1,0,+1$を考えます。
点Aは$x=10+2u$、つまりピクセル8、10、12に写ります。
其のまま足すと、Aは8〜12に広がってぼけます。
各画像を$-2u$ずらすと3つの写像が全て$x=10$に集まり、Aはシャープになります。
逆に、元々シャープだった点（3枚で同じ位置）は4ピクセルに広がります。
$u$あたりのずらし量を選ぶ事は、撮影後にピント面を選ぶ事です。
平均するサブアパーチャを減らすと、絞った時の様に被写界深度が深くなります。

16.5 ぶれ除去、符号化開口、符号化露光

ぶれは畳み込み

露出中にカメラが揺れたり被写体が動いたりすると、全ての点が同じ小さな形に広がります。
此の形が点像分布関数（PSF）です。
ぶれがどこでも同じなら、ぶれた画像$b$は、シャープな画像$s$をPSF $k$で畳み込み（第15章）、ノイズ$n$を足した物です：

ぶれ除去とは此れを元に戻す事、つまり逆畳み込み（デコンボリューション）です。
PSFが分かっていれば「ノンブラインド」逆畳み込み、ぶれた写真からPSFも推定しなければならなければ「ブラインド」逆畳み込みで、後者はずっと難しくなります。

計算例：逆畳み込みは何故壊れやすいか

1次元の信号$s=(0,0,0,9,9,9,9)$（くっきりした段差）に、3ピクセルの動きぶれ$b_i=\frac{1}{3}(s_i+s_{i-1}+s_{i-2})$を掛けます（始まりの前は0とします）：

段差が坂になりました。
元に戻すのはただの代数です。
$s_i=3b_i-s_{i-1}-s_{i-2}$で、$(0,0,0,9,9,9,9)$が正確に戻ります。
次に、4番目の値だけに0.3という小さなノイズを足し、$b_3=3.3$にします。
同じ式から

となり、誤差のパターン$+0.9,-0.9,0$が永遠に繰り返します。
0.3のノイズが、決して消えない0.9の誤差になりました。
理由はパターン其の物に見えています。
$(+a,-a,0)$を繰り返す数列は、隣り合うどの3つを足しても0なので、此のぶれは其れを完全に消してしまいます。
第15章の言葉で言えば、箱型のカーネルの周波数応答は1ピクセルあたり1/3周期の周波数で0になり、（殆ど）0で割ると其の周波数のノイズが際限無く増幅されます。
其の為、ウィーナーフィルタやリチャードソン・ルーシー法の様な実用的な方法は、闇雲に割り算はしません。
信号がノイズより弱い周波数は諦めるのです。

符号化露光と符号化開口

PSFの周波数応答に0がある事が問題なら、PSFを変えれば良いのです。
符号化露光（ラスカー、アグラワル、タンブリンの「フラッターシャッター」、2006年）は、露出中にシャッターを擬似ランダムな2値のパターンで開け閉めします。
動く物体は箱型ではなく破線状に伸び、上手く選んだパターンなら周波数応答に0が無いので、動きぶれが元に戻せる様になります。
符号化開口（例えばレヴィン、ファーガス、デュラン、フリーマン、2007年）は、ピンぼけについて同じ事をします。
レンズの開口に模様のあるマスクを入れると、ピンぼけのPSFが戻しやすくなり、更に模様の大きさが奥行きで変わるので、シーンの各部分がどれだけ遠いかも推定出来ます。

16.6 フラッシュ、バースト、スマートフォンのカメラ

バースト撮影：平均でノイズを消す

画素値は本当の値にランダムなノイズを足した物です。
光其の物がランダムな数の光子として届き、センサーの電子回路が更に自分のノイズを足します（2.3節では感度を上げると其れが増幅される事を見ました）。
静止したシーンを$N$枚撮って平均します。
本当の値は変わらず、標準偏差$\sigma$の独立なノイズは

に縮みます。
例： 1枚のノイズが$\sigma =8$段階だとします。
4枚の平均で$8/2=4$、9枚で$8/3\approx 2.67$、16枚で$8/4=2$です。
ノイズを半分にするには4倍の枚数が要ります。
デシベルで言えば、16枚でSN比が$20{\log }_{10}4\approx 12$ dB良くなります。

図で測ったノイズ（0.100、0.050、0.025）は式の通りです。
何故、同じ光の総量で1回長く露出しないのでしょうか？
手持ちの長い露出はぶれ（16.5節）、明るい所はクリップするからです。
短い露出を沢山撮れば両方を避けられ、平均の前にコンピュータが位置を合わせます。
此れがバースト撮影で、スマートフォンの「夜景モード」の中心です。1秒以上の間に沢山のフレームを撮り、局所的に位置を合わせ、頑健に合成し（何かが動いて他と一致しない画素は重みを下げます）、トーンマッピングします。

フラッシュとノーフラッシュ

暗い部屋では、フラッシュの写真はきれいですが平板で冷たく、フラッシュ無しの写真は部屋の雰囲気がありますがノイズだらけです。
フラッシュ／ノーフラッシュ撮影（ペチュニグ達、及びアイゼマンとデュラン、どちらも2004年）は両方を撮ります。
色と大まかな照明はノーフラッシュの写真から、細部と少ないノイズはフラッシュの写真から取ります。
道具は「ジョイント」バイラテラルフィルタ（第15章）で、ノーフラッシュの写真を滑らかにしますが、エッジはきれいなフラッシュ写真から取ります。

ポートレートモード：合成ボケ

スマートフォンの小さなレンズとセンサーでは、被写界深度は殆ど無限です。
ポートレートモードは大きなカメラの浅い被写界深度を真似ます。
深度マップを推定し（ステレオペアとしての2つのカメラ、デュアルピクセルセンサーの画素の左右半分、深度センサー、又はニューラルネットワークで1枚の画像から。センサーは17.5節で扱います）、人物と背景を分け、各画素を其れ自身の錯乱円でぼかします。

2.3節の錯乱円$c=D\frac{f|a-a_f|}{a(a_f-f)}$は、次の様に書き直せます：

従って、ピントの距離$a_f$が決まっていれば、ぼけは距離の逆数の差と共に大きくなります。
例： $a_f=1.5$ mの顔にピントを合わせ、ぼけの半径が$r=30\left|\frac{1}{a}-\frac{1}{a_f}\right|$ピクセル（$a$はメートル）になる様に定数を選びます。
3 mの壁は$30\cdot |0.333-0.667|=10$ピクセル、6 mの木は$30\cdot 0.5=15$、無限遠の背景は$30\cdot 0.667=20$、前に伸ばした1 mの手は$30\cdot |1-0.667|=10$です。
遠くではぼけは頭打ちになり、カメラの近くでは急に大きくなります。

超解像

センサーは画素ごとに1回像を標本化し、2.6節の標本化定理が記録出来る細かさを制限します。
複数フレームの超解像は、ピクセルの何分の一かずつずれた何枚かのフレームを使います（手ぶれが其れを無料で与えてくれます）。
例： $(0,0)$、$(\frac{1}{2},0)$、$(0,\frac{1}{2})$、$(\frac{1}{2},\frac{1}{2})$ピクセルずれた4枚を合わせると、半分の間隔の格子でシーンを標本化した事になります。
レンズが十分シャープで、ずれが正確に測れれば、各方向に2倍の解像度、4倍の画素数です。
一方、ニューラルネットワークによる1枚の画像からの超解像は、学習した画像から其れらしい細部を作り出します。
説得力がある事が多いですが、測定ではありません。

イメージベーストリライティング

光は線型に足し合わされます（10.10節のフォンの式で光源について和を取るのも其の結果の1つです）。
従って、静止した被写体を$K$個の光源其々1つだけで1回ずつ撮り、画像$I_1,\dots ,I_K$を得れば、其れらの光源をどんな割合で混ぜた時の見え方も重み付きの和になります：

例： 或る画素が光源1だけで200、光源2だけで50（リニアな値）なら、光源1を70%、光源2を20%にすると$0.7\cdot 200+0.2\cdot 50=150$になります。
此れがイメージベーストリライティングで、数百の方向からの光の下で撮った写真（デベヴェック達のライトステージ、2000年）があれば、重みをHDRの環境マップから取り、俳優の顔をどんなシーンにも合わせて照らし直せます。

16.7 シームカービング

16:9の写真を4:3の画面に表示するには3つの選択肢があります。
拡大縮小する（全てが潰れます）、切り取る（端が失われます）、又は誰も気にしない部分を取り除くかです。
シームカービング（シャイ・アヴィダンとアリエル・シャミア、SIGGRAPH 2007）は3つ目を行います。
内容を考慮したリサイズです。

エネルギーとシーム

まず、全ての画素に、どれだけ大事かを表すエネルギーを与えます。
単純な選び方は画像の勾配の大きさ、第15章のエッジの強さです：

平らな空のエネルギーは殆ど0で、エッジや模様のエネルギーは高くなります。
例： 左右の隣の明るさが50と90、上下の隣が60と64の画素は、中心差分で$e=\frac{|90-50|}{2}+\frac{|64-60|}{2}=20+2=22$になります。

縦のシームは、一番上の行から一番下の行までの画素の道で、各行に丁度1画素、各画素は上の画素と同じ列か隣の列にあります（8連結）。
シームを取り除くと、行が揃ったまま画像は1ピクセル細くなります。
欲しいのは合計エネルギーが一番小さいシームです。
其れは重要でない領域を通り、物体を避けます。

一番安いシームを探す：動的計画法

可能なシームは約$W\cdot 3^{H-1}$本あり、全て試すには多過ぎます。
でも、画素$(i,j)$で終わる一番安いシームは、其の上の3画素の何れかで終わる一番安いシームの続きのはずです。
其処で表$M$を、動的計画法で1行ずつ埋めます：

最後の行の一番小さい値が一番安いシームのコストで、表を最小値に沿って上に辿るとシーム其の物が得られます。
探索全体の計算量は画像を1回なめるだけ、$O(WH)$です。

計算例

4×5のエネルギーの表と、其処から計算した表$M$です：

0行目は其のまま写します。
1行目、2列目：$2+min(1,4,6)=3$。
2行目、1列目：$2+min(6,8,3)=5$。
3行目、2列目：$1+min(5,12,6)=6$。
最後の行の最小は2列目の6です。
上に戻ります。
2列目の上では、$M(2,1..3)=5,12,6$の最小は1列目です。
其の上では、$M(1,0..2)=6,8,3$の最小は2列目です。
其の上では、$M(0,1..3)=1,4,6$の最小は1列目です。
シームは列1、2、1、2を通り、エネルギーは$1+2+2+1=6$です。
一番安い真っ直ぐな列（1列目か2列目）は16なので、曲がるシームは、列を1本切り取るよりずっと大事でない内容を取り除きます。

実際には

画像を$k$列縮めるには、一番安いシームを探して取り除く事を$k$回繰り返し、毎回エネルギーを計算し直します。横のシームは高さを変え、一番安いシームを複製すれば拡大も出来ます。

シームはボールと塔を避けて空と草を通るので、物体は形を保ち、其の間の何も無い空間が縮みます。
重要でない物が残っていない時（人混み）は失敗し、多くのシームを横切る直線は曲がります。
ツールでは領域を守ったり、全てのシームを物体に通して其れを消したり出来ます。

検定のポイント

• コンピュテーショナルフォトグラフィ＝複数の、又は符号化した撮影＋計算で、1回の露出では得られない物を得る。
• HDR合成に必要なのは、動かないシーンの複数の露出（普通はシャッター時間を変える）、カメラの応答曲線（RAWなら線型、JPEGなら推定する。デベヴェックとマリク、1997年）、クリップした画素と暗過ぎる画素を無視する重みです。結果は浮動小数点の放射輝度で、表示にはトーンマッピングが必要です。
• スティッチング：特徴点→対応付け→RANSACでホモグラフィ（未知数8つ、対応点4組）→変形→ブレンド。ホモグラフィが正確なのは、回転するだけのカメラか平面のシーンの時だけです。
• $N$枚を平均するとノイズは$\sqrt{N}$分の1になります。
• ぶれはPSFとの畳み込みです。逆畳み込みはPSFが抑える周波数のノイズを増幅します。符号化露光と符号化開口はPSFを戻しやすくします。
• ライトフィールドカメラは空間の解像度を方向と引き換えにし、撮影後のリフォーカスを可能にします。
• シームカービングは、エネルギー最小の、8連結で各行1画素の道を動的計画法で探して取り除きます。

16.8 ノンフォトリアリスティックレンダリング

ノンフォトリアリスティックレンダリング（NPR）は「何でないか」で定義されます。
写真の様に見える事を目指さないレンダリングです。
此の名前は少し不運で、全く違う目的を含んでいます：

• イラストレーションと伝達：取扱説明書、特許図面、医学や科学のイラスト。敢えて物を省き、大事な部分がはっきり読める様にします。
• スタイル：アニメや漫画、絵画、墨絵、独特の見た目を持つゲーム。
• 抽象化：シーンや写真を大事な物だけに減らします（地図、スケッチ）。

NPRの手法は2つの系統に分かれます。
3次元（モデルベース）の手法はモデルから始まり、法線、深度、辺、曲率といった形状を使えます。トゥーンシェーディングと殆どの線画は此方です。
2次元（画像ベース）の手法は、写真やレンダリングしたフレームの画像から始まり、フィルタを掛けたり、上にストロークを置いたりします。絵画調フィルタ、桑原フィルタ、ニューラルスタイル変換です。
16.10節の輪郭線の様に、両方を混ぜるシステムも多いです。

16.9 トゥーンシェーディング

考え方

手描きのアニメーション（セルアニメーション）は、キャラクターを少しの平らな色で塗ります。
基本色、影色、場合によってハイライトで、其の間の境目はくっきりしています。
トゥーンシェーディング（セルシェーディングとも言います）は、10.10節の拡散反射の項を量子化して其れを真似ます。
滑らかな$max(𝐧\cdot 𝐥,0)$の代わりに、明るさが選んだしきい値で幾つかの段階の間を飛びます。

しきい値を0.2と0.6の2つ、段階を3つにすると：

一番暗い段階が0ではなく0.3である事に注意して下さい。
アニメでは、影の側は色の暗い版で、決して黒ではありません。

計算例

光は$𝐥=(0,0.6,0.8)$から来て（長さ1：$0.36+0.64=1$）、材質の色は$k_d=(0.8,0.1,0.1)$、光は白です。

2番目と3番目の法線はランバートの明るさが違います（0.48と0.28）が、トゥーンの色は同じです。
段階の内側では形の情報を敢えて捨て、段階の境目だけが形を見せます。

中と右の画像は丁度上のしきい値を使っています。
ハイライトは4番目の「段階」で、$𝐧\cdot 𝐡$（10.10節のハーフベクトル）が0.985を超える所を白く塗っています。

ランプテクスチャ

コードに書き込んだしきい値は、アーティストには調整しにくい物です。
其の為、殆どのエンジンは段階をランプテクスチャから引きます。
アーティストが描く1次元のテクスチャ（ピクセルの帯）です。
テクスチャ座標は$u=\frac{𝐧\cdot 𝐥+1}{2}$で、−1〜1の範囲を0〜1に写します。
例： $𝐧\cdot 𝐥=0.28$なら$u=0.64$で、256ピクセルのランプでは$0.64\cdot 255\approx 163$番目のテクセルです。
ランプには幾つでも段階を入れられ、柔らかい境目も硬い境目も、色相の変化（肌の赤みのある影色）も持てます。

// Toon shading: Lambert's n.l quantized into three bands (thresholds 0.2 and 0.6)
float3 toonShade(float3 n, float3 l, float3 baseColor) {
  float nl = dot(normalize(n), normalize(l));
  float level = nl < 0.2 ? 0.3 : (nl < 0.6 ? 0.6 : 1.0);
  return baseColor * level;
}

// The same with an artist-painted ramp texture: u = (n.l + 1) / 2
float3 toonRamp(Texture2D ramp, SamplerState rampSampler, float3 n, float3 l, float3 baseColor) {
  float u = dot(normalize(n), normalize(l)) * 0.5 + 0.5;
  return baseColor * ramp.Sample(rampSampler, float2(u, 0.5)).rgb;
}

// Toon shading: Lambert's n.l quantized into three bands (thresholds 0.2 and 0.6)
vec3 toonShade(vec3 n, vec3 l, vec3 baseColor) {
  float nl = dot(normalize(n), normalize(l));
  float level = nl < 0.2 ? 0.3 : (nl < 0.6 ? 0.6 : 1.0);
  return baseColor * level;
}

// The same with an artist-painted ramp texture: u = (n.l + 1) / 2
vec3 toonRamp(sampler2D ramp, vec3 n, vec3 l, vec3 baseColor) {
  float u = dot(normalize(n), normalize(l)) * 0.5 + 0.5;
  return baseColor * texture(ramp, vec2(u, 0.5)).rgb;
}

// Toon shading: Lambert's n.l quantized into three bands (thresholds 0.2 and 0.6)
float3 toonShade(float3 n, float3 l, float3 baseColor) {
  float nl = dot(normalize(n), normalize(l));
  float level = nl < 0.2 ? 0.3 : (nl < 0.6 ? 0.6 : 1.0);
  return baseColor * level;
}

// The same with an artist-painted ramp texture: u = (n.l + 1) / 2
float3 toonRamp(Texture2D ramp, SamplerState rampSampler, float3 n, float3 l, float3 baseColor) {
  float u = dot(normalize(n), normalize(l)) * 0.5 + 0.5;
  return baseColor * ramp.Sample(rampSampler, float2(u, 0.5)).rgb;
}

ゲームのアニメ調レンダリング

セガの『ジェットセットラジオ』（2000年）は、セルシェーディングを使った最初のゲームとして良く挙げられ、今ではアニメ調の3Dは1つのジャンルです。
顔を単純な$𝐧\cdot 𝐥$で照らすと、アニメーターなら決して描かない形の影が出来るので、此の様なゲームは影の境目を絵で描く位置に持って来る法線の編集、キャラクターごとの光、常に影や決して影にならない部分を指定するテクスチャ、時には各ポーズを2〜3フレーム保つアニメーションを加えます。

16.10 輪郭線と線画

数本の線があれば形が分かります。
3次元の線画は4種類の辺を使います：

• シルエットエッジ（輪郭エッジ）：面が視点から背を向ける所。外側の輪郭線と、内側の輪郭（物体の一部が別の部分の前を通る所）を含みます。
• クリースエッジ：形状の鋭い特徴で、2つの面の角度が大きい所（立方体の辺）。
• 境界エッジ：開いたメッシュの縁、面が1つしか無い辺。
• 材質や物体の境目：色や物体IDが変わる所。

シルエットの判定

11.3節では光源から見たシルエットエッジが必要でしたが、線画では視点から見た物が必要です。
メッシュでは、$𝐯$を辺から視点への方向として、2つの面の一方が表向きで、もう一方が裏向きの時、其の辺はシルエットエッジです：

10.1節の背面の判定を、辺の両側の面に当てはめた物です。
滑らかな曲面では、シルエットは丁度$𝐧\cdot 𝐯=0$の所です。

左半分は計算した物です。
多角形の全ての辺を$𝐧\cdot 𝐯$の符号で分類し、符号が入れ替わる所がシルエット点です。
2つではなく4つあります。
上の凹みが内側の輪郭を作り、視点からは片方の膨らみがもう片方の前にある様に見えるのです。

計算例。
2つの面が点$𝐩=(1,0,0)$を通る辺で接し、法線は${𝐧}_1=(0.8,0,0.6)$と${𝐧}_2=(0.8,0,-0.6)$です（+x方向を向いた楔です）。

• 視点が$(0,0,10)$：$𝐯=(-1,0,10)$（符号だけが大事なので正規化は要りません）。${𝐧}_1\cdot 𝐯=-0.8+6=5.2>0$、で、シルエットエッジです。
• 視点が$(10,0,0)$：$𝐯=(9,0,0)$で、どちらの積も$7.2>0$です。両方の面が見えていて、シルエットではありません。

クリースエッジでしょうか？
法線の間の角度は$\arccos ({𝐧}_1\cdot {𝐧}_2)=\arccos (0.64-0.36)=\arccos 0.28\approx 73.7\text{°}$です。
クリースのしきい値を60°（$\cos 60\text{°}=0.5$）にすると、なのでそうです。
此の辺はどの視点からも描かれますが、シルエットかどうかは視点で変わります。

物体空間の輪郭線：背面法

毎フレームシルエットエッジを探すには、メッシュの辺の隣接情報と、全ての辺に対する計算が要ります。
ゲームで非常に良く使われる安価な技は、其れを丸ごと避けます。
背面法（英語ではinverted hull、「裏返したシェル」）です。

1. メッシュを複製し、全ての頂点を法線に沿って外側へ小さな距離$w$だけ押し出します。大きくしたシェルです。
2. シェルを輪郭線の色で、表面をカリングして描きます。つまり裏面だけが描かれます（普通の背面カリングの逆で、背面カリングの設定はOpenGLシリーズの第16章で行います）。
3. 物体を普通に描きます。深度テストにより、物体はシルエットのすぐ外側の細い帯を除いてシェルを覆います。

図の右半分が其の結果です。
シェルの裏面は物体の後ろに隠れますが、シルエットより外にはみ出した所だけが見えます。
線の太さはワールド単位の$w$なので、距離と共に細くなります。
例： $w=0.02$ m、焦点距離1000ピクセルで、5 m先の物体の輪郭線は約$1000\cdot 0.02/5=4$ピクセル、20 m先では1ピクセルだけです。
エンジンは太さを一定に保つ為に、$w$を距離に比例させる（又はクリップ空間で押し出す）事が多いです。
輪郭の内側のクリースは描かず、法線が分かれた角では隙間が空き、閉じたメッシュが必要です。

画像空間の輪郭線：Gバッファのエッジ

もう1つの方法は、まずシーンをレンダリングし、画像の中で線を探す事です。
斎藤隆文と高橋時市郎（「Comprehensible Rendering of 3-D Shapes」、SIGGRAPH 1990）はGバッファを導入しました。
色の他に、画素ごとに深度、法線、物体IDを保存し、其れらのバッファに2次元のエッジ検出を掛けるのです。

• 深度の跳びはシルエットを表します（遠い物の前にある物体）。
• 法線の跳びはクリースを表します。
• 物体IDの変化は物体の境目を表します。

エッジ検出器は第15章の物を、色ではなく深度と法線に掛けます。
影の境目もエッジとして数えてしまう陰影付きの画像で探すより、ずっと信頼出来ます。
コストはシーンの複雑さに依りませんが、太さはピクセル単位で、細い物や遠い細部は見逃したりちらついたりします。
トゥーンの図の輪郭線は丁度此の方法で作りました。
此の様なポストプロセスのパスはOpenGLシリーズの第17章で書きます。

16.11 テクニカルイラストレーション：グーチシェーディング

テクニカルイラストレーターは陰影を中間調に留め、黒い輪郭線と白いハイライトが見える様にします。
フォンシェーディングは影の側が殆ど黒になるので、此の決まりを破ります。
エイミー・グーチ、ブルース・グーチ、ピーター・シャーリー、エレイン・コーエン（「A Non-Photorealistic Lighting Model for Automatic Technical Illustration」、SIGGRAPH 1998）は、暗から明への変化を寒色から暖色への変化に置き換えました。
此れがグーチシェーディングです。
光の方を向く面は暖かく（黄色っぽく）、背を向ける面は冷たく（青っぽく）なり、どちらもかなり明るいままです。
目は色相の変化を形として読み取ります。

モデルは2つの色を混ぜます。
其々、決まった色調に物体自身の色$k_d$を少し加えた物です：

ランバートと違い、$𝐧\cdot 𝐥$を0で切りません。
$t$は0（丁度背を向ける）から1（光に向く）まで動くので、光と反対の側にも陰影が残ります。
論文の図では、$b=y=0.4$、$\alpha =0.2$、$\beta =0.6$の様な値が使われています。

計算例

赤い部品${𝐤}_d=(0.8,0.1,0.1)$、$b=y=0.4$、$\alpha =0.2$、$\beta =0.6$とします：

例えば$𝐧\cdot 𝐥=0.6$では、$0.8\cdot (0.88,0.46,0.06)+0.2\cdot (0.16,0.02,0.42)=(0.704+0.032,0.368+0.004,0.048+0.084)=(0.736,0.372,0.132)$です。
ランバートでは物体の半分が黒になる所を、グーチシェーディングはオレンジから紫がかった青まで、ぐるりと変化し続けます。

黒いシルエットとクリースの線（16.10節）と白いハイライトを加えると、多くのCADツールの「イラスト」表示になります。

16.12 ハッチング、点描、絵画調の様式

ストロークで作る濃淡

ペン画、版画、漫画はインクの濃さを変えられません。
濃淡はストロークの密度で作ります。
面積あたりの線（又は点）が多いほど暗くなります。
其の為、NPRのレンダラーはまず画素ごとのトーン（例えばランバートの明るさ）を計算し、其処にどれだけインクを置くかを決めます。

ハッチングは平行線を使います。
幅$w$の線を間隔$d$で引くと、インクの割合は$w/d$です。
5ピクセルごとに1ピクセルの線を引く層1つで、インクは20%です。
もっと暗いトーンには、別の方向のクロスハッチングの層を加えます。
図は3つの層を使っています。
暗さ（1−トーン）が0.25を超える所に斜めの線、0.5を超える所に逆の斜めの線、0.75を超える所に横線です。

点描は点を使います。
面積$A$で暗さ$D$を出すには、面積$a$の点が（重なりを無視して）約$N=DA/a$個要ります。
例： 暗さ0.3の20×20ピクセルの領域に、半径1ピクセル（$a=\pi \approx 3.14$ px²）の点で描くなら、$0.3\cdot 400/3.14\approx 38$個です。
図では、3×3ピクセルのマスごとにランダムな位置に点の候補を1つ置き、確率$D$で残しています。
従って点の密度は暗さに従います。

此の線は画面に固定されているので、動くと物体が固定された模様の後ろを滑っている様に見えます（「シャワードア効果」）。
実際のシステムはストロークを面に貼り付けます。リアルタイムハッチング（プラウン、ホッペ、ウェッブ、フィンケルシュタイン、SIGGRAPH 2001）の「トーナルアートマップ」は、暗さの順に並んだミップマップ付きのハッチングのテクスチャで、各テクスチャは明るい物のストロークを全て含みます。

絵画調、水彩、鉛筆のレンダリング

絵画調レンダリングはストロークベースで、位置、方向、長さ、色、質感を持つ沢山の筆のストロークで画像を組み立てます（ヘイバリの「Paint by Numbers」、SIGGRAPH 1990。大きさの異なる曲がったストロークを大きい物から置くハーツマンの方法、SIGGRAPH 1998）。
水彩のレンダリングは紙の上の顔料と水をシミュレーションします（カーティス達、SIGGRAPH 1997）。
顔料が溜まって暗くなる縁、粒状の質感、濡れた紙での滲みです。
鉛筆のレンダリングは、ストロークのテクスチャと、凹凸の山にだけ黒鉛が付く紙のテクスチャを組み合わせます。

画像ベースのフィルタとスタイル変換

どんな写真にも使えるNPRフィルタもあります。
桑原フィルタ（桑原道義達、1976年、元は医用画像の為）は、各画素の周りの重なり合う4つの正方形の領域を見て、分散が一番小さい領域の平均を出力します。
平らな領域は滑らかになり、エッジはシャープなままで（選ばれる領域はエッジを跨がないからです）、結果は平らな絵の具の塊の様に見えます。
バイラテラルフィルタ（第15章）を繰り返し掛け、明度を少数の段階に量子化して輪郭線を加えても、写真や動画を似たアニメ調に抽象化出来ます。
ニューラルスタイル変換（レオン・ガティス、アレクサンダー・エッカー、マティアス・ベトゲ、2015年）は、画像認識の為に学習した畳み込みニューラルネットワークを使います。
深い層の特徴が或る画像の「内容」に一致し、特徴の統計が別の画像（絵画）の「スタイル」に一致する画像を探すのです。
「〜風」の生成画像は、18.7節の知的財産権の問題も引き起こします。

検定のポイント

• NPR：写実を目指さないレンダリング。目的はイラストレーションと伝達、スタイル、抽象化。3次元（モデルベース）の手法と2次元（画像ベース）の手法があります。
• トゥーン（セル）シェーディングは、$𝐧\cdot 𝐥$をしきい値かランプテクスチャで少数の段階に量子化します。影の段階は暗い色で、黒ではありません。
• メッシュのシルエットエッジ：隣り合う面の一方が表向き、もう一方が裏向き、。滑らかな曲面では$𝐧\cdot 𝐯=0$。クリースエッジは面の法線の間の角度で決まり、視点に依存しません。
• 背面法：法線に沿って大きくした複製を、表面をカリングして描きます。画像空間の輪郭線：深度、法線、IDのバッファ（Gバッファ）でのエッジ検出。
• グーチシェーディング：$t=(1+𝐧\cdot 𝐥)/2$で寒色から暖色へ混ぜ、中間調だけを使います。黒い線と白いハイライトのテクニカルイラストレーション用です。
• ハッチングと点描は、ストロークや点の密度で濃淡を作ります。暗いほどストロークが多くなります。

16.13 可視化：データと目的

可視化はデータを画像に変え、数値の表では見えない構造、パターン、外れ値を人が見られる様にします。
2つの流れがあります：

• 科学的可視化：測定やシミュレーションから得た、空間と時間の中に自然な位置を持つデータ。CTスキャン、車の周りの空気の流れ、エンジンブロックの中の温度。問いは主に「何処で何が起きているか」です。
• 情報可視化：自然な形を持たない抽象的なデータ。地域ごとの売上、ソーシャルネットワーク、ファイルシステム、ゲノム。配置は設計者が選ばなければなりません。

科学的なデータは、各点に何が保存されているかで分類します：

• スカラー場：点ごとに1つの数（温度、密度、CT値）。
• ベクトル場：点ごとに方向と大きさ（速度、磁場）。
• テンソル場：点ごとに行列（材料の応力。神経線維の方向を示す拡散MRIの拡散テンソル）。

又、点の並び方で分類します：

• 構造格子：規則的な配列で、隣が添字で分かります（CTのボクセルや、翼の周りに巻き付けた格子）。
• 非構造格子：任意の形のセル（四面体、六面体）と明示的な接続情報で、有限要素法のシミュレーションに典型的です。
• 散在点：格子の無い測定（気象観測所）で、まず補間します。

流れは可視化パイプラインとして描かれる事が多いです。
データ→フィルタリング（選択、再標本化）→マッピング（形と色へ）→レンダリングです。

16.14 スカラー場：カラーマップ、等値線、等値面

カラーマップ

2次元のスカラー場を見せる一番直接的な方法は、各点を其の値で色付けする事です。
其の関数をカラーマップと言います（疑似カラー表示とも言います）。
3種類が使われます：

• シーケンシャル：低い値から高い値へ、明度が一方向に変わります（密度、高さ）。
• ダイバージング：中央の中間色で出会う2つの色相（基準より高い温度と低い温度、正と負の誤差）。
• カテゴリカル：順序の無い異なる色相で、分類に使います。

量に対する一番大事な条件は第3章から来ます。
目は順序と大きさを主に明度から読み取るので、明度は値と共に一様に増え、値の等しい差は色の等しい差に見えるべきです。
CIELAB（3.4節）の様な知覚的に均等な空間で設計したカラーマップなら其れが出来ます。
此の様なマップを知覚的に均等なカラーマップと言います。

古典的なレインボーのマップ（青→シアン→緑→黄→赤。MATLABや古いMatplotlibの「jet」）は此の条件を満たしません：

各マップの色の明度$L^{\ast }$を、第3章の式で計算しました：

jetには3つの問題があります：

• 単調でない：明度は0.64付近（黄色）で最大になり、又下がるので、一番高い値（暗い赤）は低い値（暗い青）と同じ位暗く、白黒では高い値と低い値が同じに見えます。
• 不均等：0.37から0.64の間では明度が殆ど変わらず、他の所では急に変わり、急な色相の変化（シアン、黄色）が滑らかな場に境界の様に見える帯を作ります。図の輪が其れです。
• 色覚異常：情報が赤と緑の区別に頼っており、3.2節の最も多い色覚異常に当たります。

可視化の研究者は長い間此れを警告して来ました（「Rainbow Color Map (Still) Considered Harmful」、ボーランドとテイラー、2007年）。
Matplotlib 2.0（2017年）は既定のカラーマップをjetからviridisに変えました。
明度は約15から91へ単調に上がり、白黒でも、殆どの色覚異常でも読めます。
分類には異なる色相で構いませんが、連続的な量には知覚的に順序のあるマップを使いましょう。

等値線と等値面

等値線は同じ値の点を結んだ線で、地図の等高線の様な物です。
一定の間隔で何本か描くと等値線図になります。
其の3次元版が等値面です。
どちらも9.3節のマーチングスクエア法とマーチングキューブ法で取り出します。
格子の角をしきい値で分類し、ケースを引き、辺に沿って交点を補間するのでした。
等値面は普通の三角形メッシュで、表示が速く計測もしやすいですが、1つの値を不透明な面として見せます。
他の値は消え、内側は全て隠れます。

16.15 ボリュームレンダリング

直接ボリュームレンダリング

狭い意味のボリュームレンダリング、つまり直接ボリュームレンダリング（DVR）は、面を作らず、ボリューム其の物を半透明で光る媒質として描きます。
1988年に、マーク・レヴォイ（「Display of Surfaces from Volume Data」、IEEE Computer Graphics and Applications）と、ロバート・ドレビン、ローレン・カーペンター、パット・ハンラハン（「Volume Rendering」、SIGGRAPH 1988）が導入しました。
一番一般的な方法は、ボリュームを通すレイキャスティング法です：

1. 画素ごとに、視点からボリュームを通るレイを飛ばします。
2. レイに沿って一定の間隔で進み、周りの8つのボクセルの間を3線型補間（第11章の双線型補間の3次元版）して、場を標本化します。
3. 各サンプルを伝達関数で分類します。値を色と不透明度に写す関数です。
4. （任意で）シェーディングします。場の勾配を法線として照明モデルを当てはめ、構造が立体的に見える様にします。
5. レイに沿ったサンプルを画素の色に合成します。

伝達関数

何が見えるかは伝達関数が決めます。
消したい値には不透明度0を、大事な値には高い不透明度と目立つ色を与えます。
CTデータ（9.3節のハウンスフィールド値）なら、典型的には空気を透明に、皮膚と軟部組織を薄い赤みに、骨を不透明な白にします。
同じスキャンでも別の伝達関数なら、造影剤で満たされた血管だけを見せる事も出来ます。
其の設計が難しい所なので、ソフトはプリセットと曲線の編集画面を用意しています：

前から後ろへの合成

レイに沿った各サンプル$i$（近い物から順）は、伝達関数から色$C_i$と不透明度${\alpha }_i$を持ちます。
10.12節のover演算子を、薄い層の重なりに当てはめた物です。
前から後ろへ進む時は、累積の色$C$と不透明度$A$を持ち、どちらも0から始めます：

$(1-A)$は、後ろからの光の内、手前の全てのサンプルを通り抜けて来る割合なので、新しいサンプルは残った分を通してしか寄与しません。
最後に、残った透明度で背景を加えます：$C_{\text{pixel}}=C+(1-A)C_{\text{bg}}$。
後ろから前への順では、背景から始めて普通のover演算子$C\leftarrow {\alpha }_i{C}_i+(1-{\alpha }_i)C$を使います。
どちらも同じ結果になります。

計算例。
3つのサンプル、${\alpha }_1=0.3$の赤、${\alpha }_2=0.5$の緑、${\alpha }_3=0.6$の青が、白い背景の前にあります：

背景を加えると：$(0.3,0.35,0.21)+0.14\cdot (1,1,1)=(0.44,0.49,0.35)$。
後ろから前へで確かめます。
白の上に青で$0.6(0,0,1)+0.4(1,1,1)=(0.4,0.4,1)$、其の上に緑で$0.5(0,1,0)+0.5(0.4,0.4,1)=(0.2,0.7,0.5)$、其の上に赤で$0.3(1,0,0)+0.7(0.2,0.7,0.5)=(0.44,0.49,0.35)$。
同じです。
青のサンプルの寄与の小ささに注目して下さい。
一番不透明なのに、手前のサンプルを通り抜けて来る光は35%しか残っていないのです。

前から後ろへには、実用上の大きな利点があります。
$A$が1に近くなれば、後ろの物はもう画素を変えられないので、レイを止められます。
此の早期レイ終了で、密なボリュームでは仕事の大部分が省ける事が良くあります。

MIPと比較

最大値投影法（MIP）は伝達関数を全く必要としません。
各画素はレイに沿った最大の値を表示します。
造影剤で満たされた血管が一番明るい構造になるCTやMRの血管撮影で標準的ですが、奥行きの手がかりがありません。
手前の明るい構造と奥の明るい構造が同じに見えます。

CTやMRIの医用可視化は、此の3つを2次元の断面（体軸、矢状、冠状）と組み合わせて使います。
放射・吸収モデルやGPUでの実装は第2部で扱い、GPUでのレイマーチングはGLSLシリーズの第14章に出て来ます。

16.16 ベクトル場：グリフ、流線、LIC

グリフ

直接的な方法は、標本点に小さな矢印、グリフを描く事です。
矢印の向きが場の向きを、長さや色が大きさを示します。
単純で其の点では正確ですが、矢印はすぐにごちゃごちゃし、其の間の流れは推測に任されます。

流線

流線は、至る所で場に接する曲線です。
定常な流れに放した質量の無い粒子は其れに沿って動きます。
数学的には、種の点${𝐱}_0$から始まる微分方程式

の解です。
解くには14.2節の数値積分を使い、一番単純なのは陽的オイラー法です。
今の方向に少しだけ進みます：

計算例。
回転する場$𝐯(x,y)=(-y,x)$の正確な流線は、原点を中心とする円です。
${𝐩}_0=(1,0)$から$h=0.5$で始めます：

• $𝐯({𝐩}_0)=(0,1)$なので、${𝐩}_1=(1,0)+0.5(0,1)=(1,0.5)$。
• $𝐯({𝐩}_1)=(-0.5,1)$なので、${𝐩}_2=(1-0.25,0.5+0.5)=(0.75,1)$。
• $𝐯({𝐩}_2)=(-1,0.75)$なので、${𝐩}_3=(0.75-0.5,1+0.375)=(0.25,1.375)$。

原点からの距離は1、1.118、1.25、1.398です。
半径1の円ではなく、オイラー法は外へ渦を巻いて行きます。
各歩は半径に垂直に進むので、半径は1歩ごとに$\sqrt{1+h^2}=\sqrt{1.25}\approx 1.118$倍になり、12歩後には${1.118}^{12}\approx 3.81$です。

14.2節の中点法（RK2）ならずっと良くなります。半歩で$(1,0.25)$に着き、其処で$𝐯=(-0.25,1)$なので、${𝐩}_1=(1,0)+0.5(-0.25,1)=(0.875,0.5)$、半径は$\sqrt{0.765625+0.25}\approx 1.008$で、誤差は11.8%ではなく0.8%です。
普通は4次のルンゲ＝クッタ法（RK4）を使い、上の図の流線も其れで描いています。

種の点の選び方は其れ自体が設計の問題です（少な過ぎると特徴を見逃し、多過ぎるとごちゃごちゃします）。
時間と共に変わる流れでは、流線（或る瞬間で止めた場）、流跡線（1つの粒子が時間と共に辿る道）、流脈線（1点から放した全ての粒子、煙の筋の様な物）が異なりますが、定常な流れでは一致します。

線積分畳み込み

LIC（線積分畳み込み、ブライアン・カブラルとリース・リードム、SIGGRAPH 1993）は、場の全体を画素の細かさで一度に見せます。
白いノイズの画像から始めます。
各画素について、其処を通る流線を前後に少しだけ辿り、画素を其の流線の断片に沿ったノイズの平均にします。
同じ流線上の画素は殆ど同じノイズの値を平均するので似た明るさになり、隣の流線上の画素は違う明るさになります。
結果は流れに沿った細かい筆の跡の様に見えます。
上の図の3つ目のパネル（各方向に0.5ピクセルを20歩平均）が其れです。
LICは方向は見せますが、向き（前か後ろか）や速さは見せないので、普通は大きさのカラーマップと組み合わせます。

16.17 情報可視化

抽象的なデータには自然な位置が無いので、設計者がデータの属性を視覚変数に割り当てます。
ジャック・ベルタン（『Sémiologie graphique（図の記号学）』、1967年）は其れらを挙げました。
位置、大きさ、形、明度、色相、向き、きめです。
量には共通の軸に沿った位置と長さが一番正確に読み取れ、面積、角度、色はずっと劣ります（円グラフより棒グラフが良い理由です）。
分類には色相と形が、順序には明度と大きさが良く働きます。

良く使われる形式は、グラフ（棒、折れ線、散布図、ヒストグラム）、ネットワーク（ノードリンク図。バネと反発をシミュレーションする力指向の配置が多いです）、階層（木、そして長方形を値に比例する面積の入れ子の長方形で埋めるツリーマップ、ベン・シュナイダーマン、1992年）、平行座標の様な多次元の表示です。

計算例：スライス・アンド・ダイスのツリーマップ。
10×6の長方形（面積60）で、3つの項目A＝30、B＝18、C＝12を見せ、BはB1＝12とB2＝6を含みます。
長方形を値に比例して縦に切ります。
幅は$10\cdot \frac{30}{60}=5$、$10\cdot \frac{18}{60}=3$、$10\cdot \frac{12}{60}=2$、高さは全て6です。
次に、B（幅3、高さ6）を横に切ります。
高さは$6\cdot \frac{12}{18}=4$と$6\cdot \frac{6}{18}=2$です。
確かめると、$3\cdot 4=12$、$3\cdot 2=6$です。

スライス・アンド・ダイスは単純ですが、比べにくい細長い長方形を作ります（Cは2×6で、縦横比3）。
「スクウェアリファイド」の配置は、項目を並べ替えたり纏めたりして、長方形を正方形に近く保ちます。

ビジュアルアナリティクスは、対話的な可視化（シュナイダーマンの言葉で「まず概観、拡大と絞り込み、そして必要に応じて詳細」）と、統計や機械学習による自動的な分析を組み合わせます。
正直な目盛（棒は0から始める）と、長さや面積を歪める飾りの3Dを使わない事も仕事の内です。

検定のポイント

• 科学的可視化：空間の位置を持つデータ（構造格子や非構造格子の上のスカラー場、ベクトル場、テンソル場）。情報可視化：抽象的なデータで、配置は設計者が選びます。
• カラーマップ：明度は値と共に単調に増えるべきです。レインボーのマップは単調でも均等でもなく、偽の境界を作り、赤と緑の区別に頼っています。知覚的に均等なマップ（viridis）や、符号のあるデータにはダイバージングのマップを選びます。
• 等値線と等値面（マーチングスクエア法とマーチングキューブ法）は、1つの値を線や不透明な面として見せます。直接ボリュームレンダリングは、伝達関数（値→色、不透明度）を通して多くの値を半透明で見せます。
• 前から後ろへの合成：$C\leftarrow C+(1-A){\alpha }_i{C}_i$、$A\leftarrow A+(1-A){\alpha }_i$。早期レイ終了が出来ます。over演算子で後ろから前へ合成しても同じ結果です。MIPは各レイに沿った最大値を見せ、奥行きの手がかりはありません。
• 流線は場に接します。陽的オイラー法${𝐱}_{k+1}={𝐱}_k+h𝐯({𝐱}_k)$はずれて行き（回転では外へ渦を巻き）、ルンゲ＝クッタ法の方が正確です。LICはノイズを流線に沿って塗り広げます。
• ツリーマップは階層を、値に比例する面積の入れ子の長方形で見せます。

16.18 まとめ

• コンピュテーショナルフォトグラフィは、複数の、又は符号化した撮影と計算を組み合わせます：HDR合成とトーンマッピング、スティッチング、深度合成、ライトフィールドのリフォーカス、逆畳み込み、バースト撮影（$1/\sqrt{N}$）、フラッシュ／ノーフラッシュ、合成ボケ、超解像、リライティング、シームカービング。
• NPRはイラストレーション、スタイル、抽象化を目指します：トゥーンシェーディングは$𝐧\cdot 𝐥$を量子化し、線はシルエット、クリース、境界から、物体空間（メッシュの辺、背面法）か画像空間（Gバッファのエッジ）で描きます。グーチシェーディングは寒色から暖色へ混ぜ、ハッチングと点描はストロークの密度で濃淡を作り、絵画調のフィルタやスタイル変換は画像に働きます。
• 可視化は、スカラー場、ベクトル場、テンソル場（科学的）や抽象的なデータ（情報）を画像に写します：知覚的に順序のあるカラーマップ、等値面、伝達関数と合成による直接ボリュームレンダリング、MIP、グリフ、流線、LIC、グラフ、ネットワーク、ツリーマップ。

16.19 用語

16.20 課題

1. ★ 線型な応答のカメラで、$t=1/60$、$1/250$、$1/1000$ sの3枚を撮りました。或る画素の値は$Z=255$、200、52です。各露出の放射輝度の推定値と山形の重みを計算し、16.2節の対数の重み付き平均で合成して下さい。1枚目の露出から、放射輝度について何が分かりますか？
2. ★★ 行が(4, 2, 5, 7)、(6, 3, 1, 8)、(2, 9, 5, 3)、(7, 1, 6, 5)のエネルギーの表で、表$M$を埋めて一番安い縦のシームを探して下さい。其の列とコストを答え、一番安い真っ直ぐな列と比べて下さい。
3. ★★ ${𝐤}_d=(0.2,0.6,0.3)$の緑の部品を$𝐥=(0,0.6,0.8)$から照らします。法線$(0,0,1)$、$(0,-0.6,0.8)$、$(0,-1,0)$について、16.9節のしきい値0.2と0.6でトゥーンの色を、$b=y=0.4$、$\alpha =0.2$、$\beta =0.6$でグーチの色を計算して下さい。3つの点の内、ランバートのシェーディングで黒になるのはどれですか？
4. ★★ $𝐯(x,y)=(1,x)$の流線を$(0,0)$から$x=1.5$まで、$h=0.5$と$h=0.25$のオイラー法で辿って下さい。正確な流線は$y=x^2/2$です。$x=1.5$での誤差を比べて下さい。歩幅を半分にすると誤差はどうなりますか？
5. ★★★ 頭部のCTスキャンで、頭蓋骨を不透明に、皮膚を薄く見せる伝達関数（ハウンスフィールド値に対する不透明度と色）を描いて下さい。1つの等値面では何故両方を見せられないか、MIPなら何が見えるか、2次元の断面に何故レインボーのカラーマップが良くないかを説明して下さい。

選択問題

問1 ★ 次のうち、露出ブラケットからHDR画像を作る事について正しい物はどれか。

問2 ★ 次のうち、NPRの手法について正しい物はどれか。

問3 ★★ 直接ボリュームレンダリングで、1本のレイが前から順に2つのサンプルに出会う。1つ目は強さ1.0、不透明度0.4、2つ目は強さ0.6、不透明度0.5である。前から後ろへの合成を$C=0$、$A=0$から始めた時（背景はまだ加えない）、累積の強さ$C$と不透明度$A$はどれか。

16.21 実践課題

方眼紙の上で削り、塗り、合成する。
方眼紙、定規、コンパス、色鉛筆、電卓を用意して下さい。
章の各部から1つずつ、小さな作業を手で行います。
シームカービングで画像の大きさを変え、球をトゥーンシェーディングし、ボリュームのレイを1本レンダリングします。

パートA：シームカービング。
5×6のグレースケール画像です（0＝黒、9＝白）。
明るい8と9が物体です：

1. エネルギー。 簡略化したエネルギー$e(i,j)=|I(i,j+1)-I(i,j-1)|$（横の差だけ）を使い、左右の端では無い隣の代わりに其の画素自身を使います。5×6のエネルギーの表を書いて下さい。
2. 動的計画法。 表$M$を1行ずつ埋め、最後の行の一番小さい値から上に辿って一番安いシームを探して下さい。
3. 削る。 各行からシームの画素を取り除き、新しい5×5の画像を書いて下さい。物体の画素に色を塗ります。
4. 比べる。 真っ直ぐな各列のエネルギーの合計を計算し、画像を5列に縮小したら物体がどうなるかを答えて下さい。

パートB：球のトゥーンシェーディング。
半径$R=5$ cmの円を描きます。
正面から見た球です（平行投影、$𝐯=(0,0,1)$）。
円板の点$(x,y)$の法線は$𝐧=\left(\frac{x}{R},\frac{y}{R},\sqrt{1-\frac{x^2+y^2}{R^2}}\right)$です。
光は$𝐥=(0.6,0,0.8)$から来ます。

1. 横の直径に沿って。 $x=-5,-4,\dots ,5$ cm（つまり$x/R=-1,-0.8,\dots ,1$）、$y=0$で、$𝐧\cdot 𝐥$、ランバートの値$max(𝐧\cdot 𝐥,0)$、16.9節のしきい値0.2と0.6でのトゥーンの段階を計算して下さい。段階の境目が直径を横切る所に印を付けます。
2. 段階の境目。 $𝐧\cdot 𝐥=c$の点は、中心$(0.6cR,0)$、縦の半径$\sqrt{1-c^2}R$、横の半径$0.8\sqrt{1-c^2}R$の楕円に投影されます。$c=0.6$で描いて下さい。$c=0.2$では左の部分だけが見える側にあるので、直径から輪郭上の$(0.333R,\pm 0.943R)$まで描きます。3つの段階に色を塗ります。
3. シルエット。 描いた図で$𝐧\cdot 𝐯=0$なのは何処ですか？ 其の線を太い黒鉛筆でなぞって下さい。

パートC：ボリュームを通る1本のレイ。
レイが前から順に、値0.1、0.45、0.8、0.5の4つのサンプルに出会います。
伝達関数は、0.3未満の値に強さ0と不透明度0を、0.3〜0.6の値に強さ0.5と不透明度0.2を、0.6より上に強さ1.0と不透明度0.7を与えます。
背景は黒です。

1. 前から後ろへ。 16.15節の様な表を作り、4つのサンプルを合成して下さい。次に、$A\ge 0.75$になった時点でレイを止め（早期レイ終了）、結果がどれだけ変わるかを書き留めて下さい。
2. 後ろから前へ。 黒い背景から始めて、同じサンプルをover演算子で合成して下さい。
3. 他の描き方。 此のレイでMIPは何を見せますか？ 値0.6の等値面は、レイに沿って何処（サンプル単位、線型補間）で当たりますか？

自分で確認する方法：

• パートA：シームは各行に丁度1画素で、行ごとに高々1列しか動きません。コストは3で、一番安い真っ直ぐな列（7）の半分未満です。削った画像でも、物体は2列の幅を全て保っています。
• パートB：$𝐧\cdot 𝐥$は、$𝐧=𝐥$となる$x=0.6R=3$ cmで最大値1になります。直径に沿った境目は$x=-0.28R$（$c=0.6$）と$x\approx -0.664R$（$c=0.2$）にあり、$c=0.6$の楕円は$(R,0)$で輪郭に接します。シルエットは円其の物です。
• パートC：$A$は決して減らず、1を超えません。前から後ろへと後ろから前への結果は一致し（0.684）、早期レイ終了では画素が少し暗くなります（0.66）。MIPは0.8を見せ、等値面は2つ目と3つ目のサンプルの間にあります。