在進行第一個VR應用開發之前，我們來看看幾個重要的概念：

搭建場景：創建一個可視化、可交互、腳本驅動的虛擬現實環境。

立體渲染：用兩個相機渲染場景分別表示用戶的左右眼，然后通過Oculus Rift頭顯的透鏡，這兩幅圖片被重合在一起，從而形成清晰且具有深度視覺的場景。

頭動追蹤：通過捕獲Oculus Rift頭顯的位置和轉向來改變虛擬世界中相機的位置和轉向。

我們需要編寫大量3D操作的代碼來表現我們的想法，可以直接通過OpenGL和DirectX來渲染3D視圖，但是這樣做太浪費時間了，而且也超出了本書的范疇。我們unity3D游戲引擎來做這件事，Unity用于快速構建VR內容非常合適，最主要的是它非常容易掌握。

在深入研究Unity之前，我們來簡單了解一下基本的3D圖形技術。如果你對3D圖形編程已經非常熟悉了，這部分內容可以直接跳過。

3D圖形學基礎定義

在繼續之前，我們來看看3D圖形學的定義，下面是維基百科給出的定義：3D computer graphics (in contrast to 2D computer graphics) are graphics that use a three-dimensional representation of geometric data (often Cartesian) that is stored in the computer for the purposes of performing calculations and rendering 2D images. Such images may be stored for viewing later or displayed in real-time.

上面的定義主要有3個部分：（1）所有的數據都以三維坐標系方式表示。（2）它們最終都會畫（渲染）在一張二維圖上，其中VR會分成左右眼畫在兩張圖上。（3）圖像都是實時渲染的，當一些動畫或者用戶操作引起了3D數據的改變，它們所渲染出來的圖像會實時更新，這種更新頻率必須讓人眼無法察覺。以上三點中最后一點是建立可交互應用的關鍵。事實上，3D圖形渲染技術如此重要，以至于它已經創造了幾十億美元的市場，許多大公司都在一心專注做3D實時渲染的技術，比如NVIDIA、ATI、Qualcomm等。

一、三維坐標系統

如果你熟悉二維坐標系，如Windows桌面應用或者IOS手機應用采用的坐標系，你一定知道x、y軸。二維坐標可以表示子窗體或者UI控件擺放的位置，當調用繪圖API是可以定義畫筆和畫刷的繪制點。與二維坐標類似，三維坐標系統只是多了一個z軸，這個方向用來描述深度信息（一個物體距離屏幕的遠近），如果你已經了解二維坐標系的概念，那么轉換到三維坐標系就很簡單了。

圖3-1是本書采用的坐標系示意圖，它的x軸水平，方向為左到右，y軸豎直，方向為下到上，z軸穿過屏幕，方向為里到外，并且，這三個軸都相互垂直。有些三維坐標系的z軸是豎直的，而y軸是穿過屏幕。

圖3-1

unity3d采用的坐標系就是上圖所示這種，只不過它的z軸方向是外向里。我們圖中顯示的是右手坐標系，而且Unity3D中的是左手坐標系，需要注意的是OpengGL通常也是采用的右手坐標系。

二、網格、多邊形、頂點

繪制3D圖形有許多方法，用的最多的是用網格繪制。一個網格由一個或多個多邊形組成，這些多邊形的頂點都是三維空間中的點，它們具有x、y、z三個坐標值。網格中通常采用三角形和四邊形，這些基本面片可以圍成網格，從而形成了模型。

圖3-2中就是一個三維網格，黑色的線條就是四邊形的邊，這些四邊形圍出了一個人臉的形狀。當然，這些黑色的線條在最終渲染的圖形中是不可見的。網格的節點坐標僅僅表示了模型的外形，網格表面的顏色、光照用另外的屬性表示，這些我們在后面會介紹。

圖3-2

三、材質、貼圖、光照

除了x、y、z坐標以外，網格的表面采用另外的屬性表示。表面屬性可以非常簡單地采用單色，也可以采用復雜的方法，比如它的反光效果怎么樣或者它看起來是否有光澤。網格表面還可以采用一個或多個位圖，一個我們叫貼圖，多個我們叫圖集。貼圖可以是文字效果（例如T恤上面的圖案），也可以是復雜的粗糙效果或彩虹效果。大多數的圖形系統會將網格的表面屬性統一用材質來表示，而材質最終表現出來的效果會受環境中的光照影響。

圖3-2中的模型使用的材質顏色是深紫色，表面光照效果表現的是受到了左側的光照，這點我們可以通過右側的陰暗部分看出來。

四、轉換矩陣

模型網格的三維空間位置都是由它們的頂點坐標決定的，如果每次想要移動一下模型位置都要依次改變每個網格的頂點坐標，這將一件非常頭疼的事，要是遇上需要顯示動畫效果那就更糟了。為了解決這個問題，大部分的三維系統都會提供轉換操作，這個操作原理是整體移動網格，這樣網格與世界坐標就有一個相對轉換，而不需要去改變每一個頂點的坐標值。其中，轉換操作包括：移動、旋轉、縮放，這些操作都是針對網格整體相對世界坐標系的，而不是特定的每一個頂點。

圖3-3中展示了轉換操作，圖中有三個立方體，每一個立方體都是由一個立方體網格組成，它們都包含相同的頂點，在我們進行移動、旋轉、縮放操作的時候不需要改變這些頂點的坐標值，而是給立方體網格賦予一個轉換操作。左邊紅色的立方體向右移動了4個單位（進行了[-4,0,0]操作），然后又相對x和y軸進行了旋轉（這里注意一下，我們這里角度的單位是弧度，即一弧度等于360度除以2*PI）。右邊藍色的立方體向右移動了4個單位，然后對三個方向都放大了1.5倍，中間綠色立方體就是最初始位置。

圖3-3

我們用一個矩陣來代表轉換操作，這個矩陣中保存著一個數組，通過這個數組進行一些數學計算就可以得到轉換以后的頂點坐標值。大部分的轉換矩陣用4*4的數組表示，這個數組包含4行4列一共16個數。圖3-4就是一個4*4數組的示意圖，其中m12、m13、m14用來操作移動，m0、m5、m10用來操作縮放，m1和m2、m4和m6、m8和m9分別用來操作相對x、y、z軸的旋轉，轉換矩陣乘以頂點坐標就是轉換之后的坐標。

圖3-4

如果你同我一樣是個線性代數極客，我這么講你肯定聽得懂，如果你不熟悉線性代數也沒關系，unity3D以及其它工具中已經將這些操作都封裝好了，我們只需要正確調用它們的API即可，但是了解一下這些操作的底層計算過程總還是好的。

五、相機、透視圖、視口、投影

渲染好的場景都需要一個可以供用戶查看的視圖，我們通常在3D場景中用相機來提供這種需求。相機相對場景有位置和方向，就像我們生活中的相機一樣，它也提供透視圖查看方式，這種方式可以有近大遠小的效果。相機最終會將三維的場景渲染成一幅幅二維的圖片，我們就可以通過它的視口進行觀察。

相機處理計算時主要涉及到兩個矩陣，第一個是線性變換矩陣（之前章節我們稱為轉換矩陣），它負責定義場景物體的位置和朝向，第二個是投影矩陣，它負責將三維場景物體投影到二維視口中。當然具體的細節需要太多數學理論，所以unity3D都將這些已經封裝好了，我們開發人員只需要簡單的“瞄準、發射”。

圖3-5中描述的是相機核心概念視口和投影，在圖中左下角那只大眼睛就代表我們的相機所處的位置，紅色的x軸代表相機的朝向，兩個藍色的方塊就是被觀察的物體，綠色和紅色的矩形分別代表近切面和遠切面（兩個切面之間的物體才可以被看見，而這之間的區域我們稱為可視平截椎），近切面就是我們的視口，投影在視口上的圖像就是我們真正看見的圖像。

圖3-5

相機非常強大，它可以讓觀察者非常真實地觀察一個三維場景，此外，它還為動畫場景提供了強大的支持，通過移動相機就可以像拍電影一樣創建一個動態的敘事的場景，當然，對于VR來說需要我們不能隨意移動相機，如果要移動相機我們需要多方面考量，最好做到讓用戶完全控制相機，這樣用戶會有一種身臨其境的感覺。

六、立體渲染

在虛擬現實中，三維圖像渲染是一個大問題，然而現在又碰到了如何處理相機這個難題，相機本身就需要處理變換矩陣和投影矩陣，可惡的是，VR中我們還需要處理兩次（每只眼睛處理一次）。不過境況并沒有那么糟糕，我們有幾種處理相機的方法，下面來介紹一個最簡單的方法：

創建一個主相機：應用程序控制唯一一個主相機，所有的邏輯動畫等等都只針對主相機，這樣，我們在處理相機與其他物體交互的時候就變得簡單統一，此外需要注意主相機不參與真正的渲染。主相機還有一個好處，就是可以在雙立體視圖和傳統單一視圖之間切換。

用兩個相機渲染：除了主相機，VR程序需要外加兩個相機，用來真正處理渲染。這兩個相機需要與主相機的位置和朝向保持一致，只是有一點不同，就是它們分別要向左向右偏移一點點，用來模擬我們的瞳距。

渲染至兩個視口：VR應用分別創建的左右眼的渲染相機，它們的視口寬度都是屏幕寬度的一半，高度都為屏幕高度。每個相機處理圖形的時候都用了特殊的投影矩陣，這個投影矩陣可以處理反畸變問題（Oculus SDK中提供了這個算法）。

至此，我們已經簡單的了解了VR的圖像處理過程，這里講的非常簡單，如果要深入那么每一個點都可以用一整本書來介紹。隨著你的程序變得越來越龐大，你需要處理大量的底層問題，對于這些問題最好交個游戲引擎來做，當然，你要是非常NB，你可以自己寫一個引擎，但是如果你跟我一樣希望集中精力做應用層的事情，那么最好還是使用一個現成的引擎。目前市面上有許多很好的引擎，其中包括下節要介紹的unity3d游戲引擎。