在剛剛過去的CVPR上，isee聯合北京大學、加州大學洛杉磯分校、麻省理工學院共同發布了一項研究成果，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。該模型將多個代理的過去軌跡和場景編碼為一個多代理張量，然后應用卷積融合捕獲多代理之間的交互，同時保留代理的空間結構和場景。該模型使用對抗性損失來學習隨機預測。通過在高速公路場景和行人擁擠場景的數據集的實驗表明，該模型達到了最先進的預測精度。

開車是一種社交活動。考慮一下這個場景中令人印象深刻的多主體社會交互（讓人頭疼的環島路）：

司機們在一個復雜的場景中駕駛，且同時基本保持安全。在于同一環境下的其他道路參與者近距離行駛或交互的情況下，在無法掌握其他車輛的全部行駛意圖的情況下，人類駕駛員可以保證大概率的交通安全，是非常了不起的。那么人類駕駛員又是如何完整這一壯舉的呢？

社會預測（Social prediction）是駕駛必不可少的一環

人類駕駛員利用他們的社交智能來預測其他交通參與者未來的動作將如何依賴于與自己以及場景的交互。通過預測附近的交通參與者的軌跡，駕駛員可以主動規劃安全的交互，盡可能減少當意外發生即將發生時候做出諸如急剎車等其他應急反應。

然而，人類駕駛員永遠無法完全肯定地預測另一輛車將會執行怎樣的軌跡。人類駕駛員通常處于一種思考“他會讓行么？”“他不會突然加速吧？”“他會開多慢呢？”的情況中。

學會預測

研究人員開發了一種神經網絡架構，它可以從大規模數據中學習對其他軌跡進行概率預測。研究人員的方法只考慮在駕駛過程中收集的訓練數據，盡可能實現在環境、場景、車輛和代理的類型（卡車、轎車、公共汽車、摩托車、自行車、行人等）之間的泛化。

iess聯合北京大學、南加州大學、麻省理工共同開發的新方法，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。通過在一個多智能體張量（MAT）表示中對齊場景特征和智能體軌跡特征，結合了空間和以智能體為中心表示的優勢，如下所示。MAT編碼通過卷積運算自然處理場景與不同數量的代理，并預測場景中所有代理的軌跡的計算復雜度是線性的。GAN訓練允許MATF學會預測的分布軌跡捕獲局勢將如何發展的不確定性。MATF學會了預測關節軌跡，這可以解釋車輛之間諸如減速和避讓等互動行為。

這是MATF體系結構的詳細說明。MATF體系結構首先對場景的所有相關信息進行編碼，然后用一個遞歸神經網絡對每個代理的過去軌跡進行處理，對每個代理的所有相關信息進行編碼。然后，網絡將場景和代理特征在空間上對齊成一個多代理張量，在場景中保留所有的局部和非局部空間關系。然后，利用學習的全卷積映射進行多智能體張量融合，得到融合后的多智能體張量作為多智能體驅動場景的最終編碼。卷積映射對于每個代理都是一樣的，它捕捉所有代理之間的空間關系和交互，同時適用于場景中的所有代理。然后，MATF方法從融合的多智能體張量中學習概率解碼信息，生成對場景特征和周圍智能體軌跡敏感的預測軌跡。

我們使用條件生成反求網絡（GAN）訓練技術，在給定MATF編碼的情況下，學習軌跡上的概率分布。GANs允許學習高保真度的生成模型來捕獲觀測數據的分布。在駕駛環境中，分布的模式對應于車輛或行人可能執行的不同機動，例如跟隨車道／路徑和改變車道／路徑。每個模式周圍的分布對應于機動執行的方式，如快、慢、主動、謹慎等。甘斯很自然地捕捉到了這兩種變化。重要的是，我們的GAN算法訓練模型生成關節軌跡，該軌跡考慮了車輛之間的相互作用，如屈服和避碰。

結論

研究人員首先應用他們的模型來學習預測車輛軌跡（其中，大規模駕駛數據由isee收集）。下圖顯示了五種場景，每種車輛過去的軌跡以不同的顏色顯示，后面是100條采樣的未來軌跡。地面實際發生的軌跡用黑色表示，車道中心用灰色表示。（a）顯示了涉及五輛車的復雜情況；MATF精確地預測了所有車輛的軌跡和速度剖面。在（b）中，MATF正確地預測出紅色車輛將完成換道。在（c）中，MATF捕捉到紅色車輛是否會從高速公路出口駛出的不確定性。在（d）中，一旦紫色的車輛通過高速公路出口，MATF預測它不會從高速公路出口通過。（e）中，MATF未能準確預測紅色車輛的地面真實軌跡；但是，預測車輛將在少量的采樣軌跡中啟動變道機動，這反映了從數據集中學習到的自發變道的低先驗概率。

接下來，研究人員將他們的模型應用到學習中，從斯坦福無人機數據集中預測行人和其他多種類型的代理的軌跡。斯坦福無人機數據集是一個大型且先進的數據集，其中包含行人、騎自行車的人、滑板者、手推車、小汽車和在大學校園中行駛的公共汽車的軌跡。下圖中，藍線表示過去的軌跡，紅線表示地面真實軌跡，綠線表示預測軌跡。圖中所示的所有代理的軌跡都是通過一個前向遍歷網絡來聯合預測的。該模型預測：（1）兩個從頂部進入環形交叉口的代理將從左側退出；（2）在環形交叉口上方的通路上，左側來的一個代理向左轉彎，向圖像頂部移動；（3）一個減速機在上述建筑物的門口和回旋處的右側減速。另一個雖然失敗但卻很有趣的案例（4）中，一個位于環形交叉口右上角的代理正在右轉，以移動到圖像的頂部；該模型可以預測轉彎，但未能準確預測轉彎角度。