Introduction

深度強化學習於近年來逐步朝向實務化的目標邁進，應用於自駕車決策行為之深度強化學習也隨之萌芽。其中，以亞馬遜(Amazon)所舉辦的世界級強化學習自動駕駛平台 AWS DeepRacer 最廣為人知，在僅使相機鏡頭影像為神經網路輸入的競速遊戲中，達到超越人類專家的表現。

發源於AWS DeepRacer，本團隊透過容器(container) 與 RPC (Remote Process Call)等技術，開發出一套高效端到端分散式訓練環境平台，可大幅加速AI模型訓練，並提升尋找最佳自駕賽車模型之效率。透過此平台，本團隊於 AWS DeepRacer 競賽上屢次獲得豐碩成果，包括2020 DeepRacer 世界冠軍賽第一名與第三名、2019 DeepRacer 世界冠軍賽第三名、與多次線上虛擬賽冠軍。

基於AWS DeepRacer 所累積的經驗，本團隊自主研發自駕車平台，透過深度學習架構 CycleGAN，將模擬器中影像透過風格轉換的方式合成實體影像，有效縮減虛實差異(sim2real gap)所帶來的效能損失，並提升自駕賽車於實體賽道中的表現。此方法超越過往透過域隨機化(Domain Randomization)處理之神經網路模型。此外，本團隊也提出了基於影像之自駕模型賽車動作平滑化(ICAPS)，有效提升自駕車於高速行駛下的穩定性，在縮短賽道完圈時間的同時，大幅提高賽道完圈率，達到超越 DeepRacer 之表現。此技術發表於國際會議 ICRA 2022, Workshop on Opportunities and Challenges with Autonomous Racing 以及 IJCAI 2022, AI4AD workshop.