AWS DeepRacer Top 10 Badge

2023/12/23閱讀時間約 4 分鐘

I am thrilled to have achieved the prestigious DeepRacer Top 10 badge! 😊

什麼是 AWS DeepRacer？

AWS DeepRacer 是Amazon Web Services( AWS )推出的一項服務，旨在協助開發者學習並實踐深度學習技術。它結合了機器學習、雲端運算和強化學習的概念，提供了一個實驗性的平台，使開發者能夠透過建造、訓練和比賽虛擬賽車來探索深度學習和強化學習的應用。

具體來說，AWS DeepRacer是一個小型的自走車模型，它可以在虛擬賽道上移動。使用者可以使用AWS DeepRacer控制台選擇不同的賽道，調整賽車模型的參數，並使用深度學習技術對賽車進行訓練。在訓練的過程中，強化學習演算法會根據賽車在賽道上的表現來調整模型的權重，以優化賽車的駕駛能力。

此外，AWS DeepRacer還提供了一個線上競賽平台，讓開發者將他們訓練好的模型與其他開發者的模型進行比賽。這種比賽不僅能夠展現開發者的技能，還能促使他們在競爭中不斷改進他們的模型。

整體而言，AWS DeepRacer是一個有趣且實用的工具，可以幫助開發者學習和實踐深度學習、強化學習以及雲端運算等技術。

讓我們整理一下機器學習與強化學習的區別:

機器學習是人工智慧的一個子集，有監督學習、無監督學習和強化學習三種主要類型。

監督學習使用已標記的大量資料集來訓練模型。
無監督學習則是從未標記的大量資料中尋找模式。
強化學習不同於前兩者,它不需要預先標記的資料集，而是通過獎勵與懲罰機制訓練模型採取正確的行為。

DeepRacer 就是強化學習的一個範例，例如汽車(agent)對環境採取行動並獲得獎勵，通過比較每代的獎勵來優化模型。

總結一下就是機器學習依賴資料，而強化學習通過獎懲機制訓練模型，這是兩者的區別。

嘗試體驗DeepRacer

可以建立您的車庫

改裝自己的車輛(根據實際情況)

訓練自己的Models

建立Models，可以選擇續練的場地，細節等等

訓練演算法和超參數

可以在離散或連續操作空間中訓練代理程式。訓練 AWS DeepRacer 模型時，動作空間定義代理可用的速度和轉向角度組合。可以做出的單一速度和轉向角組合或選擇。

可選擇自訂的車型

獎勵功能

訓練時間

查看訓練結果

附上實際Training configuration

Reward function

def reward_function(params):
    
    # Huge penalties
    if not params['all_wheels_on_track']:
        return float(1e-3)

    # Base Reward
    reward = 0
    if params['speed'] > 0.9:
        reward = 1 + params['speed']
    else:
        reward = 1e-3
    
    # Center the car
    track_width_half = params['track_width'] / 2
    quadratic_center = (params['distance_from_center'] / track_width_half) ** 4
    distance_from_center_reward = 1 - quadratic_center
    reward += distance_from_center_reward

    # Give a higher reward if the car is making progress towards the finish line
    reward += (params['progress'] / params['steps']) * 100
        
    # Give a higher reward if the car completes the track in the allotted time
    if params['progress'] == 100:
        reward += 2
    
    return float(reward)