本記事にはアフィリエイト広告が含まれます。

前回は強化学習入門レシピ本の制作をめざして、ブラシレスモータによるリアクションホイール倒立振子の強化学習実施までのおさらいをしました。

強化学習入門レシピ本を書きたい俺1

前回得た強化学習結果がコチラ↓

ホイール回転抑制の報酬重みを調整して
なんとか揺れが抑制できた#強化学習 pic.twitter.com/81Mr7eUTpA

— HomeMadeGarbage (@H0meMadeGarbage) November 30, 2025

今回はSim2Realのおさらいとレシピ執筆に際して機体の構成について検討します。

Sim2Real (おさらい)

前回得た強化学習結果を実機で確認します。いわゆるSim2Realです。

強化学習への道3 －Sim2Real－

学習結果のニューラルネットワーク構成は以下の通り

観測 (入力) は機体角度、機体角速度、ホイール回転速度の3次元で
64ユニット×2層のネットワークを介して行動 (出力) は正規化されたモータのトルクとなります。

“強化学習への道”でも実施した通りニューラルネットワークを実機のESP32に移植してSim2Realを実施しました。

強化学習入門レシピ本を書きたい俺

強化学習結果 Sim2Real
まぁ強化学習もなかなかやるじゃない pic.twitter.com/XCRvVMkaLE

— HomeMadeGarbage (@H0meMadeGarbage) December 1, 2025

観測した機体傾き角度及び角速度とホイール回転速度をニューラルネットワークに入れて得られたモータトルクでブラシレスモータを駆動しています。

MuJoCoで確認 (Sim2Sim) した通りの倒立動作が実現されております。
強化学習凄いよね。

でもまだ私の真心を込めた手動PIDのほうが良い倒立できてるかな？

強化学習入門レシピ本を書きたい俺

真心を込めた手動パラメータ調整
実に素晴らしい倒立 pic.twitter.com/esTxjgHqie

— HomeMadeGarbage (@H0meMadeGarbage) November 29, 2025

強化学習の報酬設計をもっと頑張る余地はあると思うのでレシピ執筆までに修行を重ねます。

強化学習の流れ

ひととおり強化学習のおさらいが終わりましたので、流れをまとめておきましょう。

実機製作
Sim2Realを見据えて実機の用意が必要です。
ここではブラシレスモータによるリアクションホイール倒立振子をテーマとします。
　
MuJoCoモデル化
強化学習を実施するためのシミュレーションモデルをMuJoCoで製作します。
学習結果の確認にもこのMuJoCoモデルを使用します (Sim2Sim)。
　　　
強化学習実施
学習環境を構築して報酬設計をして所望の倒立動作を学習します。
　
Sim2Sim
得られた学習結果でMuJoCoモデルを動かして動作確認
　
Sim2Real
得られた学習ニューラルネットワークを実機に移植して動作確認