これまでロボの強化学習について検討してきました。
学習に耐えうるモデルを制作し、中腰バランス動作を実機検証しました。

強化学習への道7 －ロボット強化学習3－

静止状態でのバランス動作実現までにかなり時間がかかり、ここから歩行実現となると一生かけてもできそうにありません。
強化学習が何たるかが理解でき大変勉強になりましたが、システムや動作が複雑になると計算量も膨大となり伴って検証すべき項目も増えます。

モータ 1個レベルでの動作であればほどほどの時間で結果を得ることができますが、モータを複数使用するロボの強化学習は本当に大変でした。
学習を収束させるための報酬設計を検証するのにめちゃくちゃ時間がかかるのです。
そもそもニューラルネットワークの構成も適切なのかなど未だにつかみきれてない部分も多々あります。

高級GPUの並列処理で膨大に計算させるのが解だと思うのですが、貧乏人の私がそこに参戦しても時間溶かすだけというのが今の結論です。

ということで手で歩行動作を製作していきます。

シリアルリンク 2足歩行ロボットの製作3 ー足踏み動作ー

やっぱ手だろ手
俺はガチエンジニアだからな

機体調整

強化学習Sim2Real検証用仕様になっていたロボ機体をもとに戻します。

強化学習は中腰バランスでもうギブアップ

いったん歩行は手で作ってピッチ角バランスを学習結果混ぜて使えばいいんでないべか？ pic.twitter.com/1X2KT4hUTM

— HomeMadeGarbage (@H0meMadeGarbage) June 16, 2025

構成は以下の通り

中枢コントローラATOMと各モータドライバをCAN通信でやり取りさせます。
通信システムは以下の通り

ATOMから各関節の角度を指定して、左右の足首モータからはトルク(負荷電流)が送信されます。

- ブラシレスモータ 5010 360KV

- CANモジュール VP230

- BLDCコントローラ MKS ESP32 FOC V2.0

磁気エンコーダ AS5600

　
LiPoバッテリ

https://amzn.to/4e8RVng
amzn.to

歩行検討

前回までに実現していた足踏み動作をベースに歩行モーションを作りこみます。

2足歩行ロボット歩行

ピッチ角補正なし
実に危なっかしい。。 pic.twitter.com/jZaGMMy63G

— HomeMadeGarbage (@H0meMadeGarbage) June 18, 2025

ピッチ角に対して何もケアをしていないのでちょっと不安定。。。

ピッチ角補正

IMUで機体ピッチ角を検知して足首モータにPD制御でフィードバックさせてみた。

2足歩行ロボット歩行
ピッチ角補正 (PD制御) 追加

まだ歩行モーションの作りこみ甘いけど劇的に安定したわ
無理して足首サーボ導入して本当に良かった pic.twitter.com/Umxu8xnr4H

— HomeMadeGarbage (@H0meMadeGarbage) June 19, 2025

動作が非常に安定しました。
特に前進後進歩行時に機体が大きく前後に傾きそうですが、足首で踏ん張ってくれています。
シリアルリンク機構を導入して足首にもモータを採用したご利益が大きく出ました。

歩行モーションはまだまだ改善の余地がありますが、元気に歩けるようになりました。

動作を簡単におさらい