AIロボット犬『XGO-lite2』を ChatGPT で味わう
お父ちゃん
2023.10.25
Home > Raspberry Pi >
0
0
以前いただいたAIロボット犬 XGO-lite2 のファームが更新されたようなので試してみました。
目次
ChatGPTによるデモ
ファーム更新によりChatGPTを用いた３つのデモが追加されたようです。
- Speech
決められたキーワード (“Go forward”等) の発話があると、それに対応した動作をするデモ
- ChatGPT
音声認識してそれに対応した返事の会話を生成してディスプレイに表示するデモ
以上の２つはChatGPTを用いてできる非常にオーソドックスなデモだと思うのですが次のデモが凄いんです。
- RobotGPT
ロボットの動作を指示する発話をChatGPTで認識してPythonコードを生成してXGOに返して実際に動かすという とんでもないデモでした。
動作の様子は以下のとおり
After voice recognition, XGO generated motion control code through natural language understanding, printed it on the screen, and executed it.#Robotics #ChatGPT pic.twitter.com/HK8EaSyyt2
— XGO (@luwu_dynamics) October 24, 2023
これヤベーだろ！
発話による動作指示から対応する動作のpython関数引っ張ってきてコード生成して返してくるんだって。。。そして実際そのコードで動いてやんの。凄すぎる。
AIが凄いのはなんとなくわかってたつもりだけど実際に動かれると強烈ですなオイ。
プロンプトも以下に公開されております。
https://www.yuque.com/luwudynamics/en/cgqmri0lxr0n6irr
デモコードの使用方法も上のリンクに記載されています。
RobotGPTデモを試してみる
早速自身でも試してみました。
ファームアップデート
以下を参考にファームを更新しました。
https://www.yuque.com/luwudynamics/en/pcl4ii9e7uxwx0nx
XGO2のOSはラズパイですのでラズパイのOSを焼くのと全く同じ作業でファーム更新ができます。
xgo0627.zip から xgo1016.zip に更新しました。
動作
ファーム更新後にWiFi設定を済ませて、デモ用のコードにOpenAIのAPIキーを記入し、RobotGPTデモを実行しました。
日本語でも認識してPythonコードが生成され、指示通り動いてくれました。
すごい！やばい！
これ凄すぎるよ。発話のキーワードをトリガにしてあらかじめ仕込んだ動作をさせているのではなくコードを生成してる点に未来を感じちゃう。
発話から動作までには当然時間がかかりますが、こんなのは将来的にすぐに解決されるでしょう。
動作シーケンスを全く仕込むことなく、発話で思い通りにロボットを動かすことができる。これを体感して震えました。
おわりに
ここではXGO2のChatGPTを用いたデモを実施して、発話によって動作コードが生成されての動作を体感しました。
ここでは基本動作のPython関数の組み合わせでコードが生成されていましたが、将来的にはもっとプリミティブなコード生成が可能になるのではないでしょうか。
例えば各サーボの角度が時間シーケンスと共に返されて所望の動作を実現がされるなど。
動作指示発話音声とロボットのモータ等のステートとセンサ・カメラ情報をAIに投げて、AIが音声認識して各情報から位置情報の割り出しや逆運動学演算してロボットにモータシーケンスのみ返すみたいなね。
こうなったらもう事前のモーションプログラミングとか必要ないし、自由度も爆発的に上がりますね。将来的にはエッジAIとかで通信なしで高速処理とかも期待できるかもしれません。
いやー未来がすこし楽しみになりました。
