ファームウェアエンジニアの井田です。
今回は巷で人気の ｽｰﾊﾟｰｶﾜｲｲﾛﾎﾞｯﾄ ｽﾀｯｸﾁｬﾝをMatter対応にしたお話です。
ｽﾀｯｸﾁｬﾝとは？
弊社製品であるRemoシリーズでは、Espressif社の無線通信機能付きマイコンである ESP32 シリーズを使っていることは、過去のブログ記事等でも何度か取り上げています。 このESP32シリーズを使ったユニットとして、M5Stackが製造・販売している M5Stack シリーズが、電子工作ファンの間で良く使われるようになってきています。
こういった中で、 ｽﾀｯｸﾁｬﾝ というコミュニケーション・ロボットを作るのが流行っています。 ｽﾀｯｸﾁｬﾝ 自体は、ししかわさんが開発したM5Stackを使った オープンソースハードウェアのコミュニケーション・ロボット です。
筐体の設計情報などはすべて GitHub上に公開 されており、3Dプリンタなどを用いて筐体を出力して、誰でも作ることができます。
AIｽﾀｯｸﾁｬﾝ
AIｽﾀｯｸﾁｬﾝは、前述のｽﾀｯｸﾁｬﾝに対して
- SimpleVoxを用いたウェイクワード検出
- Speech To Text APIを使った音声認識
- 音声認識結果に対応する応答を OpenAI Completions API (ChatGPTのAPI) をつかって生成
- VOICEVOXを使った音声合成による、応答の音声再生
の機能を実装したファームウェアで、 robo8080 さんが開発されたものです。GitHub上にコードが公開されており、誰でも利用可能になっています。
Matter対応ｽﾀｯｸﾁｬﾝ
AIｽﾀｯｸﾁｬﾝの機能を見ていただければわかる通り、AIｽﾀｯｸﾁｬﾝはスマートスピーカーとして動作するのに十分な機能を持っています。 そこで、AIｽﾀｯｸﾁｬﾝのファームウェアを改造し、 Matterコントローラーとしての機能 を追加して、弊社製品である Nature Remo nano に登録した部屋の照明の点灯・消灯を行うファームウェアを作ってみました。
※動画中のファームウェアでは、VOICEVOXによる音声合成をつかっています。音声の設定は ずんだもん を使用しています。
また、 2023年10月16日にSONY様 大崎オフィス内のクリエイター・スペースであるBRIDGE TERMINALで開催された、M5Stack Japan Tour 2023 Autumn にてLTをさせていただきました。 発表内容はYouTubeにて配信されておりますので、よろしければご覧になっていただければと思います。
関連記事
LT内でも紹介させていただきましたが、Matterデバイスの使い方に関しては、田井さんの以下の記事を読んでいただくと、PCから操作する方法が分かります。
また、今回のMatter対応ｽﾀｯｸﾁｬﾝのように、Matterデバイスを操作するコントローラを作りたい場合は、中林さんの以下の記事が参考になります。
Discord上の弊社開発コミュニティにも matter チャネルがありますので、分からないことがあればご質問いただければと思います。
Nature Remo nano販売中！
Matter対応ｽﾀｯｸﾁｬﾝで制御したRemo nanoはAmazonで販売中です。遊べるMatterデバイスとしてもおすすめですので、是非お試しください。
