Led Matrix with IoT and VR

「VR と IoT を組み合わせて何か面白いことしましょう！」

そんな風に SensitiveCube さんに誘われて、２人での制作が始まりました。

たまたま私が LED Matrix というデバイスを持っていたので、最初にこんな技術デモを制作しました。

VR空間内でお絵描きすると、自宅の8x8LEDに反映される仕組みを作ってみました！
個人サーバーを介して、VR(STYLY)内の仮想LEDの状態を、自宅内の物理LEDへ反映させてます。
PlaymakerのWWW Objectと、MQTTを組み合わせて実現してます。
右下はMQTTのメッセージを可視化させたものです。#STYLY #IoT pic.twitter.com/YEL02dHsJN

— segur(せぎゅ)@ARエンジニア (@segur_vita) September 3, 2020

VR 空間内のブロックの状態が、リアルタイムに現実世界の LED へ反映されます！

この技術デモをベースに SensitiveCube さんが、よりリッチな空間にしたものがこちらです！

さきほど #Unity道場 さんで紹介してもらったLチカの動画はこちらです。VR空間内でお絵かきすると自宅のLEDが光ります！@onCube_jpさんにモデリング・シーン制作をやっていただきました！試作時は色鉛筆だったものが、ライトセイバー風レーザーポインターに進化してて超かっこいいです！#STYLY #IoT pic.twitter.com/vOiJxWd7wJ

— segur(せぎゅ)@ARエンジニア (@segur_vita) October 10, 2020

光り輝くセイバーがとてもかっこいいシーンになりました！

利用技術

主に以下の技術を利用しています。

• RGB LED Matrix Screen
  • 8x8 の LED デバイス です。
  • 詳細はこちらをご覧ください。 https://qiita.com/segur/items/c56a70189c56acff6100
• RGB LED Matrix Driver Shield
  • LED と Arduino を接続するデバイスです。
• Arduino UNO
  • LED の制御および MQTT Subscriber を担当します。
  • C++ で実装しました。
• shiftr.io
  • MQTT Broker を担当します。
• Firebase
  • MQTT Publisher を担当します。
  • JavaScript Express で実装しました。
• STYLY
  • VR 空間を担当します。
  • Firebase との通信します。
  • Playmaker で実装しました。

上記のように、VR から IoT まで幅広い技術を駆使する必要がありました。 （障害が発生したときに、問題箇所を特定するのに大変苦労しました。）

概要

• 開発環境: Unity, Playmaker, JavaScript, Firebase, shiftr.io
• 動作環境: STYLY
• 担当箇所: 通信技術全般, シーンの技術部分全般

発表

• Unity 道場 ロボティクススペシャル 龍の巻

公開資料

• Arduino で 8x8 の LED Matrix を光らせる
• Firebase Cloud Functions で MQTT Publisher を作ってみた

Special Thanks

Sensitive Cube https://www.artstation.com/artwork/w6LKgL