メニュー

技術ブログ

Denso IT Lab.社員による技術情報の紹介

Denso IT Laboratory researcher's blog sites

数式

RSS

ページトップへ

iOSDC2018で発表してきました

どうもsonsonこと,吉田悠一です.

今回は,以前からちょこちょこ作っていたSwift playground bookについて発表しました.
画像を扱うエンジニアはカメラのリアルタイム画像を処理するのが大好きです(多分).

カメラを使うコードをiPadのSwift Playgroundsから書けたら楽しいなぁと思い,コツコツ作ってきたノウハウ等を発表しました.
発表を聞き,サンプルコードを使うと,下のような画像処理をiPad上で簡単に書くことができます.

iOSDCは例年通りの盛り上がりを見せており,登録者数900名弱と,その辺の学会のシンポジウム顔負けの規模になってきています.
それだけに運営陣には頭が下がると同時に,iOS界隈のコミュニティは,健全に活発化しているなと感じます.

私は,発表の内容を,UIや何かを作る方法,開発手法,Swiftの中身,もっとコアな話の4つに分類できると思いました.
最近,私は,UIやアプリ開発自体に興味がなくなってきているので,Swiftの中身やCore MLなどのテーマで今後もコミュニティに混じっていけるといいなと思っています.

以下に発表スライド,発表で公開したコード,Swift Playgroundの購読URL,Twitter上での反応を示します.

発表したカメラ画像で遊べるPlaygroundbook

このリンクをiPadで開くと,Swift Playgroundsに上のPlaygroundbookを自動的にロードすることができます.

Appleのテンプレートを改善したカスタムテンプレート

Twitterの反応

それでは,またどこかのコミュニティで会いましょう!

このエントリーをはてなブックマークに追加

【論文紹介】Looking to listen at the cocktail party a speaker-independent audio-visual model for speech separation

社内で論文「Looking to listen at the cocktail party a speaker-independent audio-visual model for speech separation」の紹介をしました。資料を掲載します。

論文ではは音声と画像を利用して複数人の音声+ノイズから目的とする音声を抜き出す手法について提案されています。

(googleの発表資料)
https://ai.googleblog.com/2018/04/looking-to-listen-audio-visual-speech.html

このエントリーをはてなブックマークに追加

数年ぶりに開発合宿

「ROSを学ぶ」ということをお題目に有志メンバーで開発合宿に行ってきました.

目標タスク

・ROSの基本を理解する
・EV3をROSで動かせるようにする
・MATLAB Robotics Toolboxを試す
・Gazeboを使い,仮想環境でロボットを動かす
・EV3をMATLABから動かす
・なんかおもしろいことをやる

という目標をゴールに合宿しました.

背景

実は,合宿の前日にROS2.0がリリースされ,ROS1.0とコンセンプトも大きく異なり,もはや1.0のままでROS合宿をやることに意義があるのかという疑義を頭の片隅に残しながらの,合宿スタートとなりました.
ロボットを動かすところまで行った時点で,ネタを作りにいく派と,ROS2.0へチャレンジ派の二派に別れ,それぞれ作業しました.
各メンバー好きに作業して,色々結果がでて面白かったのですが,一番ネタ的におもしろかったのを紹介します(徹夜の麻雀のテンションなんでシラフでみると・・・・).

成果物

多分,大多数の人にとって,このビデオは,何をやっているのかわからないと思います.
これは,ノートPCについたカメラで仙台銘菓萩の月のパッケージを認識し.そのパッケージの傾きをUIとして,EV3を制御する様子を撮影したものです.
なぜ仙台銘菓萩の月なのかは,突っ込まないでください.

活躍した仙台銘菓の箱

このシステムは,萩の月→カメラ→MATLAB→ROS→rpyc→ev3-python→EV3本体という構成になっており,非常に迂遠かつ冗長なシステムとなっております.
後日,このシステムの(バッドノウハウてんこもりの)構築方法も紹介したいと思っています.

今回の開発でもっとも驚いたのは,MATLAB Robotics toolboxの完成度であります.
ROS1.0は,基本的にLinuxでしか動作しないのですが,MATLAB Robotics toolboxは,Windowsでも,macOSからでも,ROSを使うことができるのです.
これはすごい!!!!(ROS2.0からは,ほぼすべてのOSで動作するので・・・その辺もだいぶラクになります.ROS1.0って一体・・・・・)

合宿会場

三浦海岸マホロバマインズというホテルで行いました.
おそらく,バブル期のリゾートマンションをリノベーションしたホテルで,一室がほぼ3LDKくらいのマンションくらいの広さがあり,開発合宿にぴったりです.
季節柄,めちゃくちゃ寒かったですが,部屋から見えるオーシャンビューは最高です.

チェックアウト後は,会議室を夕方まで借りて,作業しました.

まとめ

ROS,楽しかったです.
ROS2.0からは,Windows, macOSでも動作するみたいなので,今後も引き続きフォローしていきたいと思います.
今回の合宿にあたり,乗り越えたバッドノウハウの数々は,後日・・・・公開予定です.

このエントリーをはてなブックマークに追加