VL-SensorIDE: VLM を用いた仮想センサIDE によるインタラクション設計の対象拡張と容易化

Abstract

本研究は，VLMをユーザがプロンプトで再定義できる仮想センサとして活用し，そのままアプリコードへ配線できるIDE「VL-SensorIDE」を提案する．ユーザは，測定値のフィードバックを見ながら「食事の進行度を0-1で返す」といった記述を試行錯誤しながら修正し，新たなセンサを構築できる．これにより，物理センサの設置が困難な対象や，従来の認識モデルでは実装コストが高かった主観的基準・抽象的事象の測定が可能となる．8名の評価では20分で53件の多様なセンサが作成された．本研究の成果は，VLMを仮想センサとしてコーディング環境に直結させることで，センシングの対象を拡張し，その設計と実装の自由度を高める点にある．