予稿集Proceeding

話せば変わる GUI：ユーザの不満を反映した自然言語処理による GUI 自動修正システム

栗原佑真
宮下芳明
PDF

Journal: エンタテインメントコンピューティングシンポジウム2023論文集

Volume:2023

Pages:415-418

Source URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=227528&item_no=1&page_id=13&block_id=8

Published:

Publisher:情報処理学会

Keywords:GUI / 自動修正 / 自然言語処理 / GPT-4

Abstract

ソフトウェアの使い方はユーザごとに様々であり状況によっても変化するため，それに応じて GUI も柔軟である必要があると考えられる．そこで，ソフトウェアが「気遣い」としてユーザの状況に合わせて主体的に GUI を変更する環境が必要であると考えた．本稿では，ユーザがソフトウェアを使いながらその GUI に対しての不満を声や文字で伝えることで，GUI をその場で自動修正するシステムを試作した．例えば，機能が選びづらいと伝えれば，各機能のボタンや選択リストを大きくする，機能が分かりづらいと伝えれば機能の説明を加えるなどである．システムの実装においては GPT-4 を用い，不満の理解，解決法の立案，ソフトウェアのスクリプトの修正といった一連の作業をすべて行わせている．