金井優奈

元永航陽

本間大一優

奥野達也

千田知佳

平野智紗子

小平乙寧

神田愛依

清水春翔

阿部悠希

金珉志

五十嵐えり

榎坂諒

松橋月奈

栗原佑真

藤澤秀彦

吉本健義

深池美玖

笠原暢仁

湊祥輝

大友千宙

彭雪儿

宮下芳明

ゼミ旅行2024 @箱根

宮下先生　お誕生日おめでとうございます！（2024年）

第33回 香り・味と生体情報研究会に参加しました

CHI 2024 に参加しました！

宮下研2023年度実績

2023年度 卒業式・学位記授与式

EC71に参加しました

インタラクション2024に参加しました

オープンラボ・全方位進路相談会開催します！【2023年度】

HCI206に参加しました

2024年 宮下研 卒業研究発表会のお知らせ

クリスマスパーティー&忘年会 in 2023

	本論文では、登場人物や鑑賞者の心の動きを表す複数のエンベロープを操作することで、ストーリーの構築と編集を可能にするシステム「TaleShaper」を提案する。本システムでは、大規模言語モデルを用いてストーリーのエンベロープを生成する。さらに、エンベロープを操作することで、LLMを通して既存のストーリーを生成・書き換えることができる。ユーザは、細かなテキストの編集を行うことなく、柔軟にストーリー全体を形作ることが可能である。

エンタテインメントコンピューティングシンポジウム2024論文集

 TaleShaper:複数のエンベロープで形作るストーリー創作システム

In Fitts’ law studies to investigate pointing, throughput is used to characterize the performance of input devices and users, which is claimed to be independent of task difficulty or the user’s subjective speed-accuracy bias. While throughput has been recognized as a useful metric for target-pointing tasks, the corresponding formulation for path-steering tasks and its evaluation have not been thoroughly examined in the past. In this paper, we conducted three experiments using linear, circular, and sine-wave path shapes to propose and investigate a novel formulation for the effective parameters and the throughput of steering tasks. Our results show that the effective width substantially improves the fit to data with mixed speed-accuracy biases for all task shapes. Effective width also smoothed out the throughput across all biases, while the usefulness of the effective amplitude depended on the task shape. Our study thus advances the understanding of user performance in trajectory-based tasks.

CHI '24: Proceedings of the CHI Conference on Human Factors in Computing Systems

Better Definition and Calculation of Throughput and Effective Parameters for Steering to Account for Subjective Speed-accuracy Tradeoffs

In this study, we propose a novel human-like memory architecture designed for enhancing the cognitive abilities of large language model (LLM)-based dialogue agents. Our proposed architecture enables agents to autonomously recall memories necessary for response generation, effectively addressing a limitation in the temporal cognition of LLMs. We adopt the human memory cue recall as a trigger for accurate and efficient memory recall. Moreover, we developed a mathematical model that dynamically quantifies memory consolidation, considering factors such as contextual relevance, elapsed time, and recall frequency. The agent stores memories retrieved from the user’s interaction history in a database that encapsulates each memory’s content and temporal context. Thus, this strategic storage allows agents to recall specific memories and understand their significance to the user in a temporal context, similar to how humans recognize and recall past experiences.

CHI EA '24: Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems

"My agent understands me better": Integrating Dynamic Human-like Memory Recall and Consolidation in LLM-Based Agents

情報処理学会論文誌

ポインティングにおけるカーソルを遮蔽するノッチに関する調査

Text-to-Image モデルで生成した画像を意図した通りの画像となるよう追い込むことは難しい．生成される画像をテキストのみで制御することが困難なためである．入力するテキストは単語の順序や修飾関係を明確にしたものでなければならず，後からの修正も容易ではない．また，生成された画像をテキストのみで編集する手法が研究されているが，スクリプト言語でのコーディングが必要となる．本研究はパラメータの調整や特定の部分のみを編集することによってユーザ自らが求める表現へと追い込めるようにすることを目的とし，テキストボックスとスライダからなるノードの操作によって画像の生成と編集を行うシステムを提案する．単語の入れ替えや修飾関係の指定，パラメータの調整といった作業はテキストボックスやコードエディタで行うのではなく，それに適したインタフェースで行うべきだと考えている．ノードベースのシステムとすることで単語同士の関係を指定することや，編集したい部分のみ操作することが可能になる．また，各ノードに備えたスライダ操作によってインタラクティブにパラメータの調整ができる．さらに，作例制作を通した提案システムの評価を行った．提案システムによって生成済みの画像を追い込むことでユーザが求める表現を持つ画像を制作できるようになることを示した．

研究報告エンタテインメントコンピューティング（EC）

ノードとスライダで細部調整を追い込む画像生成システムの提案と評価

アイデアの生成には多大な労力を要する．近年では LLM を用いてアイデア生成に係る負荷を軽減するアプローチが広く取られているが，こちらもプロンプトの工夫などで労力を要するものである．本研究では，質の高いアイデアを楽に得ることを目的として，アイデア生成システム『Agent Agora』を提案する．固有のロールを持つ LLM 搭載エージェントを集め，自律的にブレインストーミングを行わせることでアイデアを生成する．ユーザは頃合いを見て状況を確認し，より議論に貢献しそうなエージェントを選定する．選定と放置を繰り返すことで，ユーザは自ら発想することなく多様なアイデアを得ることができる．さらに，実験にて得られた利用例をもとに，システムおよび生成されたアイデアの有用性を評価・考察する．

Agent Agora: エージェントの選定と放置によるアイデア生成システムの提案と評価

4ストローク運動錯視は，輝度を変化させた静止画の連続によって，一方向に無限に移動しているように知覚させる運動錯視である．我々の研究により，8.57-15.0 Hzでフレームが更新される4ストローク運動錯視を注視した際にSSVEPが誘発されることが明らかとなり，SSVEPベースBCIに対する4ストローク運動錯視を用いたUIの有用性が示された．一方で，明滅が速すぎて錯視が生起されないという意見が得られたため，周波数帯を見直す必要がある．そこで，錯視が生起性が保証された上で改めてUIの有用性を示すことを目的とし，周波数を4.29-7.50 Hzに半減させたフリッカ刺激を用いて実験を行った．その結果，識別手法としてIT-CCAを導入することで，錯視が生起がしやすい周波数帯においても識別精度が低下せず，既存のフリッカ刺激に匹敵する高い精度を示した．さらにアンケートの結果から，周波数を下げることで錯視が起こりやすくなる傾向が見られた．また，4ストローク運動錯視を注視する際，SSVEPとSSMVEPを同時に誘発している可能性が示唆されたが，IT-CCAは2種のVEPの干渉による影響を受けなかった．そのため，IT-CCAを識別手法として用いることで，4ストローク運動錯視を用いたUIに対し，高い操作性と錯視の生起の両立を可能にすることが期待される．

インタラクション2024論文集

錯視が生起する周波数帯の4ストローク運動錯視を用いたUIへのIT-CCAを活用したSSVEPベースBCIの利用検討

著者はこれまで，食品の賞味期限延長や食品ロス削減に寄与することを目標に，食品の味を時間軸で変化させる味のタイムマシン技術を開発してきた．味の経時変化，特に熟成過程を数式モデル化し，添加物の量に換算することで，食品の味の時間変化を操ることができる．本稿ではスプーン型装置「Chronospoon」を用い，一定の比率で混合された液体を使用し，単一のタンクのみで味の順行・逆行変化を可能にした．これにより従来の調味家電よりも小型化を実現し，実用可能な調味食器としての開発に成功した．

Chronospoon:時を操る調味食器

人類は映像技術が発明されて以来，様々な映像を記録してきた．近年，味覚メディアの発達により，映像とともに味を記録し再生することが可能になったが，これまで記録されてきた映像に対して味を付与することはできない．本稿では，白黒映像をカラー化する技術のように，味が記録されていない映像に対しても，味を推定し付与するシステムを提案する．味はGPT4-Vision により映像の全シーンに対して推定される．プロンプトでは，飲食物の名前，材料とその量をまず推測し，その後に味を推定するように指示しており，段階的な推論によって精度の高い推定が可能である．また，推定された味データは映像の各ピクセルに対応する形でファイルに記録される．視聴者は，映像上の飲食物を指定して，対応する味を出力し味わうことができる．本システムによって，既存の映像メディアを「味わえる映像」にすることができる．

TasteColorizer: 既存の映像メディアを「味わえる映像」にするシステム

新しいポインティング手法を評価するとき，実験では「できるだけ速く正確に」タスクを行うよう教 示するのが一般的である．しかし，速さと正確さのバランスは参加者ごとに異なり，これが結論に影響を 及ぼす可能性がある．本稿では，3 つの主観的バイアス（速さ重視，ニュートラル，正確さ重視）が，既存 のポインティング手法である Bubble Cursor と Bayesian Touch Criterion の評価結果に与える影響を検証 した．結果，Bubble Cursor は全バイアス条件でベースライン手法の性能を上回ったが，Bayesian Touch Criterion は，より単純なターゲット予測手法の性能を下回り，元の論文とは異なる結果となった．このよ うに，複数のバイアスを調査することで，手法の特性をより正確に議論し，一般化可能性の高い結論を得 ることができる．本稿では複数の主観的なバイアスを実験条件に加えることが望ましいと提言する．

速さと正確さへの主観的なバイアスがポインティング手法評価の一般化可能性に与える影響

人間の創造的活動において，多数の案を出してその中から最良のものを選択することは多くある．一方で，人間一人の発想には限界と偏りがあることも考えられる．それをコンピュータによる案の網羅的提示によって補うことで，より幅広い探索と良い案の発見が期待される．本稿では，写真撮影時のカメラアングル決定において，網羅的提示が人間の探索行為に与える影響について議論する．

研究報告ヒューマンコンピュータインタラクション（HCI）

カメラアングルの網羅的提示が探索行為に与える影響

ウェブカメラやマイクなどによって，カーソルの一部や全体が遮蔽されることがある．著者らは以前，ターゲットを挟む遮蔽物が操作時間を増加させることを示した．本稿では，遮蔽物の位置がポインティングに与える影響を調査した．結果，遮蔽物がターゲット間にある場合，ターゲット間の外側にある場合よりも操作時間を増加させる影響が大きかった．位置によって操作の戦略は異なったものの，どちらの場合でも遮蔽物の幅が大きいほど，遮蔽物とターゲットの間隔が小さいほど，操作時間が増加した．また，著者らが以前提案した操作時間予測モデルがどちらの場合にも応用できることを示した．

遮蔽物の位置がポインティングに与える影響

Miyashita Laboratory | Department of Frontier Media Science | Meiji University

Miyashita Laboratory

明治大学総合数理学部先端メディアサイエンス学科宮下研究室

ニュース

研究

メンバー

	本間大一優, 宮下芳明
	エンタテインメントコンピューティングシンポジウム2024論文集

	笠原暢仁, 大塲洋介, 山中祥太, Anil Ufuk Batmaz, Wolfgang Stuerzlinger, 宮下芳明
	CHI '24: Proceedings of the CHI Conference on Human Factors in Computing Systems

	彭雪儿, 田本晴輝, 宮下芳明
	CHI EA '24: Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems

	大友千宙, 宮下芳明
	研究報告エンタテインメントコンピューティング（EC）

	三瓶智輝, 宮下芳明
	研究報告エンタテインメントコンピューティング（EC）

	振原知希, 宮下芳明
	インタラクション2024論文集

	木下大樹, 大塲洋介, 富張瑠斗, 山中祥太, 宮下芳明
	情報処理学会論文誌

	阿部悠希, 宮下芳明
	研究報告ヒューマンコンピュータインタラクション（HCI）

	大塲洋介, 宮下芳明
	研究報告ヒューマンコンピュータインタラクション（HCI）

明治大学 総合数理学部 先端メディアサイエンス学科 宮下研究室

ニュース

研究

メンバー

明治大学総合数理学部先端メディアサイエンス学科宮下研究室