研究室の目指すもの

当研究室では、「Transcending Mind（情報技術によって人間の知覚・行為・自己認識の範囲を拡張すること）」を共通の研究理念として、バーチャルリアリティ、テレイグジスタンス、感覚情報提示および知的対話システムに関する研究を進めています。

研究プロジェクトは、主として次の二系列から構成されています。

Tシリーズ	仮想環境および遠隔環境における知覚・身体感覚の再構成
P-Σシリーズ	身体性と個人性を備えた知的対話システムの構成（Pseudo-Human Project）

一方は、人間が情報環境の中でどのように身体を感じ、行為し、自己の位置を認識するかを扱います。もう一方は、情報環境の中に、身体表現と記憶を備えた自律的な対話主体を構成することを目指します。

両系列は異なる研究に見えますが、次の問いを共有しています。

いかなる感覚・行為・記憶の連続性によって、人は自己と他者の存在を認めるのか。

この問いに、人間の知覚機構と情報システムの双方から接近することが、当研究室の研究方針です。

T-01　広視野立体映像提示と三次元位置姿勢計測

仮想環境内における臨場感や空間認識は、立体映像の画質だけでなく、提示視野、頭部運動に対する映像更新、表示遅延などの影響を受けます。

本プロジェクトでは、独自設計の広視野頭部搭載型ディスプレイ「SK-HMD/v3」を試作し、提示視野と臨場感、方向感覚および自己定位との関係を心理物理学的に検討しています。

また、仮想環境内における頭部・手部・身体各部の運動を計測するため、小型の三次元磁気式位置姿勢センサおよび実時間計測システムの開発を行っています。

主担当：古川ひかる、坂井透
KEYWORDS : HMD, stereoscopic display, magnetic tracker, presence, immersion

T-02　嗅覚・触覚を用いた複合感覚提示

視覚および聴覚だけで構成された仮想環境では、物体の材質、温度、匂い、接触感などを十分に表現できません。

本プロジェクトでは、嗅覚提示装置、皮膚感覚提示装置および立体映像提示装置を組み合わせ、複数の感覚情報を同時に提示することによって、仮想物体の質感や環境の実在感を高める研究を進めています。

嗅覚提示については、複数の香気を切り替えて鼻腔付近へ送出する微小流路型嗅覚提示機構を試作しています。また、視覚的な材質表現と触覚・嗅覚情報との対応関係を変化させ、異種感覚間の相互作用について検討しています。

主担当：古川ひかる
KEYWORDS : olfactory display, tactile display, multimodal interface, cross-modal interaction

T-03　視覚・前庭情報による仮想運動感覚

仮想環境内で移動映像を提示した場合、視覚的には身体が移動しているにもかかわらず、前庭感覚や体性感覚からは移動が検出されないことがあります。この不一致は、臨場感の低下や仮想環境酔いの原因となります。

本プロジェクトでは、耳後部に配置した電極から微弱な刺激を与える電気的前庭刺激と立体映像を同期させ、傾斜感覚および移動感覚を補助的に提示する方法を検討しています。

視覚情報、頭部運動および前庭刺激の時間的対応を操作することで、身体を大きく移動させることなく、旋回、加速、傾斜などの感覚を提示することを目指します。

主担当：古川ひかる、三田村修
KEYWORDS : vestibular stimulation, visual-vestibular interaction, locomotion, motion sensation

T-04　自己定位および身体像の再構成

人間は、身体運動と視覚情報の対応関係を利用して、自分がどこに存在し、どの身体を操作しているかを認識しています。

本プロジェクトでは、頭部や上肢の運動と仮想身体の運動との対応倍率、時間遅延、視点位置および身体寸法を変化させ、自己定位、身体像および行為主体感に及ぼす影響を調べています。

実身体とは異なる位置や形状をもつ仮想身体であっても、運動と感覚情報の対応が一定の条件を満たす場合、その身体が自己の身体として認識される可能性があります。

本研究は、遠隔身体間を移行する際の身体感覚の連続性と、仮想身体に対する自己帰属の成立条件を明らかにすることを目的としています。

主担当：坂井透、峰岸雅也
KEYWORDS : self-localization, body image, agency, virtual body, visual-motor correspondence

T-05　遠隔環境における触覚・力覚伝送

テレプレゼンスシステムでは、遠隔地の映像と音声を操作者へ提示するだけでなく、物体に接触した際の力や表面状態を伝送することが重要です。

本プロジェクトでは、遠隔操作機器に取り付けた力センサおよび接触センサから得られる情報を、操作者側の力覚・触覚提示装置へ実時間で伝送する双方向システムを開発しています。

遠隔地にある物体の硬さ、接触位置、抵抗力などを操作者へ提示することにより、医療、保守作業、危険環境内作業などにおける遠隔操作の精度向上を目指します。

また、遠隔ロボットと仮想身体に共通する感覚・運動情報の記述方式について検討しています。

主担当：三田村修
KEYWORDS : telepresence, haptic interface, force feedback, bilateral control, remote operation

P-Σ　Pseudo-Human Project（2001-）

仮想環境内に表示された人物が、単にあらかじめ定められた応答や動作を反復するだけでは、利用者はそれを継続的な対話相手として認識することができません。

Pseudo-Human Projectでは、音声対話、視線、表情、身振りおよび過去の対話履歴を統合し、一定の個人性と応答の一貫性を備えた自律型仮想人物の実現を目指しています。

本研究は、JSP戦略的創造研究推進事業「まえぶれ」研究領域「人間社会の継続的発展を支える自律的知能システムの構築」における研究課題「身体・記憶情報の統合による個人性を備えた仮想対話システムの開発」の一環として実施されています。

主担当：坂井透、峰岸雅也

第1段階　仮想人物の身体表現と対話履歴の統合（2001年度-）

音声対話システムに、視線方向、表情、姿勢および身振りの生成機構を付加し、発話内容と身体動作が対応する仮想人物を構成します。

試作システム「Σ-01」では、利用者との過去の対話内容、人物に関する知識および応答履歴を保存し、次回以降の対話に利用します。これにより、

• 過去の会話内容を参照する
• 利用者ごとに応答を変化させる
• 一定の口調や行動傾向を維持する
• 対話の経過に応じて相手との関係を変化させる

といった、継続的な人物表現の実現を目指します。

第2段階　感覚・運動情報を備えた対話主体への拡張（2002年度以降予定）

Tシリーズで開発している身体運動計測、触覚提示および遠隔操作技術をPseudo-Humanに統合します。

利用者の位置、視線、姿勢および接触行動を仮想人物が認識し、それに応じて距離、視線、身振りおよび応答を変化させるシステムを構成します。

さらに、表情提示機構を備えた人間型ロボットや遠隔身体への人物モデルの実装について、基礎的な検討を行います。

第3段階　人物性および存在感の評価（将来構想）

仮想人物との長期的な対話を通じて、利用者がどのような条件で、

• 同一の人物と再会したと感じるか
• 相手が自分を記憶していると感じるか
• 相手に固有の性格や意図があると判断するか
• 仮想人物を単なる表示物ではなく、対話相手として認識するか

を評価します。

最終的には、外見の精細さだけではなく、記憶、行動、身体表現および相互作用の連続性から、仮想人物の存在感がどのように成立するかを明らかにします。

KEYWORDS : intelligent dialogue system, autonomous virtual human, embodied agent, dialogue history, individual characteristics

将来構想

Tシリーズでは、人間が仮想環境および遠隔環境の中に身体を成立させるための感覚・運動情報を研究しています。 P-Σシリーズでは、情報環境内の仮想人物が、身体表現、記憶および一貫した行動を備えるための情報処理方式を研究しています。

将来的には、これらの成果を統合し、

• 人間が遠隔身体や仮想身体を介して活動する環境
• 自律的な仮想人物と継続的に共同作業を行う環境
• 身体・感覚・記憶情報を複数の実体間で共有する情報環境

の構築を目指します。

人間の身体が直接存在しない環境においても、知覚、行為および記憶の連続性を保つことは可能か。 当研究室は、この問題をバーチャルリアリティ、テレイグジスタンス、感覚情報提示および知的対話システムの統合によって検討します。

※ 統合研究構想 "Project Ω" のページは準備中です