62 Views

VR向けのゲームソフト「サマーレッスン」にて、一部の人から起こり得ないことが報告されていました。
吐息が聞こえたというほどに、ゲーム内の人間を近くに感じていたというのです。
実際には誰もいない、吐息などあるはずもない場所でゲームしていたにもかからずである。

こういった、視覚による他の五感の誤認をクロスモーダル現象、あるいはクロスモダリティ現象といい、論文も発表されています。

この現象はVRに関わらず、日常生活中でも見ることが出来、一番わかりやすく身近なクロスモーダル現象と言えば、かき氷になるのではないでしょうか。
色とりどりの、色に合わせた味の表記がついたかき氷のシロップですが、本来このシロップはどの色であっても同じ味になっています。

それでも、赤いシロップならリング味。緑色ならメロン味と、食べてみるとなんとなく言われていた味がしてきそうな気がします。これがクロスモーダルで、最も影響させやすく、認識の影響が強いのが視覚ですが、その他の4感でも同じ現象を起こす可能性はあります。

VR開発を進めるにあたって、クロスモーダル現象は非常に重要かつ、利用したい現象になっています。

クロスモーダル現象とクロスモーダル可塑性

クロスモーダル現象

このクロスモーダル現象が1つの感覚が失われた際に補うように、他の感覚が向上するような場合もクロスモーダル可塑性と言われています。可塑性は単体の意味でなら本来なら弾性のある個体が外からある程度以上の力を受けた際、弾性の性質を失い、永久的なひずみを生むことになる性質を言う。
ではクロスモーダル可塑性とは何かに関しますと、「感覚障害を補うために再編成して機能を変更する脳の能力」と言われています。

クロスモーダル可塑性の確立された例には、聴覚または視力喪失の影響を受けた人の感覚適応が含まれます。多くの場合、高めにリード難聴周辺の視力を聴覚障害者、およびブラインドの経験は、感度の増加の音とタッチを。聴覚障害者では、視覚および体性感覚データの処理中に聴覚領域が機能しますが、視覚障害者では、触覚に関連する体性感覚情報の処理中に脳の視覚領域がアクティブになります。再編成の程度は、網膜または人工内耳などの治療の結果に影響を与えます、視覚または聴覚皮質が他の感覚によって指揮されている場合は効果がありません。

引用元:クロスモーダル可塑性| 生物学より

VRによるクロスモーダル現象の話に戻りますと、「サマーレッスン」の体験を見ても分かる通り、視覚の誤認によりバーチャル世界でのリアリティある体験は可能であると考えられます。

お寿司を使ったクロスモーダルの実験では、食べているのはサンマだが、見ている映像によるトロやサーモンを味覚として感じているという事も実証されています。

ただ、バーチャルでの体験をよりリアリティあるものにするには、その人本人の経験値や地域ごとにある価値観の違いなども起こるため個人差の大きいクロスモーダルをどう人によって変化させるかという課題も出てきそうではあります。

感じるからこそ危険でもある、クロスモーダル現象が起こす危険性

クロスモーダル現象が起こす危険性

また、リアリティがあるからこそクロスモーダル効果を起こすようなゲームやVR・ARは慎重に作成される必要があります。

VRで断頭台に……刃が落とされた瞬間ユーザーに起きた“異変”
ttps://www.moguravr.com/vr-guillotine/

この記事ではVRchatと言われるソーシャルVRプラットフォーム内にて、アバターに触られると触れられている感覚を覚えるほどクロスモーダル効果を引き落としていた方が、VR上にある斬首台で合意の上で斬首された経緯と、この記事の記者が実際に体験した内容が記載されています。

この人はウェブ上で斬首されたあと、実際の心体にも汗や手足の痺れや気を失うような感覚、そして首に違和感を覚えたと話しています。また、記者の方も同様に冷や汗や気持ちの乱れが起きたと記載されており、最後には「悪ふざけで行くのは避けたほうがよいでしょう」と締めくくられている。

この斬首台がある場所は現在公開されていないため、すでにその場所に行くことは出来ませんが、似た環境の場所はどこかに存在している可能性があるかもしれません。

類似するものとしては、以前日本でもあった、VRビルの屋上で、一本の木板の先にいる子猫を助けるというゲームでしょうか。あのときも、実際のビルの屋上にいるような感覚になっている人が多かったと聞きます。あれでは、板の先に落ちた場合はテレビなどで放映されていませんでしたが、もし落ちるという動作があったら、その人はどうなっていたのでしょうか。

人と会うという感覚を、VRでも感じる感覚

VRで満腹感

VRで起こるクロスモーダル効果が悪いことばかりではありません。
クロスモーダルに関する研究では以下のような事も起こっていました。


脳をだましてダイエット!? VRで満腹感をコントロール

ttps://kenko.sawai.co.jp/mirai/20200204.html

この記事内では、食べた際の食感が似ているものや、大きさの異なる食品を食べて脳の認識がだまされてくれるかという実験が行われ、結果実際に脳がだまされていた、という実験が解説されています。
この時にVRが利用されており、手に持ったものの大きさがVR機器を通した際に改変され、実際に手に持っているのとは大きさが異なるものを食べているにも関わらず、同じ大きさの食品を食べたときと満腹感が異なる報告がされました。更に、食品自体を違うもの変わったものに関しては、変更後の食品の匂いを食べる際に流した所、目で見ている食品の味を食べたと被験者は伝えておりました。
このクロスモーダル効果は、最終的にダイエットや過食の人の食事量を減らす助けになるという結論が出ています。

またVRchat内では、アバターと自身が同化するような感覚を覚えると言う人もいます。
こちらは匂いや音まで聞こえると言う人は少ないですが、アバターに触られている場所が実際に誰かに触られているような感覚や、そばにいる人の呼吸を感じるということを起こしている人もいます。

VRが普及していくに連れて、上記のようなクロスモーダル現象をvrで感じる人は増えていき、遠隔地にいる友人とも近くで会い、話しているような感覚でバーチャル空間にて遊ぶ人も増えていくでしょう。通常のSMSや電話では満足できなかった事も、この錯覚を利用して電子空間内で合えば満足できるようになるかもしれません。