永山晋准教授の論文”A computational neuroscience perspective on subjective wellbeing within the active inference framework”（Ryan Smith氏ほかとの共著）がInternational Journal of Wellbeingに掲載されました。以下のURLから本文をご覧いただけます。

A computational neuroscience perspective on subjective wellbeing within the active inference framework | International Journal of Wellbeing

なお、以下のとおり日本語解説記事を作成いたしましたので、ご興味お持ちの方はご覧ください。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

能動的推論フレームワークにおける主観的ウェルビーイング

2022年11月2日

解説文：永山晋・風間正弘・石川善樹

本論文は主観的ウェルビーイングの数理モデルを構築すべく、能動的推論モデル active inference modelの観点からその理論的フレームワークを提案しました。このフレームワークにより、ウェルビーイングの個人差が生じるメカニズムや、文化圏によって状況への感情的対処が異なるメカニズムを説明できる可能性があります。また、本研究が提示する仮説の検証に向けた実験案・介入案の提案を行っています。

Smith, R., Varshney, L. R., Nagayama, S., Kazama, M., Kitagawa, T., Managi, S., & Ishikawa, Y. (2022). A computational neuroscience perspective on subjective wellbeing within the active inference framework. International Journal of Wellbeing, 12(4), 102-131. https://www.internationaljournalofwellbeing.org/index.php/ijow/article/view/2659

論文の4つのポイント

１．個人の主観的ウェルビーイングを説明する数理モデルを能動的推論の観点から提案しました。数理モデルから得られる仮想データと実験などで得られる実データとをフィッティングさせることでモデルのパラメータの推定が可能となるとともに、これまでにない新しい予測や介入方法の考案に向けた反実仮想分析が可能となります。

２．数理モデル構築に向け、ウェルビーイングの向上（低下）を期待自由エネルギーの低下（向上）と定義し、数理モデルを構成するパラメータを６つ仮定しました。それは、(1)事前信念の精度、(2)環境変動の見積もり、(3)選好の精度、(4)期待自由エネルギーの精度に関する事前信念の自信、(5)計画の展望性、(6)状態空間の粒度です。

３．この数理モデルを構成するパラメータとウェルビーイングとの関係についての仮説を提示しました。ウェルビーイング向上に関係するパラメータの組み合わせが複数ありうるため、文化圏（外部環境の特性など）によって好まれる感情が異なるなど、既存研究の異なる発見を統合的に説明できる可能性について議論しました。

４．提示した仮説を検証するため、モデルを構成するパラメータの特徴に応じた実験案・介入案を複数提案しました。

背景

近年、日本政府の骨太方針に「ウェルビーイング」という言葉が登場したように、ウェルビーイングは社会から大きな注目を浴びています。ウェルビーイングに関わる研究は、心理学、経済学、社会学の知見を取り入れながら、その測定方法、ウェルビーイングの影響要因、介入方法を多数提案・発見してきました。

これまでのウェルビーイング研究はデータから帰納的に主観的ウェルビーイングに関するパターンを見つけるものでした。しかし、パターンを帰納的に発見する方法では、人間の脳がなぜそのようなパターンを示すのかという原理を明らかにすることは困難です。そのため、主観的ウェルビーイングに関する理論構築が難しいという課題がありました。

そこで本研究は、脳の情報処理モデルの一つである「能動的推論 active inference」に着目し、ウェルビーイングを説明する数理モデルの構築とその実証方法の探求を目的としました。仮に人の行動や思考の原理に迫った数理モデルを構築できれば、これまで得た異なる発見を単一のモデルで統合的に説明可能になります。また、原理からウェルビーイングに関する全く新しい予測や介入方法を提示できるとともに、数理モデルでシミュレーションすることで事前のその介入方法の反実仮想効果を検証することもできます。

能動的推論とは何か

能動的推論とは、動的にかつ不確実な外部環境と相互作用しながらエージェント（人や生物などの自律的意思決定をする存在）が知覚、学習、行動の意思決定を推論することをモデル化した数学的フレームワークです。能動的推論は、エージェントを受動的に環境から感覚情報を受け取り、知覚を推論する存在ではなく、そのエージェントにとって望ましい感覚情報を得るための行動をとる存在として仮定しています。これが「能動的」推論たる所以です。

ここで、エージェントは多数の選択肢の中から、どのような基準で特定の行動、あるいは特定の知覚（潜在状態の推論）を採用するかが問題になります。能動的推論では、「変分自由エネルギー」を最小化させる「知覚」を採用し、「期待自由エネルギー」を最小化させる「行動」を採用するという仮定を置いています。前者の変分自由エネルギーとは、選択しうる知覚のうち、観測された対象と知覚候補の誤差が小さいほど、そして、既存のモデルより変化が小さいほど、小さくなる指標です。後者の期待自由エネルギーとは、今後得られうる報酬が多いほど、そして、環境について得られうる情報が大きいほど小さくなる指標です。

本論文では、この能動的推論をウェルビーイングに応用するにあたり、ウェルビーイングが向上した状態を期待自由エネルギーを低下できた状態と定義しています。つまり、これまでよりも、将来の不確実性を削減する有用な情報を得られうる、そして、何らかの報酬が期待できる状態に移行しうることと、主観的ウェルビーイングが高まることが深く関係するものとして捉えることを意味します。例えば、期待自由エネルギーが低下できない状況は、自分が期待する世界のモデルが、実際の世界と大きく乖離しており、そのモデルが今後改善できる見込みがない状況を意味します。これは、主観的ウェルビーイングが低い状態である自己決定感の喪失や救いようがない感覚と類似します。

モデルを構成するパラメータとウェルビーイング向上仮説

本論文は、このように主観的ウェルビーイングの向上を期待自由エネルギーの低下と位置づけることで、能動的推論のフレームワークを反映した複数のパラメータで構成される数理モデルを提案しています。モデルの構成パラメータは以下の６つです。(1)事前信念の精度 prior belief precision、(2)環境変動の見積もり volatility estimates、(3)選好の精度 preference precision、(4)期待自由エネルギーの精度に関する事前信念の自信 expected free energy precision、(5)計画の展望性 planing horizon、(6)状態空間の粒度 state-space granularity。

これらのパラメータに関する説明に際し、直感的にイメージできるよう、喜びや悲しみなどの感情を推論する例を使って説明します。

(1) 事前信念の精度とは、潜在状態に関する確率分布の信頼度を意味します。精度とは実際に正確なことを意味するわけではなく、様々なありうる状態の中でも特定の状態が生じる確率が高いと信じる場合（確率分布に偏りがある場合）に値が高くなります。この事前信念の精度は２種類あります。１つは、潜在状態に対する事前信念の精度です。例えば、自分の人生に喜びの感情が湧きやすいと信じる人は（あるいは悲しみが大半と信じる場合も）、この事前信念の精度が高くなります。他方、どちらの感情が生じるかはランダム（喜びと悲しみだけの場合は半々の割合）だと信じる場合、最も精度が低くなります。もう１つの事前信念の精度は、センサーの精度です。センサーの精度とは、観測される結果と潜在状態の対応関係の信頼度です。環境から得られる情報の信頼度に関わる信念ともいえます。例えば、食べ物が美味しいという観測が喜びの感情と強く対応している場合、センサーの精度は高い状態と捉えられます。ウェルビーイング向上において、エージェントの置かれている環境の不確実性などによって、この事前信念の精度の最適値は変わると考えられます。

(2)環境変動の見積もりとは、環境を安定的に捉えるか不安定に捉えるかを意味します。環境が安定的であるという見積もりは、新しく観測によって得られる情報をあまり参考にしないことを意味します（自分のモデルを更新しない）。他方、環境変動を高いと見積もることは、新しい観測を得るたびに、その情報をもとにこれまでの信念を大きく更新することを意味します。つまり、環境変動の見積もりは学習率と関係します。環境が安定しているとは、カレーを食べるとおいしいという体験をし、喜びの感情が湧くといった関係性が、繰り返し起こると見積もることです。他方、周囲にカレーの味が安定しないお店しかなければ、カレーを食べたところで喜びの感情を得られるかは分かりません。なお、環境変動の見積もりは、これまで学習した信念を時間変化に応じてどれだけ推論に寄与させるかという忘却率でも表現できます。

(3)選好の精度とは、潜在状態を構成する要素に対する報酬の高さの信頼度（確率分布の偏り）を意味します。喜びと悲しみであれば、喜びの感情を圧倒的に好み（高報酬）、悲しみを嫌う（負の報酬）場合、選好の精度が高くなります。他方、喜びも悲しみも同程度の好みの場合（偏りがない場合）、選好の精度が低くなります。この選好の精度は、今後の行動を左右する情報探索と報酬獲得のバランスに関係します。例えば、先の例に挙げたように感情の選好に対する精度が高い場合（喜びを好む）、喜びをもたらす行動を毎回繰り返します。他方で、行動の多様性が抑制されるため、新しい情報を得ることができません。そのため、選好の精度が高い場合、衝動的な報酬追求行動が見られることが予測できます。選好の精度が低い場合（喜びも悲しみもどちらも同等の報酬）、好ましい特定の目標に到達するための行動に収束しないことが予測されます。ウェルビーイングを高くたもつためには（期待自由エネルギーを低下させるためには）、情報の獲得と報酬の獲得のバランスが必要です。一定の探索がなければ最適な行動を発見できない一方、いつまでも探索的な行動をとっていては、大きな報酬を得られません。それゆえ、選好の精度は中程度である際にウェルビーイングが高くなることが予想されます。

(4)期待自由エネルギーの精度とは、エージェントのモデルに対する自信や信頼性を表しており、行動選択において期待自由エネルギーの量にどれだけ影響を受けるかを意味します。この精度が高いことは、自分の行う行動が、有用な情報や高い報酬獲得に結びつきやすいという確信が高い状態です。自分のモデルに対する評価に関わるため、メタ認知とも深く関係します。この値が高いほど、行動のランダム性や習慣による行動支配の影響が低減します。例えば、カレーを食べるという行動が、美味しいという体験と、好ましい感情としての喜びをもたらすと確信している場合、期待自由エネルギーの精度が高いことが予想されます。期待自由エネルギーの精度が高いほどウェルビーイングが高いことが予想されます。

(5)計画の展望性とは、エージェントが先々のステップを見通している程度を意味します。ここで仮定しているエージェントは、自分のモデルをもとに、何らかの行動をとって得られる報酬と情報の期待値を計算します。ある行動をとることで別の状態に遷移し、その際にまた何らかの行動をとった場合に得られる報酬と情報といったように、現時点から先々の時点で報酬と情報の期待される累積獲得量を計算するエージェントもいれば、直近の時点までしか計算しないエージェントもいるでしょう。計画の展望性が高い場合、最終的に大きな喜びの感情を得るために一時的に好ましくない悲しみの感情を経る状況を受け入れられます。ただし、環境が不安定である場合、先々のことを考えたばかりに直近の報酬を見逃す場合もあります。そのため、計画の展望性は、置かれている環境に応じて柔軟に変化できる場合、高いウェルビーイングがもたらされることが予想されます。

(6)状態空間の粒度とは、エージェントがもつ潜在状態の粒度を意味します。自分の感情を潜在状態とした場合、多様な感情概念を知覚できる場合、状態空間の粒度が高い（きめ細かい）ことを意味します。例えば、喜びと悲しみのみの単純な感情概念の知覚は低い粒度であり、強い喜びと弱い喜び、強い悲しみと弱い悲しみのような感情概念を知覚できる場合は、より高い粒度といえます。潜在状態の粒度が高いほど、より正確な潜在状態の推論が可能となるうえ、行動のガイドとなるより豊かな情報をそのモデルから得られます。ただし、エージェントが置かれている環境によっては、低い粒度でも現実世界との齟齬が大きくならない場合もあります。その場合は、粒度が高いことが必ずしもウェルビーイングを高めるとは限らないため、最適な潜在状態の粒度は環境特性に依存すると考えられます。

これらのパラメータの構成とウェルビーイングの仮説を整理したものが、論文の図1です（日本語訳を以下に掲載します）。

ここまでの説明からも推察されるように、ウェルビーイングを向上させる方法は一様ではありません。エージェントが置かれている環境特性に応じて、あるパラメータは高く、異なるパラメータは低い場合にウェルビーイングが高まるといった組み合わせが複数あると考えられます。ウェルビーイングの既存研究においても、例えば、米国は強いポジティブな感情、日本は弱いネガティブな感情を好みやすいといった文化圏に応じて好まれる感情が異なることが知られています。このような既存研究で指摘された異なる発見に対し、本論文で提案した数理モデルのフレームワークが統合的に説明できる可能性があります。

図1. 主観的ウェルビーイングの計算論的フレームワーク

※モデルを構成するパラメーターは青字

仮説検証に向けた実験案・介入案

最後に、提示したモデルのパラメータをどのようにして推定するかが問題になります。そのため、本論文では、論文の表2に整理されている通り、実データを使ってモデルの各パラメータを推定するための実験案・被験者への介入案について提案しています。6つのパラメータを同時に推定するというよりは、モデルの各パラメータの特性に応じた実験案を過去の研究のアプローチを参照しながら提案しています。

なお、ここで提示しているパラメータは、潜在変数と呼ばれる実データから直接観測不能の変数です。この潜在変数の推定にあたり、設定した数理モデルから生成される仮想データと、実験などで得た実データとを近接するパラメータを機械学習の手法を使って推定するなどの方法をとります。

表2：モデルの各パラメータに関する仮説検証に向けた実験・介入案

モデルのパラメータ	実験例	介入方法の候補	期待効果
状態に対する事前信念の精度とセンサーの精度	条件付認知タスク、内受容感覚類推タスク	フィードバックをベースとしたトレーニング、マインドフルネス、アテンションの選択	楽観的事前信念によってポジティブな未来の見通しをもてる。
学習・忘却率と環境変動の見積もり	認知学習タスク、バンディットタスク、変化点特定タスク	フィードバック、アテンションの選択	世界が予測可能になることによって不安レベルが低下する。
選好の精度	探索-活用タスク、バンディットタスク	不確実性への自覚（認知行動療法）、インセンティブ構造の変更	報酬探索と情報探索のバランス最適化によって、回避行動、衝動行動が抑制される。
期待自由エネルギーの精度	限定オファータスク、接近-回避コンフリクトタスク	自己効力感、自信、自己決定感などへの介入	自信がもてるようになり、不健全な習慣の影響を受けずに、価値を重視した行動をとる。
計画の展望性	複数段階計画タスク	振り返りと計画性の重要性の自覚（認知行動療法）。	短期的な不快を伴うことがあっても健全な長期目標に取り組む。
状態空間の粒度	現状なし（潜在状態の数の異なる状況で、感情を推定するタスクなどがありうる）	感情自覚トレーニング、異なる解釈の提示。	感情の詳細な理解が得られることによる感情制御能力と社会的意思決定能力の向上。

※引用文献は省略

今後の期待

本研究が提示した実験案に限らず、今後、提示された仮説の実証が期待されるとともに、数理モデルに踏み込んだウェルビーイング研究が進展していくことが期待されます。また、数理モデルによって、ウェルビーイングの説明に関わる全く新しい仮説や測定方法の提案、ウェルビーイング向上の介入案が考案される可能性が広がります。さらに期待できることは、能動的推論の他分野への応用です。能動的推論はロボット工学などにも応用が広がっていますが、社会科学への応用はまだ限られています。そのため、本研究の一連の議論に触発され、能動的推論が経済学分野や経営学分野などに応用が広がっていくことも期待されます。

著者

研究支援

本研究は、公益財団法人Well-being for Planet Earth、the William K. Warren Foundation、the National Institute of Mental Health (R01MH123691; R01MH127225)、the National Institute of General Medical Sciences (P20GM121312)、JSPS科研費 (19H01527)から支援を受けています。

お問い合わせ

私たちは、ウェルビーイング研究、能動的推論を活用した社会科学研究に関心のある研究者、実務家、政府関係者の方々との情報交換、共同研究を進めていきたいと考えています。ご感心のある方は著者までご連絡ください。

英語：*Ryan Smith (Laureate Institute for Brain Research) *Corresponding author

rsmith[at]laureateinstitute.org

日本語：永山晋（一橋大学）

s.nagayama[at]r.hit-u.ac.jp