前の記事 | 目次 | 研究所 | 次の記事 2000年5月からの訪問者数(画像)
農業と環境 No.177 (2015年1月1日)
独立行政法人農業環境技術研究所

論文の紹介: シンプソンのパラドックスを理解する

Comment: Understanding Simpson’s Paradox
Judea Pearl
The American Statistician, 68:1, 8-13 (2014)

シンプソンのパラドックス

シンプソンのパラドックスは古くからよく知られている“パラドックス”のひとつである。どのようなものかというと、たとえば 2×2 の分割表において、観察されたり、観察されなかったりした相関が、第三の変数によって層別化した場合に、観察されていた相関がなくなったり、逆になったり、あるいは新たに相関が観察されたりする現象である。たとえば、ある薬を施用した人(P1)としなかった人(P0)の疾病の治癒率 P を比較するとき、男性、女性それぞれで は P1<P0 だったのに、両方を合わせたら P1>P0 だったなどの場合が考えられる。

Lindley と Novick (1981) は、これらについてある意思決定問題を投げかけた。ある性別がわからない(そんなことは普通ありえないが)患者がやってきたとして、男女別の分割表と、併合された分割表のどちらを参照して、薬の投与を決めればよいか。

これは厳密な意味ではパラドックスではない。パラドックスとは、ある前提と、妥当な推論に基づいて導き出された結論が前提と大きく矛盾することをいうが、問題は「妥当な推論」という部分である。シンプソンのパラドックスの場合、下位、あるいは上位の層でみられた相関(前提)は、その逆においても成り立つだろう(推論)という直観に基づいた結論(その逆においては成り立たない)が誤っていたということを“パラドックス”と呼んでいる。

今回紹介する論文では、人工知能や統計的因果推論の分野で大きな業績をあげている J. Pearl が、シンプソンのパラドックスがなぜもはやパラドックスとは言えないのかを、一般向けに簡単に説明している。

シンプソンのパラドックスが“解決”したとはどういうことか

Pearl によれば、あるパラドックスが解決したというには、以下の3つの基準が満たされていればよい。

1)その“パラドックス”がなぜサプライズになるのかを説明できる

2)その“パラドックス”が発生する場合と発生しない場合を峻別(しゅんべつ)できること

3)その“パラドックス”によってもたらされる、決断のしにくい、いくつかの選択肢について、正解を示し数学的に証明すること

1)シンプソンのサプライズ

これについて理解するには 「シンプソンの逆転 (Simpson’s reversal)」 と 「シンプソンのパラドックス」 をはっきり区別しなければならない。前者は確率に関する算術的な事象であり、後者は心理学的な事象である。問題はなぜ単なる算術的な現象である、相関の逆転が「パラドックスである」と感じられるかである。普通に考えれば 「男性にも女性にも有害でありながら、母集団全体に対しては有益な薬」 が存在しないことは明らかである。これは Pearl が確実性原則 (Sure-thing theorem) と呼んでいる定理(J.Pearl, 2009)

定理: それぞれの部分集団において事象Eの確率を増加させる行動Cはその行動が部分集合の分布を変えないという条件の下で、集団全体においてもEの確率を増加させる。

によっても示されている。問題のキモは、「行動が部分集合の分布を変えない」 の部分であって、もしここが覆れば、われわれはサプライズを感じなくなる。論文中の図1(b)のように、投薬と血圧、治癒率の関係であれば、血圧を変化させる投薬によって血圧で層別化した治癒率が変化することは頻繁に起こりうるからだ。しかしこれが性別であった場合、われわれは、投薬が性別に影響することはないことを知っている。したがって、相関の逆転に対して違和感を持ってしまう。つまり違和感の根本的な原因は、統計的な相関関係に対して因果関係の文脈を持ち込み、その文脈で結果を解釈しようとするからだということになる。

2)どのような場合にシンプソンのパラドックスが起きるか

ここでは有向非巡回グラフ(DAG)を用いることによって、要因の関係を整理されれば、シンプソンのパラドックスがどのような場合に発生し、あるいはしないのかが簡単にわかることを示している(図2)。有向非巡回グラフとは、パス図のように矢印と要因を用いて作る、循環のない、要因の関係を示したものである。

3)正しい意思決定を行う

ここでは、Do 演算子を使うことによって、意思決定の難しい問題、先述の Lindley、Novick の問い、「層別化した分割表と層別化していない分割表のどちらを使うべきか」のような問題に答えることができることを示している。Do 演算子とは、Pearl が提唱している記述方法で、ある系に「介入」したことを、一般的な確率論における条件付き確率と区別するために、P( E | Do(C) ) のような形で記述するものである。これは行動Cを行ったときのEの確率、という意味になる。

本論文では、Do 演算子を用いた証明は書かれていない(数学的な証明は Pearl(2009) の 6.1.4 にある。)が、バックドア基準によって、DAGから簡単に判断できることを紹介している。一応紹介するが、バックドア基準の定義は

定義:因果ダイアグラムをDAGであらわした場合に、あるグラフGにおいて、XからYへの有向道があるとき、ある要因(頂点)の集合Sが (1)XからSのいかなる要素にも有向道がなく、(2)Gにおいて、Xから出るすべての矢線を取り除いたときに、SがXとYを有向分離するとき、Sは(X,Y)についてバックドア基準を満たす。

というものである。ここに出てくる有向分離というのが難しい概念なのだが、これを理解することで、投薬(C)から治癒率(E)への効果を考えるうえで、たとえば性別や血圧のような共変量(F)を考慮に入れるべきか(層別化すべきか)どうかが非常に簡単にわかるようになることが示されている。図1(a)(これが Lindley と Novick が示した問い)のように、CとEが共通の要因を持っている場合は層別化するべきだし、CとEが共通の要因を持たない図1(b)のような場合は層別化することは不適切であり、併合された分割表を利用する、いうように「正しい意思決定」を行えるようになる。

このように、シンプソンのパラドックスとは、本来的に言えばパラドックスではない。その原因は、ひと言でいえば、各層での標本数が大きく異なることに起因することが多い。しかし、われわれは、いったん割合で示された分割表をみると、そこに因果関係を見いだし(投薬は有害だった)、それが逆転すると(投薬は有益だった)違和感を覚えるのである。本論文で紹介されているように、これらの問題は、DAGという形で各要因間の関係を整理してしまえば、ある共変量を考慮に入れるべきかどうか、一見矛盾した結論のうち有用なのはどちらか、ということを理解しやすくなる、という意味で、筆者は Pearl 流の整理の仕方を推奨するものである。

引用文献

Pearl,J. (2009) Causality: Models, Reasoning, and Inference (2nd ed.), New York: Cambridge University Press

Pearl,J. (2014) Comment: Understanding Simpson’s Paradox, The American Statistician, 68:1, 8-13

Lindley, D., and Novick, M. (1981) “The Role of Exchangeability in Inference” The Annals of Statistics, 9, 45-58.

大東 健太郎 (生態系計測研究領域)

前の記事 ページの先頭へ 次の記事