因果推论新思维反事实分析架构幻灯片.ppt

《因果推论新思维反事实分析架构幻灯片.ppt》由会员分享，可在线阅读，更多相关《因果推论新思维反事实分析架构幻灯片.ppt（102页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1页，共102页，编辑于2022年，星期五06.09.061參考Judea Pearl（professor of Computer Science and Statistics and director of the Cognitive Systems Laboratory,UCLA）http:/singapore.cs.ucla.edu/LECTURE/lecture_sec1.htm第2页，共102页，编辑于2022年，星期五06.09.061從亞當與夏娃說起：亞當與夏娃吃過智慧樹的果子後，他們已經是因果解釋的專家。當上帝問亞當你是否吃了智慧樹的果子時（詢問事實），亞當的回答是：祢給我的

2、那個女人，從樹上拿了果子讓我吃了（不只是說明事實，還做了解釋）；上帝問夏娃，夏娃回答是：我是吃了，可是是蛇誘惑和欺騙了我。第3页，共102页，编辑于2022年，星期五06.09.061聖經故事的意涵：因果解釋是一個man-made concept。因果解釋是拿來歸咎責任的。只有神（為了某些目的）、人與動物（有自有意志）可以讓事情發生，而不是東西（objects）或物理的過程（physical processes）。第4页，共102页，编辑于2022年，星期五06.09.061但當工程師開始建造有許多滑輪及繩纜的 system來幫人做事後，physical objects開始有了因果的特性。當系

3、統無法運作時，歸咎於神或人並沒有用，比較有效的解釋是滑輪或繩纜壞了，只要加以替換後，系統就可再運作。至此，causes之概念有雙重意義：the targets of credit and blame the carriers of physical flow of control on the other 第5页，共102页，编辑于2022年，星期五06.09.061至文藝復興時，當上帝做為final cause逐漸被人的科學知識所取代時，這雙重意義遇到困難與挑戰。Galileo在1638年出版 Discorsi（兩門新科學的對話）這本書後，有了革命性的轉變。此書有兩項重要的格言（maxims

4、）：第6页，共102页，编辑于2022年，星期五06.09.0611.先描述，後解釋（Description first,explanation second）:The how precedes the why.Ask not,said Galileo,whether an object falls because it is pulled from below or pushed from above.Ask how well you can predict the time it takes for the object to travel a certain distance,and h

5、ow that time will vary from object to object,and as the angle of the track changes.2.以數學（方程式）來描述，而不是語言：如d=t2。第7页，共102页，编辑于2022年，星期五06.09.061從此，物理學充滿了有用但未被解釋的經驗法則，如Snell law,Hookes law,Ohms law,Joules law。另一項比預測實驗結果更重要的是代數方程式的運用，因為工程師除了可以問“how to”外，還可以問“what if”。第8页，共102页，编辑于2022年，星期五06.09.061至啟蒙時代，D

6、avid Hume 將 Galileo的第一項格言發揮至極致，他認為 the WHY is not merely second to the HOW,but that the WHY is totally superfluous as it is subsumed by the HOW。On page 156 of Treatise of Human Nature:Thus we remember to have seen that species of object we call FLAME,and to have felt that species of sensation we cal

7、l HEAT.We likewise call to mind their constant conjunction in all past instances.Without any farther ceremony,we call the one CAUSE and the other EFFECT,and infer the existence of the one from that of the other.第9页，共102页，编辑于2022年，星期五06.09.061從實證主義的角度來看，Hume是在說“A caused B”與“Whenever A occurs,then B d

8、oes”相同。但是我們都知道雞啼是伴隨著朝陽，但雞啼並不是讓太陽出來的原因。大難題1：如果如Hume所說，我們的知識是來自於經驗，而經驗是以相關的形式存於我們的心靈中，那我們如何得到因果方面的知識？If regularity of succession is not sufficient;what WOULD be sufficient?第10页，共102页，编辑于2022年，星期五06.09.061大難題2：我們知道某些關連有或沒有因果間的關係，有何差別嗎？知道因果又有何用？當然知道因果關係，就可以做某些事。如果雞啼是造成太陽升起的原因，那我們要縮短夜晚的話，就可以讓雞早些啼。If caus

9、al information has an empirical meaning beyond regularity of succession,then that information should show up in the laws of physics.But it does not!第11页，共102页，编辑于2022年，星期五06.09.061Russell（1913）認為“All philosophers imagine that causation is one of the fundamental axioms of science,yet oddly enough,in

10、advanced sciences,the word cause never occurs.The law of causality,I believe,is a relic of bygone age,surviving,like the monarchy,only because it is erroneously supposed to do no harm.”“It could not possibly be an abbreviation,because the laws of physics are all symmetrical,going both ways,while cau

11、sal relations are uni-directional,going from cause to effect.”第12页，共102页，编辑于2022年，星期五06.09.061但另一位科學哲學家Patrick Suppes 則指出“There is scarcely an issue of Physical Review that does not contain at least one article using either cause or causality in its title.”物理學家一方面寫無因果意涵的方程式，但另一方面卻大談因果關係。統計學一百多年前發現相關

12、（correlation）的概念後，卻無法忽略相關與因果間的區辨。第13页，共102页，编辑于2022年，星期五06.09.061Francis Galton於1888年進行個人的前臂與其頭大小關係的測量，企圖瞭解一個數值預測另一個數值的程度時，發現到：If you plot one quantity against the other and scale the two axes properly,then the slope of the best-fit line has some nice mathematical properties:The slope is 1 only when

13、 one quantity can predict the other precisely;it is zero whenever the prediction is no better than a random guess and,most remarkably,the slope is the same no matter if you plot X against Y or Y against X.我們開始可以根據資料客觀的測量兩個變項間的關係，而不是根據我們的意見或判斷。第14页，共102页，编辑于2022年，星期五06.09.061Galton的發現震撼了其學生Karl Pears

14、on（公認是現代統計學之父），使他終其一生認為我們只需要相關這個更廣泛的概念，而不需要另一個獨立的因果關係的概念。他也從不在其論文內提到因果的概念。這一直要到Sir Ronald Fisher 建立 randomized experiment 的研究設計後，才成為唯一被主流統計學所接受，並認為這是唯一可從資料驗證因果間關係的科學方法。但這種謹慎的看法使得無法做實驗，而需靠統計分析為引導的社會科學處於近乎癱瘓的狀態。第15页，共102页，编辑于2022年，星期五06.09.061Pearl 認為這樣的困境是源自統計學的官方語言：機率的語言。因為 cause 並不是機率的字彙。我們無法以機率的語言

15、表達：Mud does not cause rain。我們只能說兩者相關。Naturally,if we lack a language to express a certain concept explicitly,we cant expect to develop scientific activity around that concept.Scientific development requires that knowledge be transferred reliably from one study to another and,as Galileo has shown 350

16、 years ago,such transference requires the precision and computational benefits of a formal language.第16页，共102页，编辑于2022年，星期五06.09.061當研究者開始企圖使用電腦來建立因果關係時，對於先前兩大難題有了新的想法。從概念層次來說，機器人所遇到的問題是與經濟學家企圖建立稅收及預算模式，或流行病學家企圖建立流行病的模式是一樣的。不論是機器人、經濟學家或流行病學家都需要在行動受限制的條件下，依據充滿雜音的資訊，從環境中找出因果的關係。這就是先前的第一個大難題:HOW?第17页，共

17、102页，编辑于2022年，星期五06.09.061機器人的世界也與第二大難題有關。如果我們教導機器人關於因果的知識，機器人要如何組織及運用這些知識呢？對機器人而言，這兩大難題是具體而實際的問題，就是如何從與環境的互動中得到因果的知識，以及如何運用從創造者/程式設計師得到的因果知識？第18页，共102页，编辑于2022年，星期五06.09.061J.Pearl 的答案：第二個難題可以結合graphs與equations的方式解決，如此則第一個難題也比較容易解決。解題的主要關鍵概念是：(1)treating causation as a summary of behavior under int

18、erventions.(2)using equations and graphs as a mathematical language within which causal thoughts can be represented and manipulated.(3)Treating interventions as a surgery over equations.第19页，共102页，编辑于2022年，星期五06.09.061社會科學家過去75年來不時使用graphs，如structural equations modeling 及 path diagrams。但是由於代數方程式的便利性

19、，因而壓抑了圖型的使用，也進而失去了圖型帶來的好處。這些diagrams事實上捕捉了因果的本質預測不正常情況或是新的操弄狀態下，會產生什麼結果。這種預測是代數或相關分析無法做到的。第20页，共102页，编辑于2022年，星期五06.09.061第21页，共102页，编辑于2022年，星期五06.09.061從這樣的角度來看因果關係，可以理解為何科學家如此熱衷於因果解釋，因為建立因果模式會得到一種“deep understanding”及“being in control”的感覺。Deep understanding的意思是“knowing,not merely how things behav

20、ed yesterday,but also how things will behave under new hypothetical circumstances,control being one such circumstance”.第22页，共102页，编辑于2022年，星期五06.09.061即使我們無法實際上控制事情，我們也因理解因果關係而得到“in control”的感覺。例如，我們無法控制星體的運轉，但萬有引力的理論，讓我們能夠理解並獲得假設性控制（hypothetical control）的感覺。我們也可以預測當萬有引力改變時，對潮汐會產生什麼影響。因果模式也是做為區辨有意識的

21、論證（deliberate reasoning）及被動或本能的反應（reactive or instinctive response）的試金石。前者可在即使不真正去從事新的操弄（manipulation）下，也可以預期新的操弄可以得到什麼結果。第23页，共102页，编辑于2022年，星期五06.09.061Equations vs.Diagrams(J.Pearl)第24页，共102页，编辑于2022年，星期五06.09.061Definition of Causation:Y is a cause of Z if we can change Z by manipulating Y,namel

22、y,if after surgically removing the equation for Y,the solution for Z will depend on the new value we substitute for Y.THE DIAGRAM TELLS US WHICH EQUATION IS TO BE DELETED WHEN WE MANIPULATE Y.INTERVENTION AMOUNTS TO A SURGERY ON EQUATIONS,GUIDED BY A DIAGRAM,AND CAUSATION MEANS PREDICTING THE CONSEQ

23、UENCES OF SUCH A SURGERY.第25页，共102页，编辑于2022年，星期五06.09.061INTERVENTION AS SURGERY-CONTROLLED EXPERIMENTS 假定我們要研究某種藥物是否能幫助病人從某些假定我們要研究某種藥物是否能幫助病人從某些疾病復原。但影響復原的因素不只是藥物治療，疾病復原。但影響復原的因素不只是藥物治療，還有其他的因素，如社經地位、年齡、生活方式等。還有其他的因素，如社經地位、年齡、生活方式等。這對我們判斷藥物的效果來這對我們判斷藥物的效果來說說是個問題，因為我是個問題，因為我們不知道影響復原的程度是那個因素造成的。因們不知

24、道影響復原的程度是那個因素造成的。因此，我們希望能此，我們希望能夠夠比較背景相同的病人，而這就比較背景相同的病人，而這就是是Fisher的的Randomized Experiment能能夠夠做到的。做到的。但隨機分派的實驗設計如何做到這種比較呢？但隨機分派的實驗設計如何做到這種比較呢？第26页，共102页，编辑于2022年，星期五06.09.061這種實驗設計實際上有兩個部份：Randomization and Intervention.Intervention 就是我們將藥物給一些在正常情況下不會需要這種治療的病人，另一方面我們給一些尋求治療的病人安慰劑（placebo）。這也是先前提及的S

25、URGERY 的概念，因為我們將一個functional link（如SES）切斷，而用另一種替代。Fisher的偉大貢獻是 connecting the new link to a random coin flip，以此保證我們想要切斷的 link 是確實被切斷了，因為我們可以假定這個 random coin 是不受任何我們可以測量到的因素所影響的。第27页，共102页，编辑于2022年，星期五06.09.061第28页，共102页，编辑于2022年，星期五06.09.061在新典範下，我們可以如何在無法從事實驗的情況下，利用observational studies（如調查或病歷）的資料思

26、考因果關係呢？第29页，共102页，编辑于2022年，星期五06.09.061兩類探索因果關係的研究問題兩類探索因果關係的研究問題第一類研究問題：第一類研究問題：X 對對 Y 的影響為何？研究目的的影響為何？研究目的是要知道：是要知道：X 對 Y 有影響嗎？有的話，影響有多大？這是實驗設計所問的研究問題第二類研究問題：影響第二類研究問題：影響 Y 的因素有哪些？研究目的因素有哪些？研究目的是要知道：的是要知道：所有可能解釋所有可能解釋 Y 的因素有哪些。的因素有哪些。第30页，共102页，编辑于2022年，星期五06.09.061參考Morgan,Stephen L.&Christopher

27、Winship(2007).Counterfactuals and Causal Inference:Methods and Principles for Social Research.New York,NY:Cambridge University Press.第31页，共102页，编辑于2022年，星期五06.09.061X Y (Had X taken a different value,then Y would have taken a different value)The causal relationship between X and Y is confounded if:Z

28、 X Y第32页，共102页，编辑于2022年，星期五06.09.061Z A X YZ A(unobserved)X Y第33页，共102页，编辑于2022年，星期五06.09.061X Y C(collider)Z A(unobserved)X Y 第34页，共102页，编辑于2022年，星期五06.09.061Statistical dependence may reflectRandom fluctuation(c.i.&p-value)X caused YY caused X(temporal order;longitudinal data)X and Y share a commo

29、n cause(covariate adjustment)Association between X and is induced by conditioning on a common effect of X and Y(selection bias;collider bias)第35页，共102页，编辑于2022年，星期五06.09.061當當X與與Y有有common causes時，如能認定時，如能認定X與與Y間的因果路徑，可以因有效的控制一組共間的因果路徑，可以因有效的控制一組共變項變項 Z，且，且 Z 內沒有受內沒有受X影響時，則我們可以影響時，則我們可以清楚的推估清楚的推估 the

30、 effect of X on Y。Pearls Back-door Criterion第36页，共102页，编辑于2022年，星期五06.09.061 V(unobserved)A F GU(unobserved)B D Y C第37页，共102页，编辑于2022年，星期五06.09.061If one or more back-door paths connects the causal variable to the outcome variable,Pearl shows that the causal effect is identified by conditioning on a

31、 set of variables Z if and only if all back-door paths between the causal variable and the outcome variable are blocked after conditioning on Z.第38页，共102页，编辑于2022年，星期五06.09.061A back-door path of D and Y is blocked by Z if and only if the back-door path satisfies any one of the following:contains a

32、chain of mediation A Z B,or contains a fork of mutual dependence A Z B;contains an inverted fork of mutual causation A C*B,where C*and all its descendants are not in Z.第39页，共102页，编辑于2022年，星期五06.09.061 V(unobserved)A F GU(unobserved)B D Y C第40页，共102页，编辑于2022年，星期五06.09.061從 Pearl 的 Back-door Criterion

33、 來看，並不是控制越多變項就好，因為要是控制了 colliders 反而會有問題，因為本來X與沒有相關或因果關係的，控制這類變項後，反而會產生相關。Example如果collider是申請入學時是否被一所菁英學校接受（adm:1-接受；0-拒絕）是否被接受是根據兩個獨立變項：SAT及面試時對動機的評估(Motivation)因此：adm 是的兩個 causes 是 SAT 及 Motivation，而 SAT 及 Motivation 間是獨立的。第41页，共102页，编辑于2022年，星期五06.09.061第42页，共102页，编辑于2022年，星期五06.09.061第43页，共102页

34、，编辑于2022年，星期五06.09.061第44页，共102页，编辑于2022年，星期五06.09.061 A F G B D Y C H第45页，共102页，编辑于2022年，星期五06.09.061如果如果D只有兩個值：只有兩個值：0及及1，我們可以用實驗設計，我們可以用實驗設計的方式，將兩組相同特性的人，隨機分配到控制的方式，將兩組相同特性的人，隨機分配到控制組（組（D0）及實驗組（）及實驗組（D1），即可達到前述），即可達到前述的狀態。的狀態。Why?如果無法用實驗設計，而是用調查方法蒐集資料如果無法用實驗設計，而是用調查方法蒐集資料時，如何推估呢？時，如何推估呢？條件性控制（條件性

35、控制（conditioning）或是配對）或是配對（matching）：）：by holding constant or by balancing/homogenizing the treatment&control groups.第46页，共102页，编辑于2022年，星期五06.09.061GroupPotential OutcomesY1Y0Treatment group(D=1)ObservableCounterfactualControl group(D=0)CounterfactualObservable反事實因果推論的想像反事實因果推論的想像第47页，共102页，编辑于2022年

36、，星期五06.09.061反事實分析架構的想像可看成是一種反事實分析架構的想像可看成是一種thought experiment。要想像的是同一個個體或群體在不同的狀態下，要想像的是同一個個體或群體在不同的狀態下，會有什麼可能的結果（會有什麼可能的結果（potential outcomes）。）。這些可能結果間的差異，即為不同狀態（因）的這些可能結果間的差異，即為不同狀態（因）的效果。效果。Counterfactuals should be reasonable!第48页，共102页，编辑于2022年，星期五06.09.061Q：什麼是unreasonable 的 counterfactuals

37、 呢？有什麼狀態不適合看成為 causes 的嗎？有什麼樣的結果不適合想像counterfactual情況的嗎？第49页，共102页，编辑于2022年，星期五06.09.061個人層次的真正因果效應：個人層次的真正因果效應：i=Yi1 Yi0The Fundamental Problem of Causal Inference：無法觀察同一個人同時在實驗組及無法觀察同一個人同時在實驗組及控制組。控制組。加上一些假定，如加上一些假定，如 SUTVA，則可推估群層次，則可推估群層次的因果效應。的因果效應。第50页，共102页，编辑于2022年，星期五06.09.061SUTVA：The Stabl

38、e Unit Treatment Value Assumption a priori assumption that the value of Y for unit u when exposed to treatment t will be the same no matter what mechanism is used to assign treatment t to unit u and no matter what treatments the other units receive.第51页，共102页，编辑于2022年，星期五06.09.061實驗設計是假設我們能夠將觀察到的實驗設

39、計是假設我們能夠將觀察到的替代替代無法觀無法觀察到的。察到的。如隨機分派到實驗組與控制組的個體的特性相同，如隨機分派到實驗組與控制組的個體的特性相同，則我們可以假定：則我們可以假定：如果實驗組的個人沒有接受如果實驗組的個人沒有接受treatment的話，其的話，其結果與控制組觀察到的相同；結果與控制組觀察到的相同；如果控制組的個人接受如果控制組的個人接受treatment的話，其結果的話，其結果與實驗組觀察到的相同。與實驗組觀察到的相同。第52页，共102页，编辑于2022年，星期五06.09.061當使用調查方法得到資料時，即當使用調查方法得到資料時，即observational data，

40、個人為何會接受或不接受，個人為何會接受或不接受treatment，往往不是一個隨機的現象。往往不是一個隨機的現象。Observational data通常有兩個問題：通常有兩個問題：接受接受treatment者與不接受者有者與不接受者有baseline differences，以及，以及heterogeneity of treatment effect.可能有些影響接受可能有些影響接受treatment與否的變項，並未與否的變項，並未觀察到，亦即觀察到，亦即omitted variables的問題。的問題。第53页，共102页，编辑于2022年，星期五06.09.061GroupPotenti

41、al OutcomesY1Y0Treatment group(D=1)Observable EY1|D=1 Counterfactual EY0|D=1 Control group(D=0)Counterfactual EY1|D=0 Observable EY0|D=0 第54页，共102页，编辑于2022年，星期五06.09.061以反事實架構的觀點來看，母群體層次的真正因果以反事實架構的觀點來看，母群體層次的真正因果效應（效應（ATE；Average Treatment Effect）為：）為：E=EY1 Y0 =EY1 EY0 =EY1|D=1+(1 )EY1|D=0 EY0|D=1+

42、(1 )EY0|D=0 =EY1|D=1 EY0|D=1 +(1 )EY1|D=0 EY0|D=0 =E|D=1+(1 )E|D=0第55页，共102页，编辑于2022年，星期五06.09.061：母群體中接受：母群體中接受 treatment 的比例的比例不同組的因果效應：不同組的因果效應：ATT（Average Treatment Effect on the Treated）:EY1|D=1 EY0|D=1，即，即 E|D=1 ATU（Average Treatment Effect on the Untreated）:EY1|D=0 EY0|D=0，即，即 E|D=0Q：我們可以假定不同

43、組的人有同樣的因果效應嗎？：我們可以假定不同組的人有同樣的因果效應嗎？如果我們能夠做此假定的話，則如果我們能夠做此假定的話，則 EY1|D=0=EY1|D=1 第56页，共102页，编辑于2022年，星期五06.09.061基準線的差異：基準線的差異：EY0|D=1 EY0|D=0Q：我們可以假定不同組的人在未接受：我們可以假定不同組的人在未接受 treatment 前前是一樣的嗎？是一樣的嗎？如果我們能夠做此假定的話，則如果我們能夠做此假定的話，則 EY0|D=1=EY0|D=0第57页，共102页，编辑于2022年，星期五06.09.061 如果我們只以觀察到接受如果我們只以觀察到接受 t

44、reatment 的組與觀察到未接的組與觀察到未接受受 treatment 的組之間的差異做為的組之間的差異做為 Causal Effect 的估計的估計時，此估計是一種時，此估計是一種 Nave Estimate：Nave Estimate EY1|D=1 EY0|D=0 =average causal effect =E()+baseline bias +E(Y0|D=1)E(Y0|D=0)+differential effect bias +E(|D=1)E(|D=0)(1)第58页，共102页，编辑于2022年，星期五06.09.061反事實分析架構的五個關鍵概念反事實分析架構的五個關

45、鍵概念：Potential/Hypothetical States&Outcomes:因果效應（causal effect）是利用“potential”或“hypothetical”的概念，而不是只用到 actual observations。.The ceteris paribus condition其他條件相同的條件下，也就是將其他因素控制成等同（equal）、固定不變（fixed）或是constant。第59页，共102页，编辑于2022年，星期五06.09.061Heterogeneity:個人對於treatment的反應是因人而異的。亦即因果效應在個人層次即被認定是有差異的。每個人的

46、因果效應是：potential outcome under the potential treatment state potential outcome under the potential control stateFundamental Problem of Causal Inference:由於 the counterfactual definition of causal effect 意涵著評估個人層次的因果效應會有 missing data 的問題。但是如果我們願意做一些假定的話，我們可以評估幾種 Average Causal Effects。第60页，共102页，编辑于202

47、2年，星期五06.09.061Basic Parameters of Interest:ATT:Average Treatment effect on the Treated ATU:Average Treatment effect on the UntreatedATE:Average Treatment Effect the most basic one is ATT,and there are other meaningful causal parameters of interest than these three.第61页，共102页，编辑于2022年，星期五06.09.061假設

48、控制影響假設控制影響treatment之共變項後，就能達成之共變項後，就能達成ignorability，這也稱為，這也稱為selection on observables）propensity score matching如果此假定不成立的話：如果此假定不成立的話：instrumental variableHeckman selection model利用長期追蹤資料的特性，使用如利用長期追蹤資料的特性，使用如 fixed effect model，change score model不同的分析方法，要做不同的假定不同的分析方法，要做不同的假定第62页，共102页，编辑于2022年，星期五06

49、.09.061關秉寅關秉寅政治大學社會學系政治大學社會學系2010.01.16Introduction to Propensity Score Matching第63页，共102页，编辑于2022年，星期五06.09.061一般多元一般多元OLS迴歸分析，是一種迴歸分析，是一種ATE的估計，其的估計，其作法假定其控制足夠的共變項後，可以消除基準作法假定其控制足夠的共變項後，可以消除基準線差異，並假定接受線差異，並假定接受 treatment 者的因果效應與者的因果效應與未接受者相同。未接受者相同。這些假定合理嗎？這些假定合理嗎？OLS迴歸分析通常無法克服自我選擇的問題。迴歸分析通常無法克服自我

50、選擇的問題。OLS 迴歸分析可能將接受迴歸分析可能將接受 treatment 及沒接受及沒接受 treatment 兩組中無法比較的人納入分析。如果兩組中無法比較的人納入分析。如果兩組人的特性（基準線）相當不同，則兩組人的特性（基準線）相當不同，則 OLS的推的推估會有大問題，因為其無法比較的部份是以估會有大問題，因為其無法比較的部份是以imputation 的方式來推估。的方式來推估。第64页，共102页，编辑于2022年，星期五06.09.061假設只有假設只有 omitted variables，且是可以用控制觀，且是可以用控制觀察到之變項來控制的話（即控制影響察到之變項來控制的話（即控