기본 콘텐츠로 건너뛰기

선형 회귀 분석 (4)



 잔차 분석은 선형 회귀 분석에서 가장 어려운 부분 가운데 하나입니다. 여기서는 상세한 통계학적 설명은 하지 않지만, 잔차 분석은 오차항의 등분산 가정, 독립성 가정, 정규성 가정을 추정하는 것으로 선형 회귀 분석이 올바른지 확인할 수 있는 중요한 과정입니다. 잔차 분석에 대한 이론적 기초는 통계 관련 공부를 통해서 어느 정도 알아야 아래 내용을 읽는 의미가 있을 것입니다. 


 이미 학교에서 수업을 들었다면 상관없지만 만약 그렇지 않다하더라도 최근에는 책도 잘 나와있고 유튜브 강좌도 찾아보면 꽤 있어 아마도 그렇게 공부하기가 어렵지 않을 것입니다. 단지 시간은 좀 걸리겠지만 말이죠. 아무튼 앞서 예제를 다시 이용해서 잔차를 구해보겠습니다. 


 R에서 잔차를 구하는 기본 명령어는 resid () 입니다. 하지만 통계학의 다른 분야에서도 그렇듯이 잔차 역시 표준화시켜 더 쉽게 비교하고 분석할 수 있습니다. 표준화잔차는 rstandard를 이용해서 구할 수 있습니다. 일반적으로 분석에서 사용되는 잔차는 표준화잔차이지만, 사실 이것도 두 가지로 구분할 수 있습니다. 내표준화잔차와 외표준화잔차가 그것으로 t 분포를 따르는 스튜던트화 잔차가 외표준화잔차입니다. rstudent를 이용해서 구할 수 있지만, 보통 잘 사용하지는 않는다고 보면 되겠습니다. 


> resid(model)
          1           2           3           4           5           6           7           8           9          10          11          12          13          14          15 
-4.99523168 -5.41017316  0.59223001  1.43790043  5.91801097  7.17862820  1.07824279 -0.07281897 -2.89655990  6.40431170  6.48300547  4.89862513 -2.90113554  0.78259057 -0.18819380 
         16          17          18          19          20          21          22          23          24          25          26          27          28          29          30 
 0.72349344 -0.24052964  3.76472643 -9.48381750 -7.51090879 -0.01610210 -2.04868283 -1.36494583  2.53891342  7.43506988  4.40222275 -0.91758512  0.26194462 -0.88387647 -2.98201598 
         31          32          33          34          35          36          37          38          39          40          41          42          43          44          45 
 7.96162645 -1.68071249 -3.55918670  4.75756275  2.95477475 -6.81946007 -6.29919979 -1.41379266 -0.83797353 -0.13238184 -4.12124116  0.24750870  2.07943483 -6.53182107  1.92509002 
         46          47          48          49          50 
 1.35984666  0.75503846 -4.20291743  5.51540124 -3.94493560 
> rstandard(model)
           1            2            3            4            5            6            7            8            9           10           11           12           13           14 
-1.200744111 -1.299874249  0.145939371  0.360618505  1.426603488  1.733826453  0.257270312 -0.017373316 -0.691101404  1.531670216  1.546562088  1.173236231 -0.693041927  0.187358702 
          15           16           17           18           19           20           21           22           23           24           25           26           27           28 
-0.046134787  0.172862797 -0.057381990  0.900608722 -2.266857723 -2.027229762 -0.003858953 -0.488731703 -0.325614642  0.612488552  1.775036540  1.064273892 -0.222034166  0.062760282 
          29           30           31           32           33           34           35           36           37           38           39           40           41           42 
-0.211392269 -0.713588699  1.963470257 -0.400944229 -0.849802873  1.134973047  0.718202607 -1.637968405 -1.566072670 -0.340857909 -0.199969362 -0.031580353 -1.034158736  0.059344006 
          43           44           45           46           47           48           49           50 
 0.497129263 -1.558811491  0.461037996  0.325549388  0.181151554 -1.011241702  1.315811384 -0.941106125 
> rstudent(model)
           1            2            3            4            5            6            7            8            9           10           11           12           13           14 
-1.206427533 -1.309517618  0.144443217  0.357326670  1.442578686  1.772058259  0.254752010 -0.017191446 -0.687292521  1.554085269  1.569983474  1.177963627 -0.689241827  0.185464606 
          15           16           17           18           19           20           21           22           23           24           25           26           27           28 
-0.045652699  0.171105934 -0.056783063  0.898804281 -2.373778753 -2.097816188 -0.003818544 -0.484821747 -0.322561413  0.608457234  1.817099283  1.065779279 -0.219822052  0.062105637 
          29           30           31           32           33           34           35           36           37           38           39           40           41           42 
-0.209276114 -0.709891850  2.025972542 -0.397411786 -0.847302198  1.138468470  0.714531554 -1.668105784 -1.590849024 -0.337697565 -0.197957859 -0.031249985 -1.034924029  0.058724740 
          43           44           45           46           47           48           49           50 
 0.493194872 -1.583078697  0.457223714  0.322496628  0.179315933 -1.011485023  1.326170000 -0.939963671 


 R에서 그대로 표를 가져오면 잘 보이지 않을 수도 있는데, 각 관측값의 잔차와 이를 표준화한 잔차를 보여주고 있습니다. 



(클릭하면 원본) 


 그런데 사실 이것만보면 이게 회귀모형이 적합한 것인지 아닌지 전혀 판단할 수 없습니다. 따라서 잔차 분석을 위해 기본적인 그림을 그려 파악하게 되는데, R에서는 편리하게도 plot에 회귀모형을 넣기만 해도 알아서 그려줍니다. 기본적으로 나오는 네 개의 그림을 동시에 파악하기 위해 한 화면에 네 개의 잔차도를 그려달라고 하는 것이 기본입니다. 



par(mfrow=c(2,2))
plot(model)





 그림이 작으면 클릭해서 키워 보시면 됩니다. 물론 R에서 그냥 그림 그려서 봐도 좋구요. 여기서는 하나씩 설명을 위해서 확대해 보겠습니다. 참고로 par(mfrow=c(1,1)) 를 이용해서 하나씩 잔차도를 볼 수 있습니다. 처음에 이런 그림이 나오면 당황활 수 있는데, 하다보면 눈에 들어올 것입니다. 





  첫 번째 그림은 잔차(residuals)와 모델에서 예측된 Y값(fitted value, Yhat)의 분포입니다. 우리가 최소제곱법에서 예측할 때 가능하면 잔차의 크기가 작을 뿐 아니라 분포가 한 곳에 몰리지 않고 일정해야 모델이 좋은 것이라고 할 수 있습니다. 따라서 관측값들이 가능하면 골고루 분포해야 하며 그 평균인 붉은 색 실선이 평행해야 하는데, 이 정도면 어느 정도 통과하는 것 같다고 평가할 수 있지만 완벽하지는 않습니다.


 왜냐하면 모델의 예측에서 많이 벗어난 몇 개의 관측치 때문에 약간 모델이 불안정하다고 볼 수 있기 때문이죠. 이 그림에서는 19번, 20번, 31번 관측치가 많이 벗어난 것으로 보입니다. 특히 20번 때문에 붉은 실선이 중앙에서 크게 벗어나 보입니다. 이렇게 잔차도에서 다소 이상한 범위에 속하는 값은 R에서 자동으로 알아서 표시를 해줍니다. 





 두 번째는 normal Q-Q 플롯으로 흔히 Q-Q 플롯으로 불리는 것입니다. 이는 정규분포에 따르는 Quantile과 표본의 Quantile의 비교를 보여주는 것으로 가능한 직선으로 일치해야 모델이 적합한 것입니다. 다행히 이 그림에서는 19/20/31번 관측치도 직선상에 놓여 있습니다. X축은 이론적 Q이고 Y축이 표준화 잔차의 Q라서 QQ 플롯입니다. 




 세 번째는 표준화 잔차의 루트를 씌운 값과 회귀식에서 예측값(적합값)의 분포를 보여줍니다.  가능하면 값들이 한 곳에 몰리지 않고 골고루 분포할 뿐 아니라 잔차의 값이 작을수록 회귀 모형이 좋은 것입니다. 여기서 가장 큰 값이 19/20/31이라는 점은 다시 확인할 수 있습니다. 




 마지막 그림은 지렛값이라고 하는 레버리지 (Leverage) 값을 보여주는 그림입니다. 지렛값은 시소를 타고 있는 사람을 생각해 보면 이해가 쉽습니다. 만약 여러 사람이 탄 시소에서 중앙에서 가장 먼 거리에 누군가 앉게되면 같은 무게라도 시소 기울기에 큰 영향을 주게 됩니다. 지렛값은 이렇게 하나의 관측치인데 예측 모형에서 많이 벗어나 있어 전체 모형의 회귀계수에 큰 영향을 주는 값을 의미합니다. 여기에서는 20번 관측치가 가장 크게 벗어난 것으로 보입니다. 


 지렛값의 크기를 구하는 가장 중요한 방법으로 쿡의 거리 (Cook's distance)가 있습니다. 관측값들이 회귀 모형에 적합해서 큰 영향을 주지 않으면 쿡의 거리는 작은 반면 적합하지 않아서 많이 영향을 주면 쿡의 거리가 길어집니다. 여기서는 관측치 20이 가장 먼 거리에 있으며 0.5 이상으로 나옵니다. 쿡의 거리가 1 이상이면 매우 큰 것이고 0.5도 무시할 수 없는 수준입니다. 


 이 값을 찾아보면 349.0210이라고 나옵니다. 이 값을 직접 눈으로 보고 찾을 수도 있지만, 데이터가 커지면 찾기 힘들기 때문에 그냥 '데이터 이름[]' 으로 구하면 됩니다. 여기서는 y[20]이 되겠죠. 


> y[20]
[1] 349.021


 이 관측치를 제거해야 하는지를 고민하기에 앞서 영향력 관측치에 대해서 이야기 해보겠습니다. 

댓글

이 블로그의 인기 게시물

통계 공부는 어떻게 하는 것이 좋을까?

 사실 저도 통계 전문가가 아니기 때문에 이런 주제로 글을 쓰기가 다소 애매하지만, 그래도 누군가에게 도움이 될 수 있다고 생각해서 글을 올려봅니다. 통계학, 특히 수학적인 의미에서의 통계학을 공부하게 되는 계기는 사람마다 다르긴 하겠지만, 아마도 비교적 흔하고 난감한 경우는 논문을 써야 하는 경우일 것입니다. 오늘날의 학문적 연구는 집단간 혹은 방법간의 차이가 있다는 것을 객관적으로 보여줘야 하는데, 그려면 불가피하게 통계적인 방법을 쓸 수 밖에 없게 됩니다. 이런 이유로 분야와 주제에 따라서는 아닌 경우도 있겠지만, 상당수 논문에서는 통계학이 들어가게 됩니다.   문제는 데이터를 처리하고 분석하는 방법을 익히는 데도 상당한 시간과 노력이 필요하다는 점입니다. 물론 대부분의 학과에서 통계 수업이 들어가기는 하지만, 그것만으로는 충분하지 않은 경우가 많습니다. 대학 학부 과정에서는 대부분 논문 제출이 필요없거나 필요하다고 해도 그렇게 높은 수준을 요구하지 않지만, 대학원 이상 과정에서는 SCI/SCIE 급 논문이 필요하게 되어 처음 논문을 작성하는 입장에서는 상당히 부담되는 상황에 놓이게 됩니다.  그리고 이후 논문을 계속해서 쓰게 될 경우 통계 문제는 항상 나를 따라다니면서 괴롭히게 될 것입니다.  사정이 이렇다보니 간혹 통계 공부를 어떻게 하는 것이 좋겠냐는 질문이 들어옵니다. 사실 저는 통계 전문가라고 하기에는 실력은 모자라지만, 대신 앞서서 삽질을 한 경험이 있기 때문에 몇 가지 조언을 해줄 수 있을 것 같습니다.  1. 입문자를 위한 책을 추천해달라  사실 예습을 위해서 미리 공부하는 것은 추천하지 않습니다. 기본적인 통계는 학과별로 다르지 않더라도 주로 쓰는 분석방법은 분야별로 상당한 차이가 있을 수 있어 결국은 자신이 주로 하는 부분을 잘 해야 하기 때문입니다. 그러기 위해서는 학과 커리큘럼에 들어있는 통계 수업을 듣는 것이 더 유리합니다. 잘 쓰지도 않을 방법을 열심히 공부하는 것은 아무래도 효율

R 스튜디오 설치 및 업데이트

 R을 설치한 후 기본으로 제공되는 R 콘솔창에서 코드를 입력해 작업을 수행할 수도 있지만, 보통은 그렇게 하기 보다는 가장 널리 사용되는 R 개발환경인 R 스튜디오가 널리 사용됩니다. 오픈 소스 무료 버전의 R 스튜디오는 누구나 설치가 가능하며 편리한 작업 환경을 제공하기 때문에 R을 위한 IDE에서 가장 널리 사용되어 있습니다. 아래 링크에서 다운로드 받습니다.    https://www.rstudio.com/  다운로드 R 이나 혹은 Powerful IDE for R로 들어가 일반 사용자 버전을 받습니다. 오픈 소스 버전과 상업용 버전, 그리고 데스크탑 버전과 서버 버전이 있는데, 일반적으로는 오픈 소스 버전에 데스크탑 버전을 다운로드 받습니다. 상업 버전의 경우 데스크탑 버전의 경우 년간 995달러, 서버 버전은 9995달러를 받고 여러 가지 기술 지원 및 자문을 해주는 기능이 있습니다.   데스크탑 버전을 설치하는 과정은 매우 쉽기 때문에 별도의 설명이 필요하지 않을 것 같습니다. 인스톨은 윈도우, 맥, 리눅스 (우분투/페도라)에 따라 설치 파일이 나뉘지만 설치가 어렵지는 않을 것입니다. 한 가지 주의할 점이라면 R은 사전에 반드시 따로 설치해야 한다는 점입니다. R 스튜디오만 단독 설치하면 아무것도 할 수 없습니다. 뭐 당연한 이야기죠.   설치된 R 스튜디오는 자동으로 업데이틀 체크하지 않습니다. 따라서 업데이트를 위해서는 R 스튜디오에서 Help 로 들어가 업데이트를 확인해야 합니다.     만약 업데이트 할 내용이 없다면 최신 버전이라고 알려줄 것이고 업데이트가 있다면 업데이트를 진행할 수 있도록 도와주게 됩니다. R의 업데이트와 R 스튜디오의 업데이트는 모두 개별적이며 앞서 설명했듯이 R 업데이트는 사실 기존 버전과 병행해서 새로운 버전을 새롭게 설치하는 것입니다. R 스튜디오는 실제로 업데이트가 이뤄지기 때문에 구버전을 지워줄 필요는

R 패키지 설치 및 업데이트 오류 (1)

 R 패키지를 설치하거나 업데이트 하다보면 여러 가지 문제가 생기는 경우들이 있습니다. 이 경우 아예 R을 재설치하는 것도 방법이지만, 어떤 경우에는 이렇게해도 해결이 안되고 계속해서 사용자는 괴롭히는 경우도 있습니다. 이런 경우 중 하나를 소개합니다.  새로운 패키지를 설치, 혹은 업데이트 하는 과정에서 같이 설치하는 패키지 중 하나가 설치가 되지 않는다는 메세지가 계속 나왔는데, 사실은 백신 프로그램 때문이었던 경우입니다.   dplyr 패키지를 업데이트 하려고 했는데, 제대로 되지 않아 다시 설치를 진행했습니다. 그런데 일부 패키지가 제대로 설치되지 않는다는 메세지가 나왔습니다.  > install.packages("dplyr") Error in install.packages : Updating loaded packages > install.packages("dplyr") Installing package into ‘C:/Users/jjy05_000/Documents/R/win-library/3.4’ (as ‘lib’ is unspecified) also installing the dependencies ‘bindr’, ‘bindrcpp’, ‘Rcpp’, ‘rlang’, ‘plogr’ trying URL ' https://cran.rstudio.com/bin/windows/contrib/3.4/bindr_0.1.1.zip ' Content type 'application/zip' length 15285 bytes (14 KB) downloaded 14 KB trying URL ' https://cran.rstudio.com/bin/windows/contrib/3.4/bindrcpp_0.2.2.zip ' Content type 'application/zip' length 620344 b