정확한 '효과 측정', 어떻게 하면 좋을까? - Causal Impact 데이터 분석을 하면서 이런 생각이나 궁금증을 가져본 적이 있으실 것 같아요. “지표가 의미 있게 좋아졌는데 이게 정말 이번 제품 개선의 효과라고 볼 수 있을까?” “분명 기대가 큰 프로젝트였는데 왜 지표 변화는 없다고 나올까?” “이번에 배포하면서 광고도 같이 집행했는데 성과 분석을 어떻게 하면 좋을까?” 사전에 A/B Test를 통해 제품 개선이나 다른 변경사항에 대한 효과를 확인해보는 것이 가장 좋겠지만, 회사마다 또는 여러 가지 상황에 따라 그렇지 못한 경우도 많습니다. 결국 변화에 대한 효과를 사후에 측정할 수밖에 없는 경우가 발생하는데, 이때 변경 전과 후에 달라지는 부분이 반드시 ‘내가 관심 있는 그것’ 한 가지뿐인 경우는 사실 드뭅니다. 그렇기 때문에 여러 가지 어려움이 생기기도 하는데요, 내가 측정하고자 하는 성과 지표가 다른 변화의 영향을 받을 수도 있고, 내가 미처 인지 못했던, 예를 들어 마케팅팀의 광고의 영향을 받을 수도 있습니다. 아니면, 큰 변화 없이도 해당 지표가 상승하는 추세였기 때문에 지표가 좋아진 것일 수도 있습니다. 그래서 "내 관심사가 아닌 다른 ‘개입들’의 효과를 최대한 배제하고, 우리 서비스의 성장 추세까지 고려해서 좀 더 정확하게 효과 측정을 할 수는 없을까?" 이런 고민들을 데이터 분석가들을 할 수밖에 없습니다. 2015년 구글에서는 이런 고민을 어느 정도 해소해 줄 수 있는 방법론을 하나 발표합니다. ‘Inferring causal impact using Bayesian structural time-series models(베이지안 구조적 시계열 모형을 사용한 인과적 효과 유추)’라는 건데요, 여기에 등장하는 'Causal Impact' 의 개념과 활용 방법에 대해 한 번 정리해 보았습니다. 아래 링크로 가시면 좀 더 자세한 내용을 보실 수 있어요~ https://hweejin.tistory.com/entry/Causal-Impact-%EC%A2%80-%EB%8D%94-%EC%A0%95%ED%99%95%ED%95%9C-%ED%9A%A8%EA%B3%BC-%EC%B8%A1%EC%A0%95%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%A9%EB%B2%95%EB%A1%A0
로그인 후 모든 글을 볼 수 있습니다.