[ML] Credit Scoring Model 성능평가를 위한 GINI, K-S

5 min readMay 3, 2020

ML 모델의 평가를 위한 지표에 대해 알아보았다.
Credit Scoring Model에서 가장 주요하게 쓰이는 지표는 GINI와 KS Statistic이다.
그 외에 Divergence, PSI가 있고, 이에 더해서 일반적인 평가 지표인 ROC-AUC도 알아보았다.

GINI, K-S, Divergence는 모델의 변별력을, PSI는 모델의 안정성을 평가하기 위해 사용한다.

http://www.siren24.com/mysiren/credit/sir_b0402_04.jsp

Gini Coefficient (지니계수)

신용평가모델 평가의 변별력 판별에 가장 보편적이고 주요한 지표.
지니계수는 로렌츠(Lorenz)곡선을 사용해 구한다. 지니계수의 값은 대각선과 로렌츠(Lorenz)곡선 사이의 면적(A)을 대각선 위 삼각형 전체(A+B)의 면적으로 나누어 얻은 값과 같다.

GINI = A / (A+B)

1에 가까울 수록 변별력이 크다고 볼 수 있으며, 0.6 이상이면 모형의 변별력이 뛰어난 것으로 판단할 수 있다.

AUC 지표와 관계가 있다. GINI = (2*AUC)–1 와 같다.

https://www.nicecredit.co.kr/nicecredit/web_nice/jsp/main/03credit/credit_05.jsp

Kolmogorov–Smirnov (KS) Statistic

K-S 통계량 역시 신용평가모델의 변별력 평가에 주요한 지표이다.
우량누적분포와 불량누적분포 차이의 최대값을 통해 변별력을 입증한다.
50 이상이면 우수한 모형으로 판단한다.

Divergence

불량고객 분포와 우량 고객 분포의 분리 정도를 보기 위한 지표.
각 고객군의 분산과 평균 차이를 표준화한 지표.

PSI(Population Stability Index)

모델의 안정성을 나타내는 지수. 특정 기준시점의 분포와 측정 당시의 현재 시점의 구성 분포의 차이를 나타내며 수치가 작을수록 안정적인 모델이다.

Contribution to index = (현재구성비 - 기준시점 구성비) × In(현재구성비/기준시점 구성비)

PSI : 구간별 Contribution to index의 합

ROC Curve(Receiver Operating Characteristic Curve)

recall-fallout의 변화를 시각화한 것.
fallout은 실제 False인데 모델이 True로 분류한 것이고, recall은 True를 True로 분류한 것이다.
recall이 크고 fallout이 작은, AUC(Area Under Curve)가 넓은 그래프가 유리하다.
그러니까 정답셋 중 맞게 예측한건 많고, 틀리게 예측한 건 적을 수록 면적이 넓다.
최대값 1중 최하의 성능 분류기는 0.5를 가지며, 풀고자 하는 문제에 따라 다르나 통상적으로 0.95 이상이면 좋은 분류기로 볼 수 있다.