이 게시물은실제 사례를 통해 향상 모델링의 메커니즘에 대한 심층 분석.여기에서는 데이터 과학 팀의탈라기한이 지난 차용인이 대출금을 상환 할 수 있도록 업 리프트 모델링을 적용했습니다.Tala는 세계에서 가장 접근하기 쉬운 소비자 신용 상품을 제공하며, 스마트 폰 앱을 통해 공식적인 신용 기록이없는 사람들에게 대출을 즉시 인수하고 지불합니다.

소개

그 기계는 여러 가지 방법 중 학습은 비즈니스를위한 가치를 창출 할 수 있으며 개선 모델링은 덜 알려진 것 중 하나입니다.그러나 많은 사용 사례에서 가장 효과적인 모델링 기술 일 수 있습니다.비즈니스가 다른 고객을 위해 선택적으로 취할 수있는 비용이 많이 드는 조치가있는 모든 상황에서 고객의 행동에 영향을 미치기 위해 업 리프트 모델링은 해당 조치의 영향을 가장 많이받는 고객 하위 집합을 찾는 강력한 후보가되어야합니다.이는 비즈니스 전략에 대한 투자 수익을 극대화하는 데 중요합니다.

이 게시물에서는 Tala에서 업 리프트 모델링으로 다룬 비즈니스 문제, 업 리프트 모델의 기본 사항 및 모델 구축 방법, 업 리프트 모델의 예측을 설명 할 수있는 방법, 업 리프트 개념을 확장하여 직접 제공하는 방법에 대해 설명합니다.재정적 통찰력 및 생산에서 상승 모델의 성능을 모니터링하기위한 고려 사항.

Tala의 사용 사례 : 연체 대출자

차용인이 대출 만기일을 지나면 자신의 재정 건전성과 대출 한 사업의 건전성을 위험에 빠뜨립니다.기한이 지난 대출자에게 연락하여 대출금을 상환하도록 장려하는 Tala의 기본 수단 중 하나는 전화를 이용하는 것입니다.그러나 이것은 비용이 많이 드는 프로세스이며 전화 통화가 가져올 것으로 예상되는 수익 증가와 균형을 이루어야합니다. 차용인이 전화를 걸면 대금을 지불 할 가능성이 얼마나됩니까?

수학적으로 우리는 차용인에게 전화를함으로써 지불 가능성이 높아지는 것에 관심이 있습니다.이것은 차용인이 전화를 받았을 때와 전화를받지 않았을 때의 지불 확률의 차이로 정의됩니다.

업 리프트 모델링의 전제는 전화가 주어지면 상환 가능성이 가장 큰 차용자를 식별하는 데 도움이 될 수 있다는 것입니다.즉, 더 설득력있는 사람.이러한 차용자를 식별 할 수 있다면 차용자와 Tala의 재정 건전성을 극대화하기 위해 리소스의 우선 순위를보다 효과적으로 지정할 수 있습니다.

기회에 집중

이제 개선 모델링의 목표를 알았으니 어떻게 거기에 도달 할 수 있을까요?향상 모델링은 무작위로 통제 된 실험에 의존합니다. 우리는 전화를받은 치료 그룹과 전화를받지 않은 통제 그룹 모두에있는 모든 다른 종류의 대출자의 대표 표본이 필요합니다.

이 데이터 세트를 얻은 후, 우리는 지불을하는 차용자의 비율이 대조군보다 치료 그룹에서 훨씬 더 높음을 관찰했습니다.이것은 전화 통화가 모든 차용자에게 평균적으로 상환을 효과적으로 장려한다는 의미에서“효과적”이라는 증거를 제공했습니다.이것은평균 치료 효과(먹었다).ATE의 정량화는 A / B 테스트의 일반적인 결과입니다.

그러나 우리가 관찰 한 대부분의 ATE에 대해 치료 그룹 내의 차용인 중 일부만이 책임이있을 수 있습니다.극단적 인 예로, 치료 그룹의 차용인 중 절반이 전체 ATE를 담당했을 수 있습니다.우리가 치료에 더 쉽게 대응할 수있는이 차용자를 미리 식별 할 수있는 방법이 있다면, 우리는 그들에게 전화 자원을 집중할 수있을 것이며 전화 통화가 거의 또는 전혀없는 사람들에게 시간을 낭비하지 않을 것입니다.효과.비 응답자를 참여시킬 다른 방법을 찾아야 할 수도 있습니다.이 사람들이 가지고있는 다양한 특성에 따라 사람마다 다양한 치료 효과를 결정하는 과정은 우리가조건부 평균 치료 효과(CATE).여기에서 머신 러닝과 예측 모델링이 등장합니다.

향상 모델 구축 및 설명

기계 학습에서 우리는 다음을 통해 차용자 간의 차이점을 설명 할 수 있습니다.풍모, 차용자에게 특정한 다양한 수량입니다.차용인의 결제 내역, 과거 전화 통화 결과 및 Tala 앱과의 상호 작용과 관련된 기능을 설계했습니다.이 기능은 차용인의갚을 의지와 능력,뿐만 아니라Tala와의 관계 구축 및 유지.차용인은듣고 배우다그들과 똑같이 할 수있는 기회를 주겠습니까?

위에서 설명한 기능과 모델링 프레임 워크로 무장 한 우리는 업 리프트 모델을 구축 할 준비가되었습니다.우리는 S-Learner라는 접근 방식을 사용했습니다.이에 대한 자세한 내용은업 리프트 모델링에 대한 이전 블로그 게시물.S-Learner를 구축하고 테스트 한 후 목표 변수 인 uplift (치료를 받고 치료하지 않은 예측 확률의 차이)와 S-Learner를 교육하는 데 사용되는 동일한 기능을 사용하여 교육 세트에 대해 별도의 회귀 모델을 교육했습니다.(S-Learner 접근 방식의 기능으로 간주되는 처리 플래그 제외).이 회귀 모델의 테스트 세트 SHAP 값을 사용하여 어떤 모델 기능이 상승 예측에 가장 큰 영향을 미치는지에 대한 통찰력을 얻을 수있었습니다.

여기서는 기능 이름이 익명으로 처리되었지만 가장 예측 가능한 기능에 대한 해석은 지불 의사가 있고, 대출 경험이 있으며, 다시 빌리고 싶을 수 있고, 전화를 통해 연락을받는 차용인이전화를 통해 상환하도록 장려 할 가치가있는 차용인.

모델 사용 및 모니터링을위한 전략 설계

예측 된 확률 상승을 아는 것이 모델 기반 전략의 첫 번째 단계였습니다.그러나 우리는 누군가가 지불 할 가능성이 얼마나 더 높은지뿐만 아니라 전화 지원으로 인한 지불 금액의 증가 가능성에도 관심이 있습니다.이를 결정하기 위해 확률 증가를 차용자가 빚진 금액 및 지불 가능한 금액에 대한 정보와 결합했습니다.이것은 예측 된 확률 상승을수익 증가전화를 걸면 얼마나 가치가 있는지 차용인의 순위를 매길 수 있습니다.

예상 수익 상승에 대한 차용자의 순위를 매기는 기회는 예측 수익 상승의 여러 빈에 대한 처리 그룹과 통제 그룹 간의 평균 수익 차이로 실제 수익 상승을 계산하여 볼 수 있습니다.이러한 분석은 상세한 상향 십 분위수 차트의 아이디어와 유사합니다.여기.이를 위해 모델 테스트 세트를 사용했습니다.

결과에 따르면 예상 수익 증가는 전화 통화가 더 가치있는 계정을 효과적으로 식별합니다.이러한 방식으로 순위를 매긴 차용인 중 상위 10 % 만 호출하면 모든 차용자를 호출하여 사용할 수있는 증분 수익의 절반 이상을 얻을 수 있으며, 차용인 상위 절반을 호출하면 증분 수익의 90 %를 얻을 수 있습니다.실제로 녹색 선으로 표시된 차용자 당 전화 통신 서비스의 평균 비용을 고려할 때 차용자의 상위 50 % 만 전화를 걸 수있는 것이 분명합니다.

예상 수익 증가를 사용하여 전화 통신 지원을 안내 할 수있는 분명한 기회를 고려하여이 모델을 배포하여 전략을 안내했습니다.배포 후 모델 성능을 모니터링하기 위해 예측 된 전체 범위에서 전화 통화의 실제 증가를 조사 할 수있는 두 그룹을 만들었습니다.우리는 예상되는 상승률에 관계없이 무작위로 선택된 5 %의 대출자를 호출하고 다른 5 %를 호출하지 않음으로써이를 수행했습니다.이 테스트의 결과를 바탕으로 여기와 제 사이트에 표시된 것과 동일한 종류의 모델 평가 메트릭을 사용하여 모델이 프로덕션에서 의도 한대로 작동하고 있다는 결론을 내릴 수있었습니다.동반자 블로그 게시물.

결론적으로, 업 리프트 모델링을 통해 Tala는 이러한 노력을 가장 잘 수용 할 수있는 대출자에게 상환 노력을 집중하여 시간과 비용을 절약 할 수있었습니다.향상 모델링에 대한 Tala의 경험이 귀하의 작업에 도움이 되었기를 바랍니다.

원래 게시 된 위치https://tala.co2021 년 1 월 14 일.