Membuat model machine learning adalah makanan sehari-hari Data Scientist. Biasanya, mereka akan melihat metrik-metrik umum seperti AUC, F1, Precision, dan Recall — untuk meninjau performa hasil model mereka.
Masalah mulai muncul, ketika mereka harus meyakinkan tim bisnis bahwa model terbaru mereka lebih baik. Alih-alih tim bisnis mengerti, terkadang tim bisnis kesulitan memahami metrik-metrik umum yang diketahui Data Scientist — dan bagaimana relevansinya pada bisnis.
Studi Kasus
Untuk artikel kali ini, saya menggunakan dataset order buatan. Studi kasusnya adalah model machine learning klasifikasi order yang fraud dan bukan. Data buatan ini berjumlah 500 order dari tanggal 1 Jan – 7 jan 2022.
Pada dataset ini, diberikan nilai probability-of-fraud serta labelnya fraud (1) atau bukan fraud (0) — juga data aktual order apakah itu fraud atau bukan. Nilai flagging pada pred_is_fraud adalah berdasarkan dengan threshold >= 0.50 probability-of-fraud.
Data ini memiliki kolom dan penjelasan data sebagai berikut:
- order_date: tanggal pembuatan order
- order_id: ID order
- pred_prob_fraud: probability-of-fraud dengan range 0 (0%) hingga 1 (100%) dari hasil prediksi model
- is_fraud: apakah order tersebut fraud atau bukan, sesuai aktual
- pred_is_fraud: prediksi model apakah order tersebut fraud atau bukan
Lo bisa download data ini untuk latihan di sini.
Presentasi Hasil ala Bootcamp
Cara sederhana yang biasa dilakukan untuk menjelaskan pada audience bisnis atau tim non-data, adalah dengan menggunakan Confusion Matrix. Cara ini biasa lo temukan di bootcamp-bootcamp Data Science, serta menjadi salah satu metode best practice untuk pengukuran performa model klasifikasi.
Confusion Matrix adalah tabel dengan 4 kombinasi berbeda dari nilai prediksi dan nilai aktual. Dari sini, lo bisa mendapatkan nilai metrik performa model Accuracy, Precision, dan Recall. Berikut ini adalah Confusion Matrix dari 500 data order tanggal 1 Jan – 7 Jan 2022.
Kemudian, tim bisnis akan mencoba melihat definisi nilai metrik (namun biasanya mereka pada akhirnya akan fokus pada nilai akurasi):
- Accuracy: mennggambarkan seberapa akurat model dalam mengklasifikasikan dengan benar.
- Precision: menggambarkan akurasi antara data yang diminta dengan hasil prediksi yang diberikan oleh model.
- Recall: menggambarkan keberhasilan model dalam menemukan kembali sebuah informasi.
Presentasi Efektif untuk Audience Bisnis
Masalah pada metrik-metrik tersebut bagi tim bisnis atau non-data: seringkali itu tidak intuitif bagi mereka. Mereka tidak dapat membayangkan bagaimana model ini berpengaruh terhadap operasional bisnis.
Agar lebih efektif dan intuitif, lo dapat mencoba penyajian sebagai berikut.
1. Sajikan Data Dalam Periodik
Biasanya, tim bisnis memiliki target periodik — misalnya harian, tahunan, atau bulanan. Menyajikan data secara periodik, akan membantu mereka memperoleh intuisi terhadap data hasil pemodelanmu, dengan keadaan bisnis.
Berikut adalah hasil pemodelan yang saya sajikan dalam periode harian:
2. Hitung Tiga Metrik Penting untuk Bisnis
Ketika memulai proyek data seperti ini, dalam benak tim bisnis, biasanya mereka hanya perlu jawaban atas dua pertanyaan ini:
- Berapa besar dampak model ini terhadap pertumbuhan bisnis?
- Berapa besar penghematan/improvement pada bisnis akibat penggunaan model ini?
Maka dari itu untuk menjawab keduanya, dibutuhkan tiga metrik berikut untuk lo hitung:
- % Impact: jumlah order yang terprediksi fraud, dibagi seluruh total order periodik
- % Precision: jumlah order yang terprediksi fraud dan memang fraud, dibagi jumlah order yang terprediksi fraud.
- % Coverage: jumlah order yang terprediksi fraud dan memang fraud, dibagi jumlah order fraud periodik. (opsional)
3. Rangkumkan Hasil Dalam Satu Kalimat
Sehingga dari contoh ini, kita dapat membuat satu rangkuman performa bisnis agar tim lebih memahami.
Model ini akan memblokir/memprediksi fraud rata-rata 34 order harian (47.80% dari total order harian) — di mana 18 (53.14%) order adalah tepat order fraud, sehingga akan mengurangi 47.39% order fraud harian.
Fokus pada kata-kata yang tebal (bold). Dengan format seperti ini, tim bisnis dapat memiliki intuisi:
- Berapa besar dampak model ini terhadap pertumbuhan bisnis?
A: 47.80% order harian akan terdampak. Order harian akan berkurang 34 order. - Berapa besar penghematan/improvement pada bisnis yang dapat dihasilkan?
A: 47.39% fraud order harian akan lenyap, dan menjadi potensi penghematan akibat kerugian fraud.
Diskusi Bisnis
Menurut lo: apakah tim bisnis akan menyetujui penggunaan model ini?
Melihat dampak dan akurasi modelnya, besar dugaan saya tim bisnis tidak akan menyetujuinya. Simpel: dampaknya hampir 50% order harian, namun penghematan yang dihasilkan hanya hampir 50% pula — potensi hambatan pertumbuhannya hampir sama dengan penghematannya.
Harapan semua pihak adalah penghematannya lebih besar jauh ketimbang potensi hambatan pertumbuhan.
Mari asumsikan model ini bekerja dengan sangat akurat, hingga % Precision-nya adalah 100%:
Jika kita rangkum:
Model ini akan memblokir/memprediksi fraud rata-rata 34 order harian (47.80% dari total order harian) — di mana semuanya adalah tepat order fraud, sehingga akan mengurangi 89.18% order fraud harian.
Terlihat bedanya bukan? Dengan menghambat 47.80% pertumbuhan bisnis, mayoritas order fraud dapat berkurang. Dan ini juga mengimplikasikan bisnis yang tidak sehat, karena hampir 50% (mayoritas) order hariannya adalah fraud. Bagaimanapun juga bila ini hasil modelmu, tim bisnis tidak punya alasan untuk tidak menggunakan model ini.
Berikut sebuah perspektif baru untuk memberikan presentasi hasil model machine learning pada tim bisnis atau non-data. Saya tidak bilang metode yang umum digunakan salah. Namun, biasanya tim bisnis punya fokus yang lebih luas. Sehingga kita perlu bantu mereka untuk mencerna lebih cepat, dengan menyediakan angka yang dapat mereka pahami dengan gamblang.
