Fraud Scoring Adalah: Cara Kerja, Algoritma, dan Evaluasi Modelnya
Fraud scoring adalah metode penilaian risiko yang memberikan skor pada setiap transaksi atau pendaftaran untuk memperkirakan seberapa besar kemungkinan aktivitas tersebut merupakan fraud. Skor ini biasanya dihitung secara real-time menggunakan machine learning berdasarkan berbagai sinyal, mulai dari perilaku pengguna, perangkat yang digunakan, data identitas, hingga pola transaksi.
Skor tersebut kemudian dibandingkan dengan threshold atau batas risiko yang sudah ditentukan. Hasilnya bisa digunakan untuk meloloskan transaksi secara otomatis, menolaknya, atau mengarahkannya ke proses manual review.
Artikel ini membahas fraud scoring dari sisi model dan algoritma, mulai dari cara skor dihitung, pilihan algoritma, cara mengevaluasi performanya, sampai bagaimana menjelaskan alasan di balik sebuah keputusan model.
Untuk memahami konsep fraud secara umum, lihat artikel tentang fraud. Untuk pembahasan arsitektur sistem secara keseluruhan, lihat fraud detection system. Sementara itu, fraud risk assessment membahas proses penilaian risiko fraud di tingkat organisasi.
Apa Itu Fraud Scoring dan Bagaimana Cara Kerjanya?
Sederhananya, fraud scoring mengubah pertanyaan “fraud atau bukan?” menjadi sebuah skor risiko. Misalnya, sebuah sistem menerima pendaftaran akun baru. Model bisa melihat berbagai sinyal seperti:
- Perangkat yang digunakan untuk mendaftar
- Lokasi dan alamat IP
- Kecepatan pengguna mengisi formulir
- Riwayat perangkat
- Kesesuaian data identitas
- Jumlah akun yang pernah dibuat dari perangkat yang sama
- Pola transaksi sebelumnya
- Perubahan perilaku pengguna
Semua sinyal tersebut diproses oleh model dan menghasilkan skor. Skala yang digunakan bisa berbeda-beda, misalnya 0 sampai 1 atau 0 sampai 100.
Semakin tinggi skor risikonya, semakin besar indikasi bahwa aktivitas tersebut berpotensi fraud.
Namun, skor bukan berarti keputusan akhir. Tim risk biasanya menentukan threshold untuk mengubah skor menjadi tindakan.
Contohnya:
- Skor rendah: transaksi bisa langsung diproses
- Skor menengah: transaksi masuk manual review
- Skor tinggi: transaksi ditolak atau diblokir
Di sinilah trade-off mulai muncul. Jika threshold dibuat terlalu ketat, lebih banyak fraud bisa dihentikan, tetapi pengguna legitimate juga berisiko ikut tertahan. Sebaliknya, threshold yang terlalu longgar dapat membuat lebih banyak fraud lolos.
Karena itu, fraud scoring bukan hanya soal membuat model seakurat mungkin. Model juga harus menghasilkan keputusan yang sesuai dengan risiko dan kebutuhan bisnis.
Rule-Based vs Machine Learning dalam Fraud Scoring
Banyak perusahaan memulai fraud prevention dengan rule-based system. Caranya sederhana. Tim risk menentukan kondisi tertentu yang dianggap mencurigakan, kemudian sistem mengambil tindakan ketika kondisi tersebut terpenuhi.
Contohnya:
“Jika satu perangkat digunakan untuk membuat 20 akun dalam 10 menit, tandai sebagai high risk.”
Pendekatan ini mudah dipahami dan dikontrol. Masalahnya, semakin banyak pola fraud yang muncul, semakin banyak pula rule yang harus dibuat dan dirawat.
Machine learning menggunakan pendekatan yang berbeda. Model belajar dari data historis untuk menemukan pola yang berkaitan dengan fraud tanpa harus menuliskan semua kondisi secara manual.
| Aspek | Rule-Based | Machine Learning |
|---|---|---|
| Cara kerja | Berdasarkan kondisi yang ditentukan analis | Mempelajari pola dari data historis |
| Transparansi | Sangat tinggi | Perlu metode explainability |
| Adaptasi terhadap pola baru | Perlu membuat atau mengubah rule | Bisa beradaptasi melalui retraining |
| Interaksi antarfitur | Terbatas | Bisa menangkap hubungan yang lebih kompleks |
| Beban pemeliharaan | Rule bertambah seiring pola fraud | Fokus pada monitoring dan maintenance model |
Dalam praktiknya, perusahaan tidak harus memilih salah satu.
Pendekatan yang lebih matang biasanya menggabungkan keduanya. Rule digunakan untuk kondisi yang memang harus deterministik, misalnya policy tertentu atau pola fraud yang sudah sangat jelas. Sementara machine learning digunakan untuk menemukan pola yang lebih kompleks dan sulit ditangkap oleh rule biasa.
Algoritma yang Umum Digunakan untuk Fraud Scoring
Tidak ada satu algoritma yang paling cocok untuk semua kasus fraud. Pemilihannya bergantung pada jenis data, jumlah data, kebutuhan real-time, tingkat akurasi yang dibutuhkan, dan seberapa penting model tersebut mudah dijelaskan.
Beberapa algoritma yang umum digunakan antara lain:
| Algoritma | Kekuatan | Pertimbangan |
|---|---|---|
| Logistic Regression | Cepat dan mudah dijelaskan | Kurang fleksibel untuk hubungan non-linear |
| Random Forest | Bisa menangkap hubungan non-linear dan relatif tahan terhadap noise | Model dapat menjadi cukup besar |
| Gradient Boosting seperti XGBoost | Performa kuat pada data tabular | Membutuhkan tuning hyperparameter |
| Neural Network | Bisa menangkap pola dan interaksi yang kompleks | Membutuhkan data dan resource lebih besar |
| Anomaly Detection seperti Isolation Forest | Bisa digunakan ketika label fraud terbatas | Dapat menghasilkan false positive yang tinggi |
Untuk banyak kasus fraud berbasis data tabular, gradient boosting seperti XGBoost sering menjadi pilihan awal yang kuat. Algoritma ini mampu menangkap hubungan non-linear pada banyak fitur dengan waktu inferensi yang masih memungkinkan untuk kebutuhan real-time.
Namun, performa algoritma tetap sangat bergantung pada kualitas data dan fitur yang digunakan. Model yang lebih kompleks tidak otomatis menghasilkan fraud detection yang lebih baik jika input datanya buruk.
Bagaimana Model Fraud Scoring Dievaluasi?
Evaluasi fraud model punya tantangan khusus karena fraud biasanya hanya sebagian kecil dari seluruh transaksi.
Bayangkan ada 1.000 transaksi dan hanya 1 yang benar-benar fraud. Model yang selalu mengatakan “bukan fraud” akan mendapatkan accuracy 99,9%.
Di atas kertas terlihat bagus.
Dalam praktiknya, model tersebut tidak berguna karena satu fraud pun tidak berhasil ditemukan.
Karena itu, accuracy saja tidak cukup untuk mengevaluasi fraud scoring. Tim data dan risk biasanya melihat beberapa metrik sekaligus.
AUC-ROC dan Precision-Recall
AUC-ROC mengukur kemampuan model membedakan kelas pada seluruh ambang. Untuk data sangat tidak seimbang, kurva Precision-Recall lebih informatif karena menyoroti performa pada kelas minoritas, yaitu fraud itu sendiri.
Precision dan Recall
Precision tinggi berarti sedikit pengguna sah yang salah ditolak. Recall tinggi berarti sedikit fraud yang lolos. Menaikkan salah satunya menurunkan yang lain, sehingga ambang harus dipilih berdasarkan biaya bisnis nyata dari masing-masing kesalahan.
Explainable AI untuk Fraud Scoring: SHAP dan LIME
Model fraud scoring tidak cukup hanya menghasilkan angka. Dalam banyak kasus, analis risk juga perlu tahu mengapa sebuah transaksi mendapatkan skor tinggi.
Di sinilah Explainable AI atau XAI digunakan.
Dua metode yang cukup populer adalah SHAP dan LIME.
SHAP membantu menunjukkan kontribusi masing-masing fitur terhadap prediksi model. Misalnya, skor risiko sebuah pendaftaran menjadi tinggi karena kombinasi beberapa sinyal:
- Perangkat baru
- Banyak akun dibuat dari perangkat yang sama
- Kecepatan pengisian formulir tidak wajar
- Data identitas tidak konsisten
LIME menggunakan pendekatan berbeda dengan membuat model sederhana di sekitar satu prediksi untuk membantu menjelaskan keputusan tersebut secara lokal.
Dalam operasional sehari-hari, informasi seperti ini membantu analis memahami kenapa sebuah transaksi ditandai sebagai high risk. Analis kemudian bisa memutuskan apakah kasus tersebut memang fraud atau hanya false positive.
Explainability juga penting untuk audit, monitoring model, dan evaluasi rule maupun fitur yang digunakan.
Arsitektur Fraud Scoring: Feature Store, Streaming, dan Batch Processing
Model yang bagus tetap bisa menghasilkan keputusan buruk jika sistem di belakangnya tidak dirancang dengan baik.
Ada beberapa komponen penting dalam implementasi fraud scoring secara real-time.
Feature store, misalnya, membantu menyimpan dan mengelola definisi fitur secara terpusat. Dengan begitu, fitur yang digunakan ketika model dilatih bisa dibuat konsisten dengan fitur yang digunakan ketika model berjalan di production.
Hal ini penting untuk menghindari training-serving skew, yaitu kondisi ketika data atau cara perhitungan fitur saat training berbeda dengan kondisi saat model digunakan secara nyata.
Sementara itu, streaming processing digunakan untuk menghitung sinyal yang membutuhkan data terbaru.
Contohnya:
“Berapa kali akun ini mencoba melakukan transaksi dalam 10 menit terakhir?”
Informasi seperti ini tidak cukup hanya mengandalkan data historis. Sistem harus bisa menghitungnya ketika transaksi sedang berlangsung.
Batch processing tetap dibutuhkan untuk fitur yang sifatnya historis, seperti total transaksi selama 30 hari terakhir, rata-rata nilai transaksi, atau frekuensi penggunaan akun.
Dalam sistem fraud scoring yang matang, streaming dan batch processing biasanya digunakan bersama.
Model Drift: Ketika Pola Fraud Berubah
Model fraud tidak bisa dibuat sekali lalu dibiarkan berjalan selamanya.
Fraudster terus mengubah cara mereka beroperasi. Ketika pola tersebut berubah, distribusi data yang masuk ke model juga dapat berubah. Akibatnya, performa model yang sebelumnya bagus bisa menurun. Kondisi ini dikenal sebagai model drift atau data drift, tergantung pada aspek perubahan yang sedang diamati.
Monitoring fraud model perlu melihat beberapa hal, seperti:
- Distribusi skor risiko
- Perubahan approval rate
- Perubahan false positive
- Performa berdasarkan label fraud yang sudah tersedia
- Perubahan karakteristik fitur
- Perubahan pola transaksi
- Perbedaan performa antarsegmen pengguna
Retraining juga tidak sebaiknya dilakukan hanya karena jadwal sudah tiba. Tim perlu menentukan trigger yang jelas berdasarkan perubahan data dan performa model.
Fraud Scoring Bekerja Lebih Baik dengan Identitas yang Sudah Terverifikasi
Fraud scoring menilai perilaku dan konteks, tetapi tidak dapat memastikan bahwa orang di balik akun benar-benar pemilik identitas tersebut. Kedua lapisan ini saling melengkapi: verifikasi identitas menutup pintu masuk, fraud scoring memantau apa yang terjadi setelahnya.
Verihubs memperkuat lapisan gerbang tersebut melalui OCR KTP, face matching, dan liveness detection, dilengkapi Deepfake Detection yang bekerja pada tingkat keberhasilan 95% sebagai satu-satunya penyedia deteksi deepfake lokal di Indonesia. Face Recognition Verihubs tercatat berakurasi 99,9% dan diakui NIST sebagai peringkat pertama di Indonesia. Ketika identitas sudah tervalidasi kuat di awal, sinyal yang masuk ke model fraud scoring menjadi jauh lebih bersih, sehingga skor lebih dapat dipercaya.
Pertanyaan yang Sering Diajukan tentang Fraud Scoring
Apa itu fraud scoring?
Fraud scoring adalah metode penilaian risiko yang memberi skor numerik pada setiap transaksi atau pendaftaran untuk memperkirakan kemungkinan fraud, dihitung model machine learning dari sejumlah fitur perilaku dan identitas secara real-time.
Apa beda fraud scoring dan fraud detection system?
Fraud scoring adalah komponen penilaian yang menghasilkan skor risiko, sedangkan fraud detection system adalah keseluruhan sistem yang mencakup pengumpulan data, aturan, model scoring, alur keputusan, dan penanganan kasus.
Algoritma apa yang terbaik untuk fraud scoring?
Tidak ada yang terbaik untuk semua kasus. Gradient boosting seperti XGBoost sering menjadi titik awal kuat untuk data tabular, sedangkan logistic regression dipilih bila kemudahan penjelasan menjadi prioritas utama.
Mengapa accuracy bukan metrik utama untuk fraud scoring?
Karena fraud sangat langka. Model yang meloloskan semua transaksi bisa tampak sangat akurat tetapi tidak menangkap satu pun fraud. Evaluasi sebaiknya memakai AUC-ROC serta kurva Precision-Recall yang sensitif terhadap kelas minoritas.
Apa itu model drift dalam fraud scoring?
Model drift adalah penurunan performa model akibat perubahan pola data seiring waktu, terutama karena fraudster terus mengubah cara mereka beroperasi. Penanganannya melalui pemantauan distribusi skor dan pelatihan ulang berkala.
Bagaimana menjelaskan keputusan model fraud scoring kepada auditor?
Gunakan teknik Explainable AI seperti SHAP untuk menghitung kontribusi tiap fitur terhadap skor, atau LIME untuk menjelaskan satu keputusan secara lokal. Keluarannya memberi alasan konkret di balik setiap penolakan.
Fraud Scoring Menjadi Andal Ketika Data Identitasnya Bersih
Membahas fraud scoring sering kali membuat perusahaan langsung fokus pada algoritma. Padahal, model secanggih apa pun tetap bergantung pada kualitas data yang masuk.
Gradient boosting terbaik sekalipun tidak akan banyak membantu jika data identitas tidak tervalidasi, fitur tidak konsisten, label fraud tidak akurat, atau data training tidak lagi mewakili pola fraud yang terjadi di production.
Karena itu, fraud prevention sebaiknya dibangun sebagai sistem berlapis.
Identity verification memastikan identitas pengguna diperiksa sejak onboarding. Fraud scoring kemudian menggunakan sinyal identitas, perangkat, perilaku, dan transaksi untuk menilai risiko secara berkelanjutan.
Dengan pendekatan tersebut, perusahaan tidak hanya bertanya “algoritma apa yang paling akurat?”, tetapi juga memastikan bahwa data yang digunakan model memang relevan untuk mengambil keputusan.
Jika Anda ingin memastikan sinyal identitas yang masuk ke sistem fraud scoring sudah tervalidasi sejak onboarding, diskusikan kebutuhan arsitektur verifikasi identitas dengan tim Verihubs. Verihubs telah dipercaya oleh lebih dari 400 klien di Indonesia untuk kebutuhan digital identity dan fraud prevention.
