@frengki/fl-ids
flwr new @frengki/fl-idsDeteksi Malware Android Berbasis Federated Learning Menggunakan Flower
Evaluasi Ketahanan Strategi Agregasi terhadap Serangan Model Poisoning pada Dataset KronoDroid
Frengki · NIM 22220019
Dashboard interaktif: Buka dashboard FL-IDS Pilih strategi agregasi dan jumlah cabang jahat, lalu putar ulang training ronde demi ronde dari hasil eksperimen aplikasi ini.
Ringkasan
Pendeteksi malware butuh banyak contoh aplikasi, tetapi data aplikasi dan perilaku perangkat pengguna bersifat sensitif. Dengan federated learning, beberapa kelompok perangkat ("cabang") melatih satu model pendeteksi bersama-sama: setiap cabang melatih model di datanya sendiri dan hanya mengirim bobot model ke server Flower. Data aplikasi tidak pernah keluar dari cabang.
Federated learning juga punya celah keamanan sendiri: server tidak bisa melihat data cabang, sehingga cabang yang disusupi dapat mengirim update beracun (model poisoning). Proyek ini mengukur seberapa tahan empat strategi agregasi Flower terhadap serangan tersebut.
┌──────────────────────────────┐
│ Server Flower (ServerApp) │
│ - agregasi: FedAvg / Krum… │
│ - evaluasi model global │
└──────┬───────────▲───────────┘
bobot global │ │ bobot hasil latih lokal
┌─────────────┼───────────┼─────────────┐
▼ ▼ ▼ ▼
Cabang 1 Cabang 2 Cabang 3 … Cabang 5 (ClientApp)
data lokal data lokal data lokal data lokal ← data tidak keluar
Dataset: KronoDroid
KronoDroid (versi perangkat asli, 2021) berisi 77.494 aplikasi Android: 41.014 malware dan 36.480 aplikasi normal, dengan fitur dinamis (jumlah pemanggilan system call saat aplikasi dijalankan) dan fitur statis (izin aplikasi, metadata APK).
- Fitur yang dipakai: 297, terdiri dari 131 system call + total, 146 izin aplikasi, ringkasan izin, dan metadata APK (ukuran file, jumlah activity/service/receiver, dll.).
- Kolom yang dibuang karena membocorkan label atau hanya identitas: Package, sha256, EarliestModDate, HighestModDate, MalFamily, Scanners, Detection_Ratio, TimesSubmitted.
- Pra-pemrosesan: log1p (hitungan system call sangat timpang), lalu standardisasi.
- Pembagian: 15% data uji global (dipakai server untuk evaluasi), sisanya dibagi ke 5 cabang secara non-IID (Dirichlet α = 1), sehingga komposisi malware tiap cabang sangat berbeda.
Model: MLP 297 → 128 → 64 → 2 (Benign / Malware), 2 epoch lokal per ronde, Adam lr 0.001.
Metrik setiap ronde:
- accuracy: ketepatan klasifikasi
- detection_rate: persentase malware yang terdeteksi sebagai malware
- false_alarm_rate: persentase aplikasi normal yang salah ditandai sebagai malware
Simulasi serangan: cabang jahat (model poisoning)
Dengan malicious-clients = k, cabang dengan partition-id < k mengirim w_global - boost * (w_lokal - w_global), yaitu update yang dibalik arahnya dan diperbesar (attack-boost, default 10).
Hasil eksperimen
5 cabang, 10 ronde, evaluasi pada 11.625 aplikasi uji. Sel berisi akurasi (detection rate / false alarm).
| Strategi | Tanpa serangan | 1 cabang jahat | 2 cabang jahat |
|---|---|---|---|
| FedAvg | 96.4% (97.1% / 4.4%) | 47.1% (0.0% / 0.0%) | 47.1% (0.0% / 0.0%) |
| FedMedian | 96.0% (96.6% / 4.6%) | 95.8% (93.8% / 1.9%) | 89.5% (80.5% / 0.4%) |
| TrimmedAvg | 96.1% (96.6% / 4.5%) | 95.4% (92.6% / 1.4%) | 47.1% (0.0% / 0.0%) |
| Krum | 94.6% (96.1% / 7.2%) | 94.6% (96.5% / 7.6%) | 93.2% (88.9% / 1.9%) |
Pembanding terpusat (tanpa federated learning, model sama, 20 epoch): 97.3% (96.7% / 2.0%).
Kesimpulan
- Tanpa serangan, federated learning dengan FedAvg mencapai akurasi 96,4% dan mendeteksi 97,1% malware, mendekati model terpusat (97,3%) tanpa satu pun data aplikasi dikirim ke server.
- FedAvg tidak tahan model poisoning: satu cabang jahat saja menurunkan akurasi menjadi 47,1% dengan detection rate 0,0%. Model rusak itu menganggap semua aplikasi normal, sehingga seluruh malware lolos.
- TrimmedAvg bertahan terhadap 1 cabang jahat (95,4%) tetapi akurasinya 47,1% saat ada 2 cabang jahat, karena hanya membuang 20% nilai ekstrem di tiap sisi (1 dari 5 cabang).
- Krum paling tahan: akurasi 93,2% walau 2 dari 5 cabang (40%) jahat, disusul FedMedian (89,5%). Harganya, tanpa serangan Krum sedikit lebih rendah (94,6%, false alarm 7,2%) karena tiap ronde hanya memakai update dari satu cabang.
- Rekomendasi: sistem deteksi malware federasi sebaiknya tidak memakai FedAvg biasa, melainkan agregasi robust seperti Krum atau FedMedian, terutama bila sebagian peserta tidak bisa dipercaya penuh.
Cara menjalankan
pip install "flwr[simulation]>=1.27" torch pandas pyarrow scikit-learn # 1. Siapkan dataset KronoDroid (sekali saja) flwr new @frengki/fl-ids # unduh kode aplikasi ini cd fl-ids python prepare_data.py --kronodroid kronodroid-2021-real-v1.parquet --clients 5 # 2. Jalankan federated learning flwr run . --stream # Coba serangan dan strategi lain flwr run . --run-config "malicious-clients=1" --stream flwr run . --run-config "malicious-clients=1 strategy='krum'" --stream
Hasil prepare_data.py disimpan di ~/.fl_ids_data (bisa diganti dengan environment variable FL_IDS_DATA). Jika folder itu tidak ada, aplikasi memakai data sintetis sehingga flwr run @frengki/fl-ids --stream tetap bisa dijalankan untuk uji coba tanpa dataset.
Simulation Runtime
- Membutuhkan 5 SuperNode virtual (options.num-supernodes = 5 di pyproject.toml), sama dengan --clients pada prepare_data.py.
- Tidak perlu mengubah Flower Configuration.
Deployment Runtime
Setiap SuperNode membutuhkan partition-id dan num-partitions di node config, misalnya:
flower-supernode --insecure --superlink 127.0.0.1:9092 \ --node-config "partition-id=0 num-partitions=5"
Jalankan prepare_data.py di setiap mesin, atau salin ~/.fl_ids_data/client_<partition-id>.npz ke mesin yang sesuai.
Konfigurasi
| Kunci | Default | Keterangan |
|---|---|---|
| num-server-rounds | 10 | jumlah ronde federated learning |
| strategy | fedavg | fedavg, fedmedian, trimmedavg, krum |
| malicious-clients | 0 | jumlah cabang jahat |
| attack-boost | 10.0 | kekuatan serangan |
| local-epochs | 2 | epoch latih lokal per ronde |
| learning-rate | 0.001 | learning rate Adam |
| dirichlet-alpha | 1.0 | hanya untuk data sintetis |
Struktur
fl-ids/
├── pyproject.toml # dependensi + konfigurasi Flower
├── prepare_data.py # siapkan KronoDroid / CIC-IDS2017 / sintetis & bagi ke N cabang
└── fl_ids/
├── task.py # model MLP, pemuatan data, train/test, metrik
├── client_app.py # ClientApp: latih & evaluasi lokal, mode cabang jahat
└── server_app.py # ServerApp: strategi agregasi + evaluasi global
Lisensi
Apache-2.0. Dataset KronoDroid milik pembuatnya (Guerra-Manzanares dkk., 2021) dan tidak disertakan dalam aplikasi ini.