@frengki/fl-ids

0
1
flwr new @frengki/fl-ids

Deteksi Malware Android Berbasis Federated Learning Menggunakan Flower

Evaluasi Ketahanan Strategi Agregasi terhadap Serangan Model Poisoning pada Dataset KronoDroid

Frengki · NIM 22220019

Dashboard interaktif: Buka dashboard FL-IDS Pilih strategi agregasi dan jumlah cabang jahat, lalu putar ulang training ronde demi ronde dari hasil eksperimen aplikasi ini.

Ringkasan

Pendeteksi malware butuh banyak contoh aplikasi, tetapi data aplikasi dan perilaku perangkat pengguna bersifat sensitif. Dengan federated learning, beberapa kelompok perangkat ("cabang") melatih satu model pendeteksi bersama-sama: setiap cabang melatih model di datanya sendiri dan hanya mengirim bobot model ke server Flower. Data aplikasi tidak pernah keluar dari cabang.

Federated learning juga punya celah keamanan sendiri: server tidak bisa melihat data cabang, sehingga cabang yang disusupi dapat mengirim update beracun (model poisoning). Proyek ini mengukur seberapa tahan empat strategi agregasi Flower terhadap serangan tersebut.

            ┌──────────────────────────────┐
            │  Server Flower (ServerApp)    │
            │  - agregasi: FedAvg / Krum…   │
            │  - evaluasi model global      │
            └──────┬───────────▲───────────┘
     bobot global  │           │  bobot hasil latih lokal
     ┌─────────────┼───────────┼─────────────┐
     ▼             ▼           ▼             ▼
 Cabang 1      Cabang 2     Cabang 3  …  Cabang 5   (ClientApp)
 data lokal    data lokal   data lokal   data lokal  ← data tidak keluar

Dataset: KronoDroid

KronoDroid (versi perangkat asli, 2021) berisi 77.494 aplikasi Android: 41.014 malware dan 36.480 aplikasi normal, dengan fitur dinamis (jumlah pemanggilan system call saat aplikasi dijalankan) dan fitur statis (izin aplikasi, metadata APK).

  • Fitur yang dipakai: 297, terdiri dari 131 system call + total, 146 izin aplikasi, ringkasan izin, dan metadata APK (ukuran file, jumlah activity/service/receiver, dll.).
  • Kolom yang dibuang karena membocorkan label atau hanya identitas: Package, sha256, EarliestModDate, HighestModDate, MalFamily, Scanners, Detection_Ratio, TimesSubmitted.
  • Pra-pemrosesan: log1p (hitungan system call sangat timpang), lalu standardisasi.
  • Pembagian: 15% data uji global (dipakai server untuk evaluasi), sisanya dibagi ke 5 cabang secara non-IID (Dirichlet α = 1), sehingga komposisi malware tiap cabang sangat berbeda.

Model: MLP 297 → 128 → 64 → 2 (Benign / Malware), 2 epoch lokal per ronde, Adam lr 0.001.

Metrik setiap ronde:

  • accuracy: ketepatan klasifikasi
  • detection_rate: persentase malware yang terdeteksi sebagai malware
  • false_alarm_rate: persentase aplikasi normal yang salah ditandai sebagai malware

Simulasi serangan: cabang jahat (model poisoning)

Dengan malicious-clients = k, cabang dengan partition-id < k mengirim w_global - boost * (w_lokal - w_global), yaitu update yang dibalik arahnya dan diperbesar (attack-boost, default 10).

Hasil eksperimen

5 cabang, 10 ronde, evaluasi pada 11.625 aplikasi uji. Sel berisi akurasi (detection rate / false alarm).

StrategiTanpa serangan1 cabang jahat2 cabang jahat
FedAvg96.4% (97.1% / 4.4%)47.1% (0.0% / 0.0%)47.1% (0.0% / 0.0%)
FedMedian96.0% (96.6% / 4.6%)95.8% (93.8% / 1.9%)89.5% (80.5% / 0.4%)
TrimmedAvg96.1% (96.6% / 4.5%)95.4% (92.6% / 1.4%)47.1% (0.0% / 0.0%)
Krum94.6% (96.1% / 7.2%)94.6% (96.5% / 7.6%)93.2% (88.9% / 1.9%)

Pembanding terpusat (tanpa federated learning, model sama, 20 epoch): 97.3% (96.7% / 2.0%).

Kesimpulan

  1. Tanpa serangan, federated learning dengan FedAvg mencapai akurasi 96,4% dan mendeteksi 97,1% malware, mendekati model terpusat (97,3%) tanpa satu pun data aplikasi dikirim ke server.
  2. FedAvg tidak tahan model poisoning: satu cabang jahat saja menurunkan akurasi menjadi 47,1% dengan detection rate 0,0%. Model rusak itu menganggap semua aplikasi normal, sehingga seluruh malware lolos.
  3. TrimmedAvg bertahan terhadap 1 cabang jahat (95,4%) tetapi akurasinya 47,1% saat ada 2 cabang jahat, karena hanya membuang 20% nilai ekstrem di tiap sisi (1 dari 5 cabang).
  4. Krum paling tahan: akurasi 93,2% walau 2 dari 5 cabang (40%) jahat, disusul FedMedian (89,5%). Harganya, tanpa serangan Krum sedikit lebih rendah (94,6%, false alarm 7,2%) karena tiap ronde hanya memakai update dari satu cabang.
  5. Rekomendasi: sistem deteksi malware federasi sebaiknya tidak memakai FedAvg biasa, melainkan agregasi robust seperti Krum atau FedMedian, terutama bila sebagian peserta tidak bisa dipercaya penuh.

Cara menjalankan

pip install "flwr[simulation]>=1.27" torch pandas pyarrow scikit-learn

# 1. Siapkan dataset KronoDroid (sekali saja)
flwr new @frengki/fl-ids          # unduh kode aplikasi ini
cd fl-ids
python prepare_data.py --kronodroid kronodroid-2021-real-v1.parquet --clients 5

# 2. Jalankan federated learning
flwr run . --stream

# Coba serangan dan strategi lain
flwr run . --run-config "malicious-clients=1" --stream
flwr run . --run-config "malicious-clients=1 strategy='krum'" --stream

Hasil prepare_data.py disimpan di ~/.fl_ids_data (bisa diganti dengan environment variable FL_IDS_DATA). Jika folder itu tidak ada, aplikasi memakai data sintetis sehingga flwr run @frengki/fl-ids --stream tetap bisa dijalankan untuk uji coba tanpa dataset.

Simulation Runtime

  • Membutuhkan 5 SuperNode virtual (options.num-supernodes = 5 di pyproject.toml), sama dengan --clients pada prepare_data.py.
  • Tidak perlu mengubah Flower Configuration.

Deployment Runtime

Setiap SuperNode membutuhkan partition-id dan num-partitions di node config, misalnya:

flower-supernode --insecure --superlink 127.0.0.1:9092 \
  --node-config "partition-id=0 num-partitions=5"

Jalankan prepare_data.py di setiap mesin, atau salin ~/.fl_ids_data/client_<partition-id>.npz ke mesin yang sesuai.

Konfigurasi

KunciDefaultKeterangan
num-server-rounds10jumlah ronde federated learning
strategyfedavgfedavg, fedmedian, trimmedavg, krum
malicious-clients0jumlah cabang jahat
attack-boost10.0kekuatan serangan
local-epochs2epoch latih lokal per ronde
learning-rate0.001learning rate Adam
dirichlet-alpha1.0hanya untuk data sintetis

Struktur

fl-ids/
├── pyproject.toml        # dependensi + konfigurasi Flower
├── prepare_data.py       # siapkan KronoDroid / CIC-IDS2017 / sintetis & bagi ke N cabang
└── fl_ids/
    ├── task.py           # model MLP, pemuatan data, train/test, metrik
    ├── client_app.py     # ClientApp: latih & evaluasi lokal, mode cabang jahat
    └── server_app.py     # ServerApp: strategi agregasi + evaluasi global

Lisensi

Apache-2.0. Dataset KronoDroid milik pembuatnya (Guerra-Manzanares dkk., 2021) dan tidak disertakan dalam aplikasi ini.