Plausibilität-Evaluation von DeepFake-Detektoren

Plausibility Evaluation of DeepFake Detectors

Jost Alemann, Valentin Rieß

Agenda

Aufgabenstellung
Konzept
Datensätze
DeepFake Detektoren
Evaluation
Fazit

Aufgabenstellung

Evaluierung verschiedener DeepFake-Detektoren in Bezug auf deren Plausibilität (genutzter Datensatz, Klassifizierungsunterschiede, Modellkomplexität, Treffsicherheit, ...)

Konzept

Auswahl geeigneter Datensätze
Auswahl geeigneter Detektoren
Datenerhebung
Auswahl Evaluationsmetriken
Evaluation

Datensätze

Casual Conversations

Videos von sprechenden Personen (2021)
Diversität in: Geschlecht, Alter, Hautton, Beleuchtung, Stimme
Ziel: Evaluation von Fairness bzgl. Diversität
45,186 Videos von 3,011 Personen, ~ 1 min
Keine DeepFakes enthalten

DeeperForensics-1.0

Videos von sprechenden Personen (2020)
Diversität durch 7 Pertubationsarten in 5 Stufen
Ziel: Evaluation von DeepFake-Detektoren
~ 60,000 Videos (davon 11,000 manipuliert)
48,475 Quell-Videos von 100 Schauspielern erstellt

FakeAVCeleb

Videos von sprechenden Personen (2021)
Diversität in: Geschlecht, Alter, Ethnie
Ziel: Evaluation von DeepFake-Detektoren
Label: Audio/Video, Ethnie, Geschlecht
~ 20,000 Videos (davon 500 echt)
100 Personen pro Ethnie mit 50/50 split des Geschlechts

DeepFake Detektoren

Deepware

EfficientNet B7 trainiert auf ImageNet & DFDC
Bildklassifikation via 2D-CNN (MBConv Layer)
FOSS basierend auf PyTorch (2021)
Benötigt Nvidia GPU mit CUDA Support

Selimsef

EfficientNet B7 trainiert auf ImageNet (+ self-training mit Noisy Student)
Gesichterkennung & -Landmarkung via MTCNN
Bildklassifikation via 2D-CNN (MBConv Layer)
FOSS basierend auf PyTorch (2020)
Benötigt Nvidia GPU mit CUDA Support

Mesonet

CNNs trainiert auf Online-Videos
Gesichterkennung via Python-Library face_recognition
Bildklassifikation via 2D-CNN (Conv/Inception Layer)
FOSS basierend auf TensorFlow (2018)

Evaluation

Deepware Fehler

Detektor hat starke Probleme mit dem FakeAVCeleb Dataset. Die Fehler wurden bei den nachfolgenden Diagrammen und Metriken herausgerechnet.

Mesonet Fehler

Alle vortrainierten Mesonet-Varianten geben fast immer einen konstanten Prediction-Wert zurück (1 oder 0 je nach Variante). Mesonet scheint fine-tuning zu benötigen.

Accuracy

Wie oft war der Detektor mit seiner Annahme richtig? \(Accuracy = \frac{TP+TN}{TP+TN+FP+FN}\)

Bei DF_e2e dominiert Selimsef.
Bei FAVC sind die Detektoren an sich gleichauf aber Deepware hat nur 1/4 untersucht.

Precision

Wie viele erkannte Fakes sind tatsächlich Fakes? \(Precision = \frac{TP}{TP+FP}\)

Bei beiden dominiert Selimsef minimal.

Recall / TPR

Wie viele Fakes wurden tatsächlich als Fakes erkannt? \(Recall = \frac{TP}{TP+FN}\)

Selimsef erkennt Fake-Videos zuverlässiger als solche.

Kompression und Artefakte (DeeperForensics)

Wie beeinflussen sie den Recall/TPR der Detektoren?

Kompression und Artefakte haben einen messbar negativen Einfluss auf die korrekte Erkennung von Fakes

Ethnien (FakeAVCeleb)

Wie beeinflussen sie den Recall/TPR der Detektoren?

Ethnie der abgebildeten Personen in den Fakes beeinflusst die korrekte Erkennung von Fakes.

FPR (Casual Conversations)

Wie viele echte Videos werden als Fakes klassifiziert?

Unmodifizierte Videos werden mit hoher Zuversicht als nicht-Fakes klassifiziert.

Receiver Operating Characteristic (ROC)

Das Verknüpfen von TPR und FPR an den Threshold-Werten erlaubt die Erstellung einer ROC-Kurve. Qualitätsmaß, wie gut der Klassifikator zwischen Klassen unterscheiden kann.