Dijital Filigran Kullanarak Deepfake

Videoları Tespit Etme

Amaç
Son yıllarda sahte haberler, sosyal ve politik söylemi tehdit eden bir konu haline geldi . Sahte
haberler, yalnızca bir kaynaktan gelen tek bir içerik türü değil, okuyucuları kasten yanlış
bilgilendirmek veya aldatmak için oluşturulmuş farklı türde manipüle edilmiş
medyadır. Genellikle bu haberler görsel olarak sansasyoneldir, insanların görüşlerini etkilemek,
siyasi bir gündemi zorlamak veya kafa karışıklığına neden olmak için yapılır. İzleyiciler bu
sahte gerçeği görüp sosyal medya aracılığıyla paylaşmakta ve böylece yalan haberlerin viral
olmasının sorumlusu haline gelmektedir. Deepfake, kişinin kimliğini (yüzünü) başka bir
kimlikle değiştirmek için orijinalinden manipüle edilen, ses kaydı olsun ya da olmasın, üretken
bir rakip ağ (GAN) kullanılarak manipüle edilen bir video veya durağan görüntüdür .
Filigranlar, sosyal medya ağlarının portallarında, düğümlerinde ve arka uçlarında tespit
edilebilir. Deepfake üretimi için yazarlar, öznenin yüzünü hedef kişiyle değiştirmek için yüz
değiştirme algoritmasını kullandılar. Filigranlı video kliplerden oluşturulan sahte haber
videolarını tespit etmek için iki aşamalı bir kimlik doğrulama işlemi gerçekleştirilir. İlk
aşamada deepfake videonun karelerinde Digimarc'ın filigran okuyucusu kullanılırken, ikinci
aşama, blok zincirinde depolanan bilgileri kullanır. Önerilen şema, derin sahte algılama
şemasının resmi olmayan bir güvenlik analizini sağlar ve kavram kanıtı için yüz değiştirme
algoritmasının simülasyon sonuçlarını sunar. Ancak, gömülü filigranların şeffaflığı ve
sağlamlığı değerlendirilmemiştir.
Dijital filigran, telif hakkı koruması ve yazarlık beyanı için kısa mesajları resimlere veya
videolara yerleştiren bir diğer önemli bilgi gizleme dalıdır. Steganografi ile karşılaştırıldığında,
dijital filigranın intihale karşı yeterli sağlamlığa ihtiyacı vardır, bu da filigranın mümkün
olduğunca çıkarılması gerektiği anlamına gelir. Dijital filigran için yüksek bilgi kapasitesi
gerekli değildir. [1]

Bu makale, ses taklidi kullanılarak oluşturulan sahte haber video kliplerini algılayan bir kavram
kanıtlama sistemi sunmaktadır. Sağlam ve kırılgan konuşma damgalama şemalarını birleştiren,
böylece telif hakkı koruması ve kurcalamaya karşı koruma sağlayan hibrit bir damgalama
yöntemi önerilmiştir. Olası kopyalama saldırılarına karşı direnç sağlamak için konuşma ve
video özelliklerinin çapraz referanslanması kullanılır. Gömülü filigranlar ve içerik
özellikleriyle ilgili meta veriler, kurcalamaya karşı korumalı kayıt için blok zincirinde
saklanır. Simülasyonlar, gömülü filigranın yaygın sinyal işleme ve video bütünlüğü
saldırılarına karşı sağlamlığını değerlendirmek için gerçekleştirilir.
YÖNTEM

Önerilen hibrit damgalama şeması, filigranları konuşma sinyalinin her bir kanalının frekans
katsayılarının büyüklüğüne gömmek için kullanılır. Şemanın kodlama kısmında, bir konuşma
sinyali iki kısma ayrılmıştır: birinci kısım, şifrelenmiş 16 bitlik senkronizasyon kodunu
gömmeye yetecek kadar az sayıda konuşma sinyalinden oluşurken, ikinci kısım sağlam ve
sağlam gömmek için kullanılır. Filigranlar, değişken bir yük ile konuşma sinyalinin her 10
saniyesinden sonra gömülür. Boyutun sağlam filigranıN× N(şemamızda 1024 bit), telif hakkı
bilgilerini (1000 bit) ve videonun algısal karmasının (24 bit) birkaç ikili bitini içerir. Sağlam
filigranın başarılı bir şekilde çıkarılmasının ardından, sağlam filigranın en önemsiz bitleri,
video kimliğinin son üç hash bitinin ikili eşdeğeri ile eşleştirilecektir. Bu bitler arasındaki
uyumsuzluk, konuşma sinyalinin videoya karşılık gelmediğini gösterir. hash(Hr w)sağlam
filigranın yüzdesi, video kimliğine karşı blok zincirinde saklanacaktır.

Video klibin sahte haber olup olmadığını tespit etmek için, videodaki gömülü bilgiler,
benimsenen kırılgan ve sağlam damgalama algoritmalarının çıkarma algoritmaları
kullanılarak çıkarılır. İlk olarak, çıkarma işlemi sağlam bir konuşma filigranı
arayacaktır. Sağlam filigran bulunamazsa videonun orijinalliği reddedilir. Sağlam filigran
başarılı bir şekilde çıkarılırsa, en önemsiz ikili bitleri video kimliği ile karşılaştırılır. Video
kimliği, algısal karma kullanılarak hesaplanabilir veya blok zincirinden alınabilir. Bir
uyumsuzluk varsa, konuşma sinyali video kimliğine karşılık gelmediği için bunun bir deepfake
video olduğu anlamına gelir.

Sağlam filigranı çıkardıktan sonra, çıkarma algoritmasını kullanacaktır. Kırılgan filigran

bulunmazsa, özgünlük başarısız olur. Bulunursa, konuşma bölümü numarasını ve video çerçeve
numarasını içeren en önemsiz bitler, konuşma ve video çerçevelerinin ardışık olduğundan emin
olmak için kontrol edilir. Bunlardan herhangi biri ardışık değilse, sahiplik reddedilir. Ardından,
çıkarılan ses segmenti hash'i ve video kare hash'i, video kimliğine karşı blok zincirinden alınan
karşılık gelen hash değerleriyle karşılaştırılır. Farklıysa video, konuşma sinyali özelliklerinin
değiştirildiğini veya manipüle edildiğini ima ettiği için derin deepfake olarak ilan edilir.
SONUÇ
Bu makale, hibrit bir filigran düzenine ve blockchain teknolojisine dayalı yeni bir derin sahte
video algılama sistemi sunmaktadır. Kavram kanıtı için Wav2Lip algoritması kullanılarak
sahte bir video oluşturulur ve öznenin dudak hareketi yüksek doğrulukla herhangi bir hedef
konuşmayla senkronize edilir. Deneysel sonuçlar aracılığıyla, önerilen hibrit damgalama
şemasının algılanması değerlendirilir. Ayrıca, sağlam ve kırılgan filigranlar, kopyalama
saldırısını önlemek için çapraz referanslıdır. Yaygın sinyal işleme saldırılarına karşı sağlamlık
açısından ayrıntılı deneysel sonuçlar, videoya gömülü filigranın deepfake uygulandıktan sonra
çıkarılabileceğini göstermektedir.

Gelecekteki olası çalışma, yalnızca dudak senkronizasyonunu değil, aynı zamanda yüz ve
animasyonlu vücut hareketlerini değiştirerek derin sahte saldırılar için önerilen planın
genişletilmesini içerir. Ayrıca, şemanın değerlendirilmesi, farklı türde video klipler
kullanılarak daha da geliştirilebilir.

KAYNAK
J. Jia et al., "RIHOOP: Robust Invisible Hyperlinks in Offline and Online
.[1]
Photographs," in IEEE Transactions on Cybernetics, vol. 52, no. 7, pp. 7094-7106,
July 2022, doi: 10.1109/TCYB.2020.3037208.
A. Qureshi, D. Megías and M. Kuribayashi, "Detecting Deepfake Videos using Digital
Watermarking," 2021 Asia-Pacific Signal and Information Processing Association Annual Summit and
Conference (APSIPA ASC), 2021, pp. 1786-1793.