3B Nesne Geriçatma Yöntemlerinin İncelemesi
A Survey of 3D Object Reconstruction Methods
Merve Gül KANTARCI, Berk GÖKBERK, Lale AKARUN
2022 30th Signal Processing and Communications Applications Conference (SIU) | 978-1-6654-5092-8/22/$31.00 ©2022 IEEE | DOI: 10.1109/SIU55565.2022.9864922
Bilgisayar Mühendisliği
Boğaziçi Üniversitesi
İstanbul, Türkiye
merve.kantarci@boun.edu.tr, berk.gokberk@boun.edu.tr, akarun@boun.edu.tr
Özetçe —Bu çalışmada bilgisayarlı görü alanında kullanılan
güncel derin öğrenme tabanlı tek ve çoklu imgelerden 3-boyutlu
(3B) nesne geriçatma yöntemleri incelenmektedir. 3B geriçatma
yöntemleri genel olarak bir veya birden fazla 2-boyutlu imge gir-
disi alıp, farklı şekil gösterimlerinde (voksel, örgü, nokta kümeleri
ve örtük fonksiyonlar) çıktılar üretmektedir. Bu bildiride, şekil
gösterimlerine göre grupladığımız yöntemlerin, derin yapay sinir
ağı mimarileri, gözetimli ve gözetimsiz öğrenme mekanizmaları
ve kullandıkları veri kümelerindeki geriçatma başarımları detaylı
olarak sunulmaktadır.
Anahtar Kelimeler—3B nesne geriçatma, 3B şekil gösterimleri,
derin öğrenme, bilgisayarla görme.
Abstract—In this work, we provide a state-of-the-art survey
of deep learning-based single- and multi-view 3D object reconst-
ruction methods. In a broad sense, 3D reconstruction methods
take single or multiple 2D images to model shapes with different
representations such as: voxels, meshes, point clouds and implicit
functions. In this paper, the methods are grouped based on their
shape representations and are presented in detail with their
deep neural network architectures, supervision mechanisms and
reconstruction accuracies on benchmark datasets.
Keywords—3D object reconstruction, 3D shape representations,
deep learning, computer vision.
I. G İR İ Ş
3-boyutlu (3B) geriçatma yöntemleri artırılmış gerçeklik,
robotik, 3-boyutlu tasarım ve bilgisayar oyunları gibi birçok
alandaki önemi dolayısıyla son yıllarda oldukça araştırılmış-
tır [16]. Birçok geleneksel yöntem çok sayıda imge girdisi ara-
sında yoğun ilişkilendirmeyle ve bilinen kamera parametreleri
yardımıyla çalışır. Derin öğrenme yöntemleri ile daha az gir-
diyle daha verimli yöntemler sunulabilmektedir. Son yıllarda
derin öğrenme tabanlı yöntemlerin yüksek geriçatma başarımı
elde etmeleri de ilginin artmasına sebep olmuştur. 3B geri-
çatma birçok alt başlıkta çalışılmaktadır. Yüz modellenmesi,
3B insan vücut poz ve şekil tahmini, 3B sahnelerin geriçatımı
bunlardan birkaçı olup bu makalede sadece nesne geriçatımı
üzerinde durulmaktadır. Geriçatma işlemi birçok farklı girdi
çeşidinden beslenebilir. Örneğin video karelerinden 3B şekil
bilgisi elde etmek son zamanlarda sıkça kullanılmıştır. Bazı
çalışmalar [27] birden çok nesneyi tek resimden modelleme
üzerinde durmaktadır. Bu çalışmada sadece izole nesnelerin
geriçatımı üzerine yapılan çalışmalara odaklanılmıştır.
978-1-6654-5092-8/22/$31.00 ©2022 IEEE
Authorized licensed use limited to: Corporacion Universitaria de la Costa. Downloaded on April 20,2023 at 16:14:23 UTC from IEEE Xplore. Restrictions apply.
Yöntemler arasındaki bir başka ana sınıflandırma ise girdi
imge sayısına göre yapılabilir. İmge sayısı bir olduğunda şekli
3-boyutta tanımlamak için yeterince bilgi sağlanamadığından
problemin çözülmesi çok zorlaşmaktadır. Engelmann vd. [27]
tek imgeli geriçatma kalitesinin yeterli olmadığını ve öğrenilen
bir veri tabanından şekil seçilmesinin daha gerçekçi sonuçlar
üreteceğini savunmuştur. Bazı çalışmalar [5], [12] ise insanla-
rın şekle dair ön bilgileriyle görselleştirme yapmasına benzer
bir mantık ile belirtik olarak şekil önsel bilgisi kullanmayı
önermiştir. Başka yöntemler çok sayıda imge kullanarak nes-
nenin geometrisini daha yüksek düzeyde betimlemek üzerine
odaklanır. Şekil 1a’daki gibi nesneyi birçok açıdan görmenin
imgelerden sadece birini kullanarak tahmin yapmaya göre
avantajlı olduğu açıktır. Bununla birlikte birden fazla imge
olması imgeler arası bilginin çıktıda nasıl daha iyi kaynaş-
tırılacağına dair bir sorun ortaya çıkarmaktadır. Bazı çalışma-
lar imgeleri ortalama havuzlama gibi daha basit yöntemlerle
kaynaştırmayı seçerken, daha karmaşık çözüm yöntemlerinin
gerektiğini savunan çalışmalar [1]–[4] da vardır.
Bu bildiride son yıllarda önerilmiş yöntemler çıktı gösterim
biçimine göre dört grupta incelenmiştir: voksel, örgü (mesh),
nokta kümeleri ve örtük fonksiyonlar (implicit functions).
Şekil 1’ de bahsedilen gösterimlerden birer örnek sunulmuştur.
Yöntemlerin genel karşılaştırması Tablo I’de sunulmuştur.
II. VOKSEL G ÖSTER İM İ
3B şekillerde voksel gösterimi, 2B imgelerdeki piksel
gösteriminin karşılığı olarak düşünülebilir. Choy vd. [1]
çalışmasında vokselleri kullanmıştır. Bu çalışmada tümleştirme
için 3D-convolutional-LSTM önerilmiştir. Bu mimari birçok
3D-LSTM ünitesinin şeklin farklı bölgelerindeki özellikleri
belirleyecek şekilde yerleştirilmesinden oluşmuştur. Kodlama
ve kodçözme için ise evrişimsel sinir ağları (CNN) kullanıl-
mıştır. Bu çalışma geriçatıma derin öğrenme yöntemleriyle
yaklaşan en erken çalışmalardan biri olması sebebiyle reh-
ber nitelikte olmuştur. Takip eden çalışmalarda yinelemeli
sinir ağları kullanan yaklaşımların yüksek zaman karmaşıklığı,
devşirime hassas olması ve uzun süreli bellek kaybı gibi
dezavantajları ele alınmıştır. Örneğin Yang vd. [2] AttSets
modelinde kaynaşım modülü geliştirmek için dikkat meka-
nizması (attentional aggregation) kullanmıştır. Önerilen modül
diğer kodlayıcı-kodçözücü mimarilerine de uygun olduğu için,
pratik olarak kullanım kolaylığı yüksektir.
Bu çalışmaya benzer olarak, Xie vd. [3] tek ve çoklu
imgeden geriçatma için tek bir sistem önermiştir. Bu sistemde,
 (a) Girdi İmgeler (b) Voksel
Şekil 1: ShapeNet veri kümesinden sandalye kategorisine ait bir örneğin farklı açılardan 2B gösterimi ve 3B modelleri [28].
2B imgelerden CNN kodlayıcı-kodçözücü kullanılarak her bir
imge için 3B kaba gösterim elde edilir. Yöntemde sunulan
çok-ölçekli içerik-farkındalıklı kaynaşım (multi-scale context-
aware fusion) modülü kaba gösterimlerden skor haritası ürete-
rek her bir gösterimden en iyi tahmin edilen bölgeyi son çıktıda
birleştirir. Yazarlar kaynaşım modülünde çok-ölçekli özellikleri
kullanmanın sonuçları iyileştirdiğini göstermişlerdir.
Güncel çalışmalardan birinde Yang vd. [5] geriçatımı önsel
(prior) şekil bilgisinden ayırmamayı savunmuştur. Önsel şekil
bilgisini elde etmek için eğitim sırasında 2B kodlayıcıdan elde
edilen özellik vektörleriyle bir bellek sözlüğü oluşturulmuştur.
Her imge için sözlükten sabit sayıda seçim yapmaktansa ben-
zerlik puanına göre değişken sayıda şekil önseli seçilmesi önsel
bilginin kalitesini arttırmıştır. Çalışma, şekil önseli kullan-
manın perdelemenin fazla olduğu durumlarda ve nesnelerden
yeterince özellik çıkarmanın zor olduğu şartlarda geriçatma
performansını önemli miktarda artırdığını göstermiştir. Wang
vd. [4] ise kaynaşım işlemini ayrı olarak ele almaktansa, bütün
modele yerleştirmenin önemini, geliştirdikleri 3B Dönüştü-
rücü (Transformer) modeli ile göstermiştir. Dönüştürücünün
kodlayıcısı 2B resimler arasındaki ilişkiyi öğrenirken, kodçö-
zücü 2B ve 3B gösterim arasındaki ilişkilendirmeye ve 3B
hacimler arasındaki bütünsel ilişkiye odaklanmıştır. Bu birleşik
mimarinin artan görüş sayısıyla birlikte geriçatma kalitesini
karşılaştırılan yöntemlerden belirgin ölçüde daha fazla artırdığı
raporlanmıştır.
Voksel gösterimi ilk akla gelen gösterim olmakla birlikte
artan çözünürlük hesaplama karmaşıklığını kübik olarak artır-
dığı için bellek ve zaman açısından dezavantajlıdır. Bu sorunu
ele alan Roth ve Richter [10] 3B şekilleri 2B imge dizisi olarak
ele alıp geriçatma işini çok-kanallı 2B imge tahmin etmeye
dönüştürmüştür. Önerdikleri yeni yöntemle diğer voksel gös-
terimi kullanan çalışmalara görece daha yüksek çözünürlükte
(2563 ) geriçatma sağlamışlardır.
III. Ö RGÜ G ÖSTER İM İ
Örgü gösterimi bilgisayar grafiği alanındaki öneminden
dolayı tercih edilen bir gösterimdir. Bununla birlikte göste-
rimin kesikli yapısından dolayı derin öğrenme ile modellemek
zordur. Pixel2Mesh [6] üçgen örgü gösterimi için kullanılan
düğüm, kenar ve yüzün çizge ile betimlenebileceğinden yola
çıkarak çizge evrişimsel sinir ağları (GCN) kullanan bir mo-
deldir. Model elips şeklindeki örgüden başlayarak kademeli
olarak bozulma uygular. Son örgü çıktısına doğru düğüm
sayısı dolayısıyla gösterimin çözünürlüğü yükselmektedir. Bu
tekrarlamalı yaklaşım bozulma blok sayısını artırarak değişken
çözünürlüğe ulaşmayı önerse de parametre sayısını artırmanın
Authorized licensed use limited to: Corporacion Universitaria de la Costa. Downloaded on April 20,2023 at 16:14:23 UTC from IEEE Xplore. Restrictions apply.
(c) Örgü (d) Nokta Kümesi (e) Örtük Fonksiyonlar
maliyeti göz önüne alınarak orijinal model sadece üç bozulma
bloğu ile sınırlandırılmıştır. Wen vd. [7] ise Pixel2Mesh’e çok-
görüş bozulma ağı (multi-view deformation network) ekleye-
rek Pixel2Mesh++ ile çok-görüşten geriçatımı desteklemiştir.
Sketch2Mesh [13] 2B eskizlerden şekil üretmeyi hedef-
lemiştir. Model üretilen 3B şekilleri 2B düzleme izdüşürerek
nesnenin dış hatlarını elde edebilmiştir. 2B düzlemde oluşan
görüntü girdilerle çift yönlü 2B Chamfer uzaklığıyla karşılaştı-
rılabilmiştir. Çalışmada alternatif olarak modelin türevlenebilir
gerçekleyiciyle 3B şekillerden 2B imgeler elde ettiği bir yön-
tem de sunulmuş ve izdüşüm yöntemiyle karşılaştırılmıştır. Bu
karşılaştırmanın olması türevlenebilir gerçekleyicilere çokça
atıf yapılması sebebiyle önemlidir. İzdüşüm çok daha doğrudan
olması, nicel değerlendirmelerde çoğunlukla üstün performans
göstermesi ve daha sağlam şekiller üretmesi nedeniyle tercih
edilmiştir. Bu çalışmanın bir dezavantajı izdüşüm için kamera
parametrelerine ihtiyaç duyulmasıdır.
IV. N OKTA K ÜMELER İ G ÖSTER İM İ
Nokta kümeleri esnek olması sebebiyle çok kullanılan gös-
terimlerden biri olmuştur. Bu gösterim gerçekleme (rendering)
ya da izdüşüm yardımıyla gözetimsiz yöntemlerin geliştirilme-
sinde sıkça kullanılmıştır. Insafutdinov ve Dosovitskiy [25]
türevlenebilir gerçekleyici kullanarak gözetimsiz öğrenmeyi
önermiştir. Önerdikleri sinir ağı tahmin ettiği nesne ve kamera
parametrelerinden gerçekleyici ile 2B görünüm elde etmede
kullanılmıştır. 2B görünüm ve girdi arasındaki ortalama kare
hatası ile model eğitilmiştir. Han vd. [24] ise gerçeklemenin
maliyetli olduğunu ve basit bir kayıp fonksiyonu yerine daha
iyi tasarlanmış bir kayıp fonksiyonuyla izdüşümün yeterli ola-
cağını savunmuştur. Bu nedenle, kayıp fonksiyonu iki parçada
tasarlanmıştır. İlkiyle noktaları girdi silüet imgesinin üzerine
zorlarken, ikincisiyle izdüşürülen noktalar arasındaki uzaklığı
büyüterek silüeti düzgün kaplamak amaçlanmaktadır. Bu ça-
lışmada da kamera parametrelerine ihtiyaç duyulmuştur.
Daha yakın zamanda, Chen vd. [26] pikselleri karşılaştır-
mak yerine, öncelikle girdi resimlerden 2B nokta örneklemiştir.
Üretilen 3B nesneden elde edilen 2B izdüşümlerin örneklem ile
eşleşmesi beklenmiştir. Örneklemi fazla sık yapmak modelin
maliyetini artırırken, fazla seyrek yapmak nesneyi kaplamadığı
için performansı düşürmektedir. Bu oranı iyi belirlemek için
Structure Adaptive Sampling yöntemini geliştirmişlerdir.
Nokta kümelerinin seyrek ve düzensiz gösterimi evrişim
yöntemleri için verimsiz olmaktadır. Liu vd. [23] bunun için
nokta-voksel hibrit gösterimini önermiştir. Nokta-voksel CNN
ile noktalar evrişim için vokselleştirilirken evrişim sonrası
nokta kümesi formu elde edilmiştir. Zhou vd. [22] şekillere
TABLO I: Yöntemlerin karşılaştırması. Girdi sayısı test zamanındaki girdi sayısını temsil etmektedir. NK: Nokta kümeleri, ÖF:
Örtük fonksiyonlar, S: Gözetimli öğrenme, U: Gözetimsiz öğrenme.
Çalışma Yıl Gözetim Veri Kümesi Girdi Sayısı Çıktı Mimari Kayıp Fonksiyonu
ShapeNet, ModelNet40,
Yang vd. [2] 2020 S Çoklu İmge Voksel Attentional Aggregation Cross entropy
Blobby
ShapeNet, Pix3D, Tek / Encoder - Decoder - Fusion
Xie vd. [3] 2020 S Voksel Cross entropy
Things3D Çoklu İmge Network- Refiner Network
Encoder - Memory Network Voxel-triplet +
Yang vd. [5] 2021 S ShapeNet, Pix3D Tek İmge Voksel
- LSTM - Decoder Cross entropy
Wang vd. [4] 2021 S ShapeNet Çoklu İmge Voksel Transformer Cross entropy
Encoder - GCN - Multi- Re-sampled Chamfer +
Wen vd. [7] 2019 S ShapeNet Çoklu İmge Örgü
view Deformation Network Surface normal
Chairs, Cars,
Guillard vd. [13] 2021 U Tek İmge Örgü Encoder - Decoder Chamfer
ShapeNet
Smooth silhouette +
Han vd. [24] 2020 U ShapeNet Tek İmge NK -
Structure-aware repulsion
Chen vd. [26] 2021 U ShapeNet Tek İmge NK Encoder - MLP Chamfer
Mescheder vd. [8] 2019 S ShapeNet Tek İmge ÖF Encoder - FCN Cross entropy
DTU MVS, Blended
Oeschle vd. [15] 2021 U Çoklu İmge ÖF MLP L1 + L2
MVS, SceneNet
ShapeNet, Encoder - Decoder - Attention
Trevithick vd. [18] 2021 U Çoklu İmge ÖF L2
Synthetic-NeRF Module - MLP
Tek / Implicit shape network + Neural
Yang vd. [12] 2021 U ShapeNet ÖF L1 + Cross entropy + L2
Çoklu İmge texture network + Hypernet network
Ibing vd. [21] 2021 S ShapeNet, PartNet Tek İmge ÖF Autoencoder - GAN - Decoder Cross entropy + Non-saturating

kademeli olarak gürültü ekleyip geliştirdikleri yayılma modeli
ile gürültüden şekli tekrar üreten bir nokta-voksel CNN modeli
kullanmıştır. Önerilen model 2B imgelerden geriçatma için
kullanılamamasına rağmen nokta kümelerinin şekil modelleme
için iyileştirilmesi açısından yol gösterici olmuştur. Model
verilen kısmi nokta kümelerinden çeşitli tamamlamalar öner-
mesiyle geriçatma için iyi bir temel oluşturduğunu göstermiştir.
V. Ö RTÜK F ONKS İYONLAR
Örtük fonksiyonlar, değişken çözünürlükte çalışabilmeleri
sebebiyle 3B resimler için umut vadeden bir gösterimdir.
Voksel gösterimiyle karşılaştırıldığında verimlilikleri ön plana
çıkmaktadır. Yüzey sınırları objenin iç ve dış kısmını doldur-
makla özel olarak ilgilenmeyip sadece bu bölgeleri ayırmakla
ilgilenir. Örtük fonksiyonlar ile bu yüzey sınırları belirlenebilir
ve daha pürüzsüz bir görünüm elde edilebilir.
Mescheder vd. [8] Occupancy Networks modelini önererek
betimleme için nesne yüzeyini belirlemek üzerine çalışmıştır.
Modelin temel amacı 3B uzaydaki noktaları objenin içinde
ve dışında olarak ikili sınıflandırmadır. Bu sınıflandırma so-
nucunda oluşan karar sınırı obje yüzeyini betimlemek için
kullanılmıştır. Peng vd. [9] ise Convolutional Occupancy
Networks ile verilen 3B girdiyi tek bir 2B düzlemde, çoklu 2B
düzlemde ya da 3B düzlemde kodlamak için üç yeni kodlayıcı
önermiştir. Böylelikle orijinal modele göre yerel özellikleri
daha iyi kodlayarak daha zengin bir gösterim sunulduğu için
ikili sınıflandırmadan sorumlu ağın daha hafif bir formu ye-
terli olmuştur. 3B girdiler için geliştirilmiş modelle geriçatma
kalitesinin iyileştirilmesinin yanı sıra eğitim hızı artırılmıştır.
Venkatesh vd. [14] sadece kapalı formlu değil açık formlu
şekilleri de modelleyebilme üzerinde durmuştur. Bunun için
verilen bir 3B noktayı yüzey üzerindeki en yakın 3B noktaya
eşleyen bir en yakın yüzey-noktası gösterimi tanımlamışlar-
dır. Geliştirilen model (CSPNet), Convolutional Occupancy
Networks’ün kodlayıcısıyla çıkarılan 3B özellik vektörü yar-
dımıyla sorgu noktalarına en yakın yüzey-noktalarını tahmin
etmiştir. CSPNet açık formlu şekilleri modelleme üzerinde
aslına daha sadık sonuçlar elde ederek en yakın yüzey-noktası
gösteriminin gücünü, nokta kümelerine yüzey yerleştirme üze-
rinden kanıtlamıştır. Fakat girdi olarak 3B nokta kümesine
ihtiyaç duyması sebebiyle 2B imgelerden 3B geriçatıma uygun
değildir.
Mildenhall vd. [17] NeRF ile her bir sahne için çoklu
imge, kamera konumları ve bakış açılarını kullanarak bir
sinir ağı eğitmeyi önermiştir. Algılayıcının ağırlıkları örtük
ve sürekli olarak sahne modellemede kullanılabilmiştir. Bu
gösterime sinir radyans alanları (neural radiance fields) adı ve-
rilmiştir. Daha sonrasında, Trevithick ve Yang [18] NeRF’ün
genelleştirme kapasitesini artırmak için general radiance field
yöntemini (GRF) geliştirmiştir. GRF NeRF’teki 3B nokta
konumlarını 3B özellik vektörleriyle değiştirmiştir. Oechsle vd.
[15] ise Occupancy Networks ile önerilen örtük fonksiyonları
ve radyans alanlarını birleştirip UNISURF’ü önererek NeRF
ile oluşan boşluklu yüzeyi pürüzsüzleştirmiştir. Eğitim sıra-
sında ilk aşamada yüzey yeterince öğrenilmediği için hacim
gerçeklemenin önemi baskındır. Kademeli olarak yüzey ger-
çeklemenin artırılmasıyla UNISURF eğitilmiştir.
Hareketli en küçük kareler fonksiyonları nokta küme gös-
teriminden yüzey sınırlarını elde etmeye uygundur. Bu yüzey
gösterimini kullanan Liu vd. [11] girdi nokta kümelerinden
önce octree ara gösterimini oluşturmuştur. Çalışma ara gös-
terimden yüzey elde etmek ile ara gösterim sonrası üretilen
nokta kümesinden yüzey elde etmeyi karşılaştırarak ayrıntılı
nokta kümesi üretmenin avantajını kanıtlamıştır.
Yang vd. [12] örtük yüzey fonksiyonları öğrenirken ağ-
ların önsel bilgisinin klasik eğitim yöntemleriyle yeterince
işlenemediğini açıklamıştır. Bunun için öğrenilen önsel şekil
bilgilerini optimize etme üzerine çalışmıştır. Yöntem genel-
leştirilmiş bir formda sunulduğu için birçok modele ve alt
göreve uyarlanabileceği savunulmuştur. Ibing vd. [21] 3B
nesneleri betimlemek için bütünsel tek bir fonksiyon yerine
birden fazla yerel fonksiyon kullanmayı önermiştir. Otokodla-
yıcı aracılığıyla 3B nesneler örtük fonksiyon ızgarası olarak
kodlanmıştır. Çekişmeli üretici ağlar (GAN) otokodlayıcının
gizli uzayından şekil üretmeyi öğrenmek için kullanılmıştır.

Authorized licensed use limited to: Corporacion Universitaria de la Costa. Downloaded on April 20,2023 at 16:14:23 UTC from IEEE Xplore. Restrictions apply.
GAN’ın kapasitesi birden çok örtük fonksiyon kullanılması
sebebiyle geniştir. Ayrıca bu tür bir gösterim nesnelerin çok
parçalı yapısına uyduğu için bölgesel üretime izin verir.
Zheng vd. [19] yorumlanabilirlik ve girdi ile gösterimi
ilişkilendirme problemleriyle ilgilenmiştir. Örtük şablon olarak
adlandırdıkları kategorileri en genel formlarında temsil eden
örtük fonksiyonları öğrenmeyi önermişlerdir. Örtük şablondan
şekil onarımı için bir bükme fonksiyonuyla girdi noktalarının
kanonik konumlarına eşlenmesi gerekmiştir. Benzer şekilde,
Deng vd. [20] bozulmuş örtük fonksiyonları (deformed impli-
cit functions) geliştirerek ilişkilendirme problemini ele almıştır.
Önce kategori için bir şablon öğrenmeyi ve sonrasında nesneler
için bozulma ve düzeltme alanını öğrenmeyi savunmuştur.
VI. S ONUÇ
İmgeden 3B geriçatma birçok zorluğu olan karmaşık bir
problemdir. Bu zorlukların aşılmasında modelleme, yöntem,
girdi çeşidi konusunda birçok farklı yaklaşım denenmiştir. Bu
yaklaşımlardan güncel olanları en çok karşılaştırıldıkları çalış-
malar ile birlikte açıklanmıştır. Güncel çalışmalarda pürüzsüz
bir görünüm elde etmek ve yüksek çözünürlükte maliyeti
düşürmek için örtük fonksiyonlar başarıyla kullanmıştır fakat
henüz üretilen şekiller gerçek modellerin keskinliğine erişeme-
mektedir. Birçok çalışmanın kapalı formlu şekiller üzerinde
çalışması da üretim kapasitesini düşürmektedir. 3B referans-
lara ihtiyaç duymadan yeni şekillere adaptasyonu artırmak
için yöntemlerin bazıları gerçeklemeden faydalanır. Alternatif
olan izdüşürme maliyet açısından daha avantajlı çözümler
sunar fakat başarım sağlamak için iyi düşünülmüş öğrenim
yöntemleriyle kullanılmaları gerekmektedir. Uygulanabilirliği
artırmak için ise yapay veri kümelerindense gerçekçi imgeler-
den beslenebilir yöntemler gerekmektedir. Perdelemenin fazla
olduğu ya da imgede nesnenin ön plana çıkmadığı bu tür veri
kümelerinde başarım elde etmek için kodlayıcı modülünün
tasarımı önemli bir role sahiptir.
Çalışmalardan bazıları renk/desen bilgisini aktarmaktan
detaylı olarak bahsetmiştir. Özellikle radyans alanları kullanan
modellerde RGB değerlerinin de onarımına dikkat edilmiştir
[15], [17], [18]. Bir başka çalışmada [25] nokta kümeleri
gösterilirken 3B konumuna ek olarak renk sinyali de veril-
miştir. Bazı alt çalışmalar için, örneğin nesne tanıma, kanonik
form gibi daha basit gösterimler yeterli olduğundan renk
geriçatımının bir zorunluluk olduğu söylenemez. Fakat çok
fazla çalışmanın konu üzerinde durmadığı göz önüne alındı-
ğında, daha aslına sadık geriçatma gerektiren uygulamalar için
renk/desen aktarımında detaylı araştırmalara ihtiyaç duyulduğu
söylenebilir.
K AYNAKLAR
[1] C. B. Choy, D. Xu, J. Gwak, K. Chen, and S. Savarese, “3D-R2N2: A
Unified Approach for Single and Multi-view 3D Object Reconstruction,”
in ECCV, vol. 9912, pp. 628–644.
[2] B. Yang, S. Wang, A. Markham, and N. Trigoni, “Robust Attentional
Aggregation of Deep Feature Sets for Multi-view 3D Reconstruction,”
Int. J. Comput. Vis., vol. 128, no. 1, pp. 53–73, 2020.
[3] H. Xie, H. Yao, S. Zhang, S. Zhou, and W. Sun, “Pix2Vox++: Multi-
scale Context-aware 3D Object Reconstruction from Single and Multiple
Images,” Int. J. Comput. Vis., vol. 128, no. 12, pp. 2919–2935, 2020.
[4] D. Wang et al., “Multi-View 3D Reconstruction With Transformers,” in
Proceedings of the ICCV, Oct. 2021, pp. 5722–5731.
Authorized licensed use limited to: Corporacion Universitaria de la Costa. Downloaded on April 20,2023 at 16:14:23 UTC from IEEE Xplore. Restrictions apply.
[5] S. Yang, M. Xu, H. Xie, S. Perry, and J. Xia, “Single-View 3D Object
Reconstruction From Shape Priors in Memory,” in Proceedings of the
CVPR, Jun. 2021, pp. 3152–3161.
[6] N. Wang, Y. Zhang, Z. Li, Y. Fu, W. Liu, and Y.-G. Jiang, “Pixel2Mesh:
Generating 3D Mesh Models from Single RGB Images,” in Proceedings
of the ECCV, Part XI, 2018, vol. 11215, pp. 55–71.
[7] C. Wen, Y. Zhang, Z. Li and Y. Fu, "Pixel2Mesh++: Multi-View 3D
Mesh Generation via Deformation," in Proceedings of the ICCV, 2019,
pp. 1042-1051.
[8] L. Mescheder, M. Oechsle, M. Niemeyer, S. Nowozin and A. Geiger,
"Occupancy Networks: Learning 3D Reconstruction in Function Space,"
in Proceedings of the CVPR, 2019, pp. 4455-4465.
[9] S. Peng, M. Niemeyer, L. M. Mescheder, M. Pollefeys, and A. Geiger,
“Convolutional Occupancy Networks,” in Proceedings of the ECCV, Part
III, 2020, vol. 12348, pp. 523–540.
[10] S. Roth and S. R. Richter, "Matryoshka Networks: Predicting 3D
Geometry via Nested Shape Layers," in Proceedings of the CVPR, 2018,
pp. 1936-1944.
[11] S. -L. Liu, H. -X. Guo, H. Pan, P. -S. Wang, X. Tong and Y. Liu,
"Deep Implicit Moving Least-Squares Functions for 3D Reconstruction,"
in Proceedings of the CVPR, 2021, pp. 1788-1797.
[12] M. Yang, Y. Wen, W. Chen, Y. Chen and K. Jia, "Deep Optimized
Priors for 3D Shape Modeling and Reconstruction," in Proceedings of
the CVPR, 2021, pp. 3268-3277.
[13] B. Guillard, E. Remelli, P. Yvernay, and P. Fua, “Sketch2Mesh: Re-
constructing and Editing 3D Shapes From Sketches,” in Proceedings of
the ICCV, Oct. 2021, pp. 13023–13032.
[14] R. Venkatesh et al., “Deep Implicit Surface Point Prediction Networks,”
in Proceedings of the ICCV, Oct. 2021, pp. 12653–12662.
[15] M. Oechsle, S. Peng, and A. Geiger, “UNISURF: Unifying Neural
Implicit Surfaces and Radiance Fields for Multi-View Reconstruction,”
in Proceedings of the ICCV, Oct. 2021, pp. 5589–5599.
[16] G. Fahim, K. Amin, and S. Zarif, “Single-View 3D reconstruction: A
Survey of deep learning methods,” Comput. Graph., vol. 94, pp. 164–190,
2021.
[17] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamo-
orthi, and R. Ng, “NeRF: Representing Scenes as Neural Radiance Fields
for View Synthesis,” in ECCV 2020, vol. 12346, pp. 405–421.
[18] A. Trevithick and B. Yang, “GRF: Learning a General Radiance Field
for 3D Representation and Rendering,” in Proceedings of the ICCV, Oct.
2021, pp. 15182–15192.
[19] Z. Zheng, T. Yu, Q. Dai, and Y. Liu, “Deep Implicit Templates for
3D Shape Representation,” in Proceedings of the CVPR, Jun. 2021, pp.
1429–1439.
[20] Y. Deng, J. Yang, and X. Tong, “Deformed Implicit Field: Modeling
3D Shapes With Learned Dense Correspondence,” in Proceedings of the
CVPR, Jun. 2021, pp. 10286–10296.
[21] M. Ibing, I. Lim, and L. Kobbelt, “3D Shape Generation With Grid-
Based Implicit Functions,” in Proceedings of the CVPR, Jun. 2021, pp.
13559–13568.
[22] L. Zhou, Y. Du, and J. Wu, “3D Shape Generation and Completion
Through Point-Voxel Diffusion,” in Proceedings of the ICCV, Oct. 2021,
pp. 5826–5835.
[23] Z. Liu, H. Tang, Y. Lin, and S. Han, “Point-Voxel CNN for Efficient
3D Deep Learning,” in Advances in NeurIPS, 2019, vol. 32.
[24] Z. Han, C. Chen, Y.-S. Liu, and M. Zwicker, “DRWR: A Differentiable
Renderer without Rendering for Unsupervised 3D Structure Learning
from Silhouette Images,” in Proceedings of the 37th ICML, 2020, vol.
119, pp. 3994–4005.
[25] E. Insafutdinov and A. Dosovitskiy, “Unsupervised Learning of Shape
and Pose with Differentiable Point Clouds,” in Advances in NeurIPS,
2018, vol. 31.
[26] C. Chen, Z. Han, Y.-S. Liu, and M. Zwicker, “Unsupervised Learning
of Fine Structure Generation for 3D Point Clouds by 2D Projections
Matching,” in Proceedings of the ICCV, Oct. 2021, pp. 12466–12477.
[27] F. Engelmann, K. Rematas, B. Leibe, and V. Ferrari, “From Points to
Multi-Object 3D Reconstruction,” in CVPR, Jun. 2021, pp. 4588–4597.
[28] A. X. Chang et al., “ShapeNet: An Information-Rich 3D Model Repo-
sitory,” Stanford University — Technical report arXiv:1512.03012, 2015.