BAB 5 MEMBUAT GAMBAR DENGAN PROYEKSI MENAMPILKAN SPASIAL

Dalam bab ini, kami menyajikan kalibrasi dan skema rendering untuk berbagai jenis permukaan layar. Kami pertama menggambarkan strategi untuk menampilkan planar, sewenang-wenang menampilkan non-planar, dan menampilkan melengkung quadric.

5.1.

Menampilkan Planar
Dalam Bagian 4.2.4 kita menjelaskan teknik single-pass untuk menampilkan ke

permukaan planar. Bahwa teknik merupakan perbaikan atas metode dua-pass render yang lebih umum untuk non-planar permukaan. Di sini, kami menyajikan satu set lengkap teknik untuk menunjukkan penerapan metode single-pass. Pertama, kita menunjukkan bagaimana teknik dapat diintegrasikan dengan kedalaman-buffer berbasis perhitungan visibilitas. Kemudian, kita memperluas konsep homography, karena homographies planar, untuk multiproyektor menampilkan ubin, dan akhirnya kami menguraikan beberapa metode praktis untuk mengkalibrasi dan membuat display tersebut.

Gambar 5.1: (a) menampilkan teknik memungkinkan untuk berbagai konfigurasi proyektor sekitar selaras dan menampilkan; (b) contoh dari tumpang tindih proyektor sewenangwenang sebelum kalibrasi; (c) penampil di lingkungan tampilan akhir.

Proyektor biasanya terpasang sehingga sumbu optik mereka tegak lurus terhadap

permukaan layar planar. Konfigurasi tersebut juga digunakan dalam lingkungan mendalam untuk membuat citra perspectively benar untuk pengguna dilacak kepala bergerak. Dengan desain, sistem tampilan khas mencoba mempertahankan citra paralel pesawat ke pesawat dari
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 54

permukaan layar. Namun, ini menyebabkan kebutuhan konstan elektro-mekanis keselarasan dan kalibrasi proyektor, layar, dan struktur pendukung. Secara umum, saat proyektor kira-kira diposisikan, kemungkinan akan miring. Bahkan jika proyektor ortogonal diposisikan dalam sistem layar besar, setelah periode waktu yang dapat menjadi miring karena variasi mekanik atau termal. Kita dapat mengatasi masalah rendering gambar perspectively benar dengan proyektor miring menggunakan kerangka render. Tujuan kami adalah untuk menghindari penyesuaian mekanis sering dan sebagai gantinya, mengkompensasi distorsi gambar menggunakan pipa grafis. Meskipun teknik untuk prewarp gambar untuk menghindari distorsi terlihat ada, teknik yang dijelaskan di sini mencapai hasil tanpa biaya tambahan rendering atau mempengaruhi kualitas visual. Kasus planar dari kerangka render menggunakan homography antara titik-titik pada layar dan proyektor piksel, disebabkan karena planarity layar. Dengan menggunakan homography selama rendering, kita menunjukkan bahwa proyektor miring dapat digunakan untuk dengan mudah membuat immersive menampilkan. Keuntungan utama adalah bahwa kita dapat menggunakan pipa grafis tradisional dengan matriks proyeksi dimodifikasi dan perkiraan kedalaman buffer.

Gambar 5.2: (a) Tradisional proyektor ortogonal dan membuat gambar persegi panjang, (b) proyektor miring membuat gambar keystoned.

5.1.1. Pendekatan Sebelumnya

Dalam kebanyakan kasus, masalah proyeksi miring dihindari hanya dengan desain. Proyektor ortogonal membuat didefinisikan dengan baik gambar persegi panjang. Dalam beberapa proyektor kerucut diproyeksikan tampaknya off-axis, namun tampilan layar masih tegak lurus dengan sumbu optik. Ketika proyektor yang miring, teknik yang populer adalah dengan menggunakan metode rendering dua-pass untuk prewarp gambar yang diproyeksikan. Dalam lulus pertama, salah menghitung gambar adegan virtual 3D dari sudut pandang pengguna kepala dilacak. Hasilnya disimpan dalam memori tekstur dan, di kedua lulus,
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 55

gambar melengkung menggunakan pemetaan tekstur. Gambar ini menyesatkan, ketika ditampilkan oleh proyektor, muncul perspectively benar untuk pengguna. Lulus render kedua meningkatkan biaya komputasi dan, dalam kasus mendalam menampilkan, juga akan meningkatkan latency render. Selain itu, tekstur pemetaan gambar resolusi terbatas dari hasil lulus pertama mengarah ke resampling artefak seperti aliasing dan jaggies. Karena kerugian dalam kualitas visual, seperti dua-pass teknik cenderung bekerja dengan baik hanya ketika proyektor resolusi tinggi yang digunakan.

5.1.2. Tunggal Proyektor

Ketika titik-titik permukaan 3D diterangi oleh semua piksel proyektor terletak pada pesawat, kita dapat menggunakan algoritma yang menghindari tahap pemetaan tekstur tambahan. Metode berikut ini mencapai hasilnya menggunakan pass render tunggal. Mari kita kembali mengunjungi masalah rendering gambar dari titik V virtual untuk pengguna di T. Dalam hal ini, permukaan layar diwakili oleh pesawat, bagaimanapun, sumbu optik proyektor mungkin miring sehubungan dengan menampilkan pesawat. Karena proyektor piksel mP menerangi titik M pada layar, proses rendering yang sesuai harus peta V menunjuk ke mP piksel. Hal ini dapat dicapai dalam dua langkah dari kerangka render. Pertama, menghitung gambar dari V dari lokasi pengguna T, yang dinotasikan dengan mT menggunakan tampilan frustum PT. Lalu, menemukan pemetaan antara mT dan mP. Sebuah pengamatan sederhana adalah bahwa dua gambar dari titik di pesawat (seperti M) yang terkait dengan homography disebabkan oleh pesawat layar. Oleh karena itu, dua gambar dari setiap titik maya V, mT dihitung dengan menggunakan PT dan mP proyektor, juga terkait dengan homography yang sama. Homography ini juga dikenal sebagai matriks 33 yang didefinisikan sampai dengan skala, yang dinotasikan dengan A. Pengamatan ini memungkinkan kita untuk membuat matriks proyeksi baru untuk rendering. Matriks proyeksi adalah produk dari suatu matriks proyeksi off-axis, (dari sudut pandang pengguna) dan 3 3 homography matriks A. Ada berbagai cara untuk membuat matriks proyeksi dan homography yang sesuai matriks A. Kami menjelaskan metode yang update PT sebagai pengguna bergerak, tapi matriks homography tetap konstan. Orthogonal proyeksi. Langkah pertama dalam menciptakan mT gambar untuk V untuk lokasi pengguna tertentu adalah sama seperti proses untuk menampilkan gambar dengan asumsi proyektor ortogonal. Metode saat ini digunakan dalam sistem mendalam menampilkan banyak. Di sini kita
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 56

menggambarkan teknik yang lebih umum. Teknik ini juga berkaitan dengan gambar yang diproyeksikan mungkin non-persegi panjang karena keystoning.

Gambar 5.3: Untuk proyektor ortogonal, proyeksi off-axis sederhana dapat digunakan. Mari kita mempertimbangkan definisi bagi pengguna di T. Tanpa kehilangan

umum, mari kita asumsikan bahwa pesawat tampilan didefinisikan oleh z = 0. Pertama, menciptakan (dunia koordinat) sumbu-blok persegi panjang S pada berlari menyinari segiempat keystoned oleh proyektor (Gambar 5.4). Matriks proyeksi ditentukan oleh tampilan piramida frustum diciptakan oleh T dan empat penjuru S. Jadi, T adalah pusat proyeksi dan S pada adalah pesawat retina. Sebagai pengguna bergerak, S tetap sama, namun T, dan karenanya matriks proyeksi , diperbarui.

Gambar 5.4: Mendefinisikan menggunakan sumbu PT-blok persegi panjang berlari S.

Jika proyektor ortogonal,

S dapat sama dengan area persegi diterangi oleh

proyektor. Namun, bahkan jika daerah tidak persegi panjang (karena, katakanlah, bentuk
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 57

frame buffer yang dipilih untuk proyeksi tidak persegi panjang), matriks proyeksi digunakan untuk membuat gambar yang benar.

dapat

Pada langkah kedua, gambar yang dihitung dengan asumsi sebuah proyektor ortogonal dikoreksi untuk mengkompensasi proyeksi miring menggunakan homography. Para homography-antara gambar yang dibuat dengan dan gambar yang akan diberikan dalam

frame buffer-proyektor diinduksi karena bidang layar. Matriks homography, A3 3, yang dikenal didefinisikan sampai dengan skala dan koordinat peta pixel dari satu gambar ke gambar kedua [44, 33]. Kita perlu menghitung delapan parameter yang tidak diketahui A3 3 yang berhubungan dengan dua gambar dari V: mT karena , dan gambar di proyektor, mP.

dimana simbol menunjukkan kesetaraan hingga faktor skala. Perhatikan bahwa pilihan pemandangan frustum untuk membuat ini homography independen dari lokasi pengguna dan karenanya tetap konstan. Jika tiga-dimensi posisi titik pada diterangi oleh empat atau lebih piksel proyektor diketahui, delapan parameter dari matriks homography, A = [a11, a12, A13, a21, a22, a23, A31, A32, 1 ], dapat dengan mudah dihitung. Karena matriks homography tetap konstan, dan juga dapat dihitung secara off-line.

5.1.3. Single-pass Rendering

Kami idealnya ingin menghitung koordinat pixel mP langsung dari titik virtual 3D V. Ini dapat dicapai dengan menciptakan 34 matriks proyeksi. Mari kita mempertimbangkan bagaimana pendekatan ini dapat digunakan dalam pipa grafis tradisional. Kita perlu menciptakan sebuah 4 4 versi, dilambangkan dengan PT dan dari A, dilambangkan dengan A4 4. Sebagai matriks proyeksi tradisional, PT transformasi koordinat homogen 3D ke 3D koordinat homogen dinormalisasi (4 vektor elemen). Biasanya, seseorang dapat memperoleh koordinat pixel setelah pembagian perspektif. Kami membuat matriks baru, A4 4 untuk mengubah koordinat 3D ini normal (tanpa pembagian perspektif) ke koordinat piksel proyektor tetapi mencoba untuk menjaga nilai-nilai mendalam utuh:

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

58

Matriks proyeksi lengkap (Sangat mudah untuk memverifikasi bahwa [MPX, mPy, mPz, 1] T A4 4PT [V, 1] T.) Ini mencapai rendering yang diinginkan dan warping menggunakan matriks proyeksi tunggal tanpa biaya tambahan. Karena gambar dalam frame buffer dihasilkan dalam single pass, tidak ada artefak resampling. Akhirnya, ketika gambar diproyeksikan pada permukaan coplanar dengan, objek virtual yang ditampilkan tampak perspectively benar. Pendekatan ini cukup untuk membuat gambar yang benar virtual tiga dimensi poin. Namun, jika perhitungan visibilitas didasarkan pada kedalaman buffer tradisional atau z-buffer, satu modifikasi penting adalah diperlukan. Nilai-nilai mendalam juga terpengaruh karena warping, dan karenanya, pada langkah ketiga, mereka berubah sehingga mereka dapat digunakan untuk perhitungan visibilitas.

Gambar 5.5: (a) Langkah pertama menggunakan sederhana off-sumbu matriks proyeksi PT; (b) dalam langkah kedua, warp menggunakan homography A. matriks proyeksi dimodifikasi adalah APT.

Namun, semua tiga langkah dapat diimplementasikan menggunakan 44 matriks proyeksi seperti di render tradisional menggunakan hardware grafis. Pada bagian ini, kita fokus pada aplikasi yang melibatkan sistem tampilan depan proyeksi, namun teknik juga berlaku untuk proyeksi belakang sistem seperti CAVE atau Immersive workbenches.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

59

5.1.4. Visibilitas Menggunakan Buffer Kedalaman

Meskipun pendekatan yang dijelaskan dalam Bagian 5.1.2 menciptakan gambar yang benar dari virtual tiga dimensi poin, penting untuk dicatat bahwa kedalaman buffer tradisional tidak dapat secara efektif digunakan untuk visibilitas dan kliping. Masalah dengan kedalaman buffer. Seperti kita lihat sebelumnya, titik V virtual adalah diberikan dengan menggunakan matriks proyeksi Nilai-nilai kedalaman poin virtual antara pesawat

dekat dan jauh karena PT yang dipetakan ke [-1, 1]. Asumsikan [MTX, mTy, MTZ, MTW] T = PT [V, 1] T dan nilai kedalaman yang sesuai adalah MTZ / MTW [-1, 1]. Setelah homography, nilai kedalaman baru, sebenarnya

yang (1) tidak mungkin dalam [-1,1], menghasilkan kliping yang tidak diinginkan dengan pesawat dekat dan jauh dari frustum pandang, dan (2) adalah fungsi dari koordinat pixel. Mari kita mempertimbangkan masalah interpolasi selama konversi scan dalam render tradisional. Nilai kedalaman (serta warna, normal, dan koordinat tekstur) pada pixel harus dihitung menggunakan interpolasi hiperbolik. Koordinat homogen bersama dengan 4 4 matriks proyeksi perspektif (seperti PT) mencapai interpolasi hiperbolik nilai kedalaman menggunakan interpolasi linier sederhana (dari timbal balik dari nilai-nilai). Dalam kasus kami, bila menggunakan matriks proyeksi , kita melakukan dua interpolasi

hiperbolik berturut-turut, pertama untuk proyeksi perspektif dan kedua untuk homography tersebut. Pada awalnya, mungkin tampak bahwa 4 4 matriks tunggal tidak akan mampu mencapai interpolasi diperlukan. Untungnya, sedangkan matriks pertama PT

memperkenalkan hubungan hiperbolik secara mendalam (atau 'z') arah, matriks 4 homography A4 mengarah ke kenaikan hiperbolik sepanjang sumbu x dan y koordinat dari sistem koordinat melihat. Jadi baik mendalam seperti halnya layar transformasi ruang dapat dicapai dengan 4 4 matriks tunggal. Jadi, meskipun homography tidak memperkenalkan apapun ketidakakuratan dalam interpolasi nilai-nilai mendalam dalam frame buffer, kliping dengan pesawat dekat dan jauh menciptakan masalah serius, beberapa bagian dari obyek virtual mungkin tidak dapat dibuka. Perkiraan kedalaman buffer. Kita dapat mencapai rendering dan warping dalam single pass, bagaimanapun, menggunakan pendekatan dari buffer kedalaman.
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 60

Gambar 5.6: Plot menunjukkan nilai kedalaman buffer sepanjang garis scan untuk poin sepanjang kedalaman konstan-(a) menggunakan PT, (b) setelah homography, A4 4PT, rentang nilai kedalaman luar [-1, 1]; (c) dengan perkiraan kedalaman buffer.

Kerangka render menggambarkan pilihan pemandangan frustum bagi PT didasarkan pada S. Karena S lebih besar dari citra yang ditampilkan, x dan y koordinat normalisasi karena PT, MTX / MTW dan mTy / MTW [-1, 1] untuk poin yang ditampilkan dalam S. Oleh karena itu,

Faktor skala ini memastikan bahwa nilai-nilai kedalaman yang dihasilkan setelah warping dengan homography adalah [-1, 1]. Ini akan menghindari kliping yang tidak diinginkan dengan pesawat dekat dan jauh. Selanjutnya, dengan konstruksi PT, sudut antara sumbu optik proyektor dan normal dari permukaan planar adalah sama sebagai sudut antara sumbu optik dan normal dari pesawat retina dari frustum tampilan untuk PT. Untuk meringkas, matriks proyeksi dimodifikasi

5.1.5. Beberapa Proyektor

Kita dapat memperpanjang render single-pass yang sama dan teknik warping untuk mendaftar beberapa tumpang tindih proyektor untuk membuat layar yang lebih besar pada dinding planar. Pada bagian ini, kami menjelaskan modifikasi yang diperlukan. Matriks proyeksi untuk dua proyektor P1 dan P2. Kami memanfaatkan homography antara gambar dalam dua buffer bingkai proyektor. Jika 3 3 homography matriks pemetaan koordinat
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 61

pixel dari proyektor 1 dengan yang ada di proyektor 2 adalah A21, maka 3 4 matriks proyeksi dapat diganti dengan .

Gambar 5.7: Homography antara proyektor yang tumpang tindih pada permukaan planar layar.

Seperti telah kita lihat sebelumnya, meskipun yang sesuai 4 4 matriks

akan

menciptakan gambar yang benar dari tiga-dimensi poin virtual, kita tidak dapat menggunakan buffer kedalaman tradisional untuk visibilitas dan dipaksa untuk menggunakan nilai kedalaman didekati. Jika P1 sendiri merupakan hasil dari proyeksi miring, sehingga .

untuk mencapai render benar, bengkok, dan transformasi kedalaman buffer. Dalam prakteknya, karena hanya melibatkan delapan parameter yang tidak diketahui, lebih mudah untuk menghitung homography A21 daripada mengkalibrasi proyektor dan menghitung matriks proyeksi P2. Hal ini juga diperlukan untuk mencapai pencampuran intensitas proyektor tumpang tindih. Intensitas piksel berbaring dalam segiempat di kedua proyektor tertimbang untuk mencapai intensitas roll-off [97, 27, 185] dan perlu pencampuran. Teknik untuk dicampur intensitas dalam kasus dua-pass render. Bagian-bagian yang tidak diinginkan dari gambar proyektor, misalnya sudut-sudut daerah diproyeksikan luar wilayah layar didefinisikan, dapat dipotong untuk menciptakan citra yang besar dan persegi panjang dengan beberapa proyektor. Daerah dalam frame buffer proyektor disembuyikan off oleh rendering poligon hitam di pesawat dekat. proyeksi proyektor pertama biasanya penanda standar tidak tersedia, misalnya, ketika seseorang ingin untuk hanya bertujuan proyektor di layar dan membuat kepala-dilacak gambar. Kami menggambarkan teknik yang menghitung homography dan transformasi secara bersamaan. Asumsikan layar mendefinisikan WC: pesawat z = 0 dan asalnya di dekat pusat segiempat diproyeksikan. Kami mengambil bacaan pelacak lokasi pada layar diterangi oleh piksel proyektor. Kami akan menghitung transformasi antara pelacak. Mari kita menunjukkan pembacaan tracker M titik tiga-dimensi dengan Mtrk.
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 62

 Tetapkan salah satu lokasi yang diukur diterangi oleh piksel diproyeksikan sebagai asal WC, O, (pengukuran tracker efektif memberikan terjemahan antara asal-usul dalam kedua sistem koordinat). Untuk menemukan rotasi relatif, menemukan pesawat terbaik-sesuai tracker koordinat layar, layar normal dinotasikan dengan vektor r3. Tugaskan satu pixel diterangi dalam arah horisontal perkiraan, Mx, sebagai titik pada sumbu x-WC. Tentukan vektor koordinat di tracker, menormalkan untuk

mendapatkan vektor r1. Rotasi adalah R = [r1; r3 r1; r3]. Transformasi adalah [R (-R * Otrk); 0 0 0 1]. Tentukan tiga-dimensi koordinat titik pada layar diterangi oleh piksel proyektor Akhirnya, Hitung A3 homography 3. Homography memungkinkan perhitungan luasan proyektor pencahayaan. Wei Chao-Chen di University of North Carolina (UNC) di Chapel Hill telah menerapkan tampilan stereo menggunakan dua proyektor benar-benar tumpang tindih. Salah satu proyektor digunakan untuk menampilkan gambar untuk mata kiri dan yang kedua untuk mata kanan. Dua gambar dibedakan dengan menggunakan polarisasi filter optik pada proyektor dan kacamata. Dia dihitung untuk masing-masing PT proyektor dan homography umum matriks A3 3 menggunakan UNC HiBall tracker. Untuk proyektor beberapa tumpang tindih, kita benar-benar menggunakan kamera untuk menemukan homography antara gambar yang diproyeksikan, dan kami juga menggunakan informasi yang sama untuk komputasi fungsi bobot untuk campuran intensitas. Penggunaan umpan balik kamera untuk menampilkan multiprojector dijelaskan dengan lebih rinci nanti. Ringkasan teknik. Urutan langkah-langkah yang disarankan untuk menggunakan proyektor miring tunggal untuk membuat tampilan mendalam planar diberikan di sini. Selama preprocessing: Aktifkan (empat atau lebih) proyektor piksel, MP1 ... MPN dan menemukan, di tracker koordinat, posisi tiga-dimensi titik menyala pada pesawat, M1 ... Mn. Hitung persamaan pesawat dan mengubah sistem koordinat sehingga coplanar dengan z = 0.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

63

 Cari homography, AP, antara

dan MPI. Menggunakan AP, menghitung tiga-

dimensi poin pada diterangi oleh pixel sudut proyektor. Kemudian menemukan sumbu-blok persegi panjang, S, bahwa batas-batas keempat sudut segiempat menyala (min dan max dari x dan y koordinat). Untuk lokasi pengguna acak T, PT menghitung untuk frustum dibuat dengan S. Cari koordinat citra dinormalisasi. Hitunglah A3 homography 3, antara MTI dari A3 3 Persamaan menggunakan (5.1).

dan proyektor piksel MPI. Buat Saat run-waktu di setiap frame:

Perbarui T untuk lokasi pengguna baru dan menghitung PT (menggunakan fungsi API seperti grafis glFrustum). Gunakan PT sebagai matriks proyeksi baru selama rendering.

Seperti yang dapat dilihat, satu-satunya intervensi manusia yang terlibat adalah menemukan tiga-dimensi tracker.

5.1.6. Aplikasi
Teknik-teknik baru dengan mudah dapat digunakan dalam sistem mendalam tampilan saat ini. Misalnya, dalam mendalam workbenches, jauh lebih mudah untuk mengambil bacaan tracker pada beberapa poin (diterangi oleh proyektor), menghitung homography off-line, dan kemudian menggunakan matriks proyeksi dimodifikasi untuk sisa sesi. Dalam CAVE, satu secara kasar dapat menyelaraskan proyektor sehingga mereka benarbenar membuat gambar yang lebih besar dari ukuran yang dapat digunakan layar. Karena bagian layar yang dapat digunakan sudah ditandai (kita dapat mengasumsikan bahwa penanda yang stabil seperti konfigurasi proyektor dan cermin), salah satu kebutuhan hanya menemukan pixel proyektor yang menerangi mereka spidol. Sudut kubus juga memungkinkan kelangsungan geometris di layar yang bertemu di sudut kanan. Bagian dari citra yang diproyeksikan di luar area layar yang dapat digunakan bisa ditutupi selama rendering.

5.1.7. Masalah
Teknik-teknik yang berlaku hanya ketika lubang jarum proyeksi diasumsikan model (ganda dari model kamera lubang jarum) adalah sah. Namun, seperti yang terlihat pada Gambar 5.8, asumsi ini berlaku bahkan untuk biaya rendah lensa tunggal proyektor
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 64

komersial. Namun, proyektor biasanya memiliki kedalaman terbatas lapangan dan karenanya, ketika mereka miring, semua piksel mungkin tidak fokus. Citra ini dalam fokus hanya untuk rentang yang terbatas sudut antara yang normal pesawat layar dan proyektor sumbu optik. Dalam kasus layar proyektor multi ubin, yang alpha blending dilakukan untuk wilayah tumpang tindih, dan karena itu dapat diperluas untuk mencakup koreksi intensitas proyektor miring tanpa biaya tambahan. Transformasi nilai-buffer kedalaman dasarnya mengurangi rentang nilai yang dapat digunakan kedalaman, dan karenanya resolusi kedalaman juga menurun. Dalam hal kecepatan resolusi, rendering, dan perhitungan visibilitas, gambar yang ditampilkan secara visual setara dengan yang dihasilkan oleh sistem proyeksi ortogonal.

Gambar 5.8: Untuk sebuah pesawat diberikan fokus, proyektor dapat diperlakukan sebagai perangkat pin-lubang. Gambar-gambar di sini menunjukkan verifikasi eksperimental linear perspektif proyeksi-(a) segmen garis lurus pada bidang gambar muncul lurus pada permukaan layar planar, (b) lebih lanjut, segmen garis diproyeksikan oleh proyektor tumpang tindih dapat disesuaikan dengan akurasi sub-pixel menggunakan homography; (c) contoh tumpang tindih teks dalam gambar melengkung.

Gambar 5.9: (a) Gambar yang ditampilkan oleh proyektor miring yang menciptakan citra keystoned dikoreksi menggunakan homography; (b) gambar yang ditampilkan tanpa dan dengan pencampuran intensitas.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

65

5.1.8. Diskusi
Teknik yang disajikan dalam bagian ini memungkinkan rendering gambar yang benar bahkan ketika proyektor diposisikan tanpa alignment tepat. Teknik untuk prewarping gambar menggunakan render dua-pass yang sudah tersedia. Namun, dua keunggulan utama dari teknik ini adalah bahwa hal itu tidak meningkatkan biaya rendering dan tidak memperkenalkan artefak seperti aliasing resampling. Kemungkinan render gambar dengan proyektor miring yang setara visual dapat menghilangkan kebutuhan untuk praktis elektromekanis penyesuaian proyektor, layar dan struktur pendukung.

5.2.

Tampilan Non-Planar
Mari kita mempertimbangkan prosedur yang lengkap untuk membuat layar

menggunakan proyektor tunggal pada permukaan layar non-planar. Proyektor konvensional berbasis sistem tampilan biasanya dirancang di sekitar konfigurasi yang tepat dan teratur proyektor dan permukaan layar. Sementara ini hasil render dalam kesederhanaan dan kecepatan, itu juga berarti konstruksi melelahkan dan pemeliharaan. Kerangka render menyediakan prosedur untuk menciptakan gambar ketika semua tiga komponen-proyeksi geometris model, representasi dari permukaan layar, dan lokasi pengguna-dikenal. Di sini, kita menjelaskan sebuah metode berbasis kamera untuk memperkirakan parameter-parameter tersebut dan menggunakannya dalam kerangka render setelah beberapa pengolahan. Prosedur kalibrasi didasarkan pada menggunakan sepasang kamera stereo yang ditempatkan pada dasar yang luas dengan setiap kamera berorientasi untuk mengamati permukaan proyektor seluruh diterangi. Gambar 5.10 menggambarkan tata letak ini. Langkah 1 dari prosedur kalibrasi melibatkan pasangan kamera menggunakan pola kalibrasi fisik. Kalibrasi Langkah 2 melibatkan estimasi geometri tampilan permukaan dan Langkah 3 mengevaluasi proyektor parameter intrinsik dan ekstrinsik. Metode ini didasarkan pada teknik visi komputer standar dan relatif mudah. Namun, mereka secara sistematis membangun satu sama lain. Pola kalibrasi dapat pensiun setelah prosedur kalibrasi yang lengkap.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

66

Gambar 5.10: Konfigurasi untuk proyektor tunggal.

Kalibrasi kamera. Untuk mengkalibrasi pasangan kamera, mari kita posisi kalibrasi pola tiga dimensi dengan poin fitur spasial-dikenal dalam persimpangan frusta pandangan mereka. Dengan mengekstraksi fitur poin dalam dua-dimensi gambar kamera sesuai dengan dimensi dikenal tiga poin pada pola kalibrasi, kita dapat menentukan 3 4 matriks proyeksi untuk setiap kamera yang didasarkan pada proyeksi perspektif:

Perspektif Persamaan peta titik tiga-dimensi (X, Y, Z) dalam ruang obyek ke piksel dua dimensi (u, v) di ruang kamera Matriks proyeksi , ditentukan sampai dengan faktor

skala, merupakan definisi bersambung parameter kamera intrinsik dan ekstrinsik dengan asumsi model lubang jarum optik. Dengan enam atau lebih korespondensi antara tiga-dimensi titik pada pola kalibrasi dan pemetaan mereka dalam gambar kamera, 11 parameter yang tidak diketahui dapat dipecahkan dengan menggunakan metode kuadrat-terkecil. Setelah kalibrasi independen dari setiap kamera, kita dapat mengevaluasi geometri dari permukaan layar menggunakan teknik triangulasi berdasarkan korespondensi diekstraksi dari pasangan foto stereo. Korespondensi dalam gambar dengan mudah ditentukan karena kita dapat menggunakan proyektor untuk menerangi titik berurutan setelah titik sampai kita telah membangun awan tiga titik yang mewakili dimensi permukaan layar. Proyektor kalibrasi. Sebagai hasil dari proses ekstraksi permukaan, untuk setiap pixel proyektor (u, v), kita sekarang memiliki diterangi tiga dimensi yang sesuai titik permukaan (X, Y, Z). Dengan menggunakan korespondensi, kita dapat memecahkan matriks P proyektor proyeksi seperti yang kita lakukan untuk kamera. Langkah-langkah kalibrasi memberikan definisi geometris dari dua komponen dari kerangka render: model proyeksi proyektor dan aproksimasi poligonal dari permukaan layar. Lokasi pengguna terus diperoleh menggunakan sistem pelacakan. Untuk membuat citra
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 67

perspectively benar pada permukaan yang tidak teratur, kita menggunakan metode two-pass render yang sama dan memperbarui gambar sebagai pengguna bergerak.

5.2.1. Beberapa Proyektor Tampilan

Sisa dari bagian ini akan membahas isu-isu di atas skala teknik kalibrasi dan rendering dari sistem proyektor tunggal untuk sistem multi-proyektor. Mari kita asumsikan kita telah secara akurat memperkirakan parameter.

Gambar 5.11: Sebuah gambar panorama (100 derajat FOV) dari sistem lima panorama layar proyektor. Pertama, untuk mengkalibrasi beberapa proyektor, kita ulangi prosedur dibahas dalam bagian sebelumnya, tapi kemudian kita harus mendaftar ulang definisi dan parameter permukaan layar proyektor untuk seluruh sistem ke ruang koordinat dunia umum. Kedua, daerah permukaan layar proyektor di mana beberapa tumpang tindih terasa terang karena beberapa iluminasi. Ini dikoreksi oleh pelemahan intensitas pixel proyektor di daerah tumpang tindih.

5.3.

Proyektor Tumpang Tindih Intensitas Blending

Kawasan permukaan layar yang diterangi oleh beberapa proyektor terlihat lebih

terang, membuat daerah tumpang tindih yang sangat nyata bagi pengguna. Untuk membuat tumpang tindih tampak mulus, kita menetapkan berat badan intensitas [0,0-1,0] untuk setiap pixel dalam proyektor. Bobot ini diberikan pedoman berikut ini: Jumlah dari bobot intensitas piksel proyektor yang sesuai adalah 1 sehingga intensitas dinormalisasi. Bobot untuk piksel dari sebuah proyektor sepanjang perubahan permukaan fisik lancar dalam dan dekat tumpang tindih sehingga perbedaan warna interprojector tidak menciptakan diskontinuitas terlihat dalam gambar yang ditampilkan.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

68

Dalam bab berikutnya, kita membahas algoritma intensitas pencampuran secara lebih rinci, di mana adanya diskontinuitas kedalaman di wilayah tumpang tindih membuat pedoman ketiga diperlukan. Di sini, kita menjelaskan algoritma dengan asumsi tidak ada diskontinuitas mendalam di wilayah tumpang tindih. Kami menggunakan teknik alpha blending untuk melemahkan intensitas pixel proyektor. Kita pada dasarnya membuat masker alpha untuk setiap proyektor, yang memberikan berat intensitas [0,0-1,0] untuk setiap pixel dalam proyektor. Beratnya adalah tambahan dimodifikasi melalui tabel look-up gamma untuk mengoreksi non-linearities proyektor. Meskipun berbagai metode dapat digunakan untuk menemukan bobot intensitas, kami menggunakan teknik feather yang dipengaruhi oleh teknik umum digunakan dalam pencampuran beberapa gambar untuk photomosaics panorama. Untuk menemukan alfa, kita menggunakan kamera untuk melihat wilayah tumpang tindih beberapa proyektor. Kami bentuk lambung Hi cembung di pesawat gambar kamera piksel proyektor diamati Pi. Alfaberat Am (u, v) berhubungan dengan pixel proyektor Pm itu (u, v) adalah dievaluasi sebagai berikut:

Dimana i(m, u, v) = wi(m, u, v) * di(m, u, v) dan i adalah indeks dari proyektor diamati oleh kamera (termasuk proyektor m).

Gambar 5.12: (a) posisi tumpang tindih dari tiga proyektor; (b) masker alpha diciptakan untuk proyektor 1, 2 dan 3 menggunakan algoritma feathering.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

69

Dalam Persamaan diatas, wi(m, u, v) = 1 1 jika piksel mengamati kamera pixel proyektor Pm's pixel (u, v) adalah di dalam lambung Hi cembung, jika wi(m, u, v) = 0. The term di(m, u, v) adalah jarak pixel mengamati kamera pixel proyektor Pm itu (u, v) ke tepi terdekat Hi. Gambar 5.12 menunjukkan masker alpha dibuat untuk tiga proyektor tumpang tindih.

5.3.1. Implementasi
Mari kita melihat sebuah sistem yang dibangun menggunakan ide-ide dijelaskan sebelumnya. Pengaturan sistem meliputi lima resolusi 1024 768 SHARP proyektor LCD dan beberapa JVC dan Pulnix 640 480 kamera resolusi. Proyektor adalah langit-langit dipasang sekitar tiga sampai empat meter dari permukaan layar. Proyektor ini santai diposisikan dengan daerah tumpang tindih ganda untuk menghasilkan medan pandang 180 derajat ketika pengguna berada di pusat layar. Kalibrasi dari sistem (yaitu, evaluasi dan parameter kamera proyektor dan layar estimasi permukaan) dilakukan sekali sebagai langkah prerendering. Hal ini dicapai dengan menggunakan kubus 0,6 meter yang dibangun sebagai pola target fisik dan workstation Dell NT dilengkapi dengan grafis OpenGL, Meteor Matrox II bingkai tangan-tangan, dan MATLAB perangkat lunak. Stereo korespondensi diperoleh dengan memproyeksikan bentuk cahaya kumpulan data terstruktur yang diperlukan untuk kalibrasi proyektor, layar rekonstruksi permukaan dan unifikasi, generasi mesh, dan generasi alpha masker. Pengolahan sebenarnya untuk langkah ini dilakukan secara offline menggunakan MATLAB. Kepadatan pengambilan sampel yang diperlukan dari struktur-cahaya pola tergantung pada kompleksitas dari permukaan layar dan kebutuhan untuk akurat menemukan tepi tumpang tindih proyektor untuk generasi masker alfa. Rendering grafis dilakukan pada SGI InfiniteReality2 untuk setiap proyektor menggunakan API OpenGL. Sementara rendering pipeline kami memiliki biaya komputasi tambahan karena langkah-langkah gambar warping, biaya ini adalah tetap dan tidak tergantung dari kompleksitas adegan yang diberikan. Gambar 5.13 menunjukkan setup kami dengan lima proyektor membentuk gambar panorama mulus.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

70

Gambar 5.13: (a) Tampilan lingkungan dengan lima proyektor; (b) dan (c) gambar nampak mulus dan diperbarui sebagai pengguna bergerak. 5.3.2.

Kasus Khusus (Special Case)

Kami menyajikan solusi umum untuk menciptakan multi-tampilan proyektor

wilayah besar di mana permukaan layar dapat teratur dan gambar yang benar untuk pengguna kepala dilacak. Teknik-teknik untuk kasus ini yang paling umum dapat disederhanakan dalam kondisi tertentu seperti (1) ketika penampil yang statis daripada yang bergerak, (2) bila permukaan layar diketahui planar, atau (3) geometri dari permukaan layar adalah sama dengan objek virtual yang ditampilkan. Mari kita lihat masalah dalam sistem yang dibangun untuk pengguna statis. Kasus (2) digambarkan di bagian awal bab ini dan Kasus (3) dijelaskan kemudian dalam bab ini. Fungsi pemetaan dapat diperoleh secara langsung dengan menggunakan kamera untuk meniru penampil pada lokasi tertentu. Kamera mengamati poin diterangi oleh proyektor di lingkungan layar, membangun penampil-ke-tampilan korespondensi.

Menggunakan teknik ini, proses rendering mengimplementasikan dua tahap dari kerangka render: (1) menghitung gambar yang diinginkan dan beban ke dalam memori tekstur dan (2) lungsin tekstur melalui pemetaan penampil-ke-display untuk menghasilkan citra yang benar. Intensitas pencampuran proyektor tumpang tindih seperti pada Bagian 5.2.1. Ini kasus khusus eksplisit untuk menghindari pemecahan untuk tiga-dimensi parameter, akan tetapi membatasi pengguna untuk satu posisi disekitar layar.

5.4.

Menampilkan Lengkung Quadric (Quadric Curved Displays)

5.4.1. Dasar
Kami menyajikan notasi dan dasar-dasar transfer quadric. Pemetaan antara dua pandangan perspektif dari suatu permukaan Q buram quadric dalam tiga-dimensi dapat dinyatakan dengan menggunakan fungsi transfer quadric. Sementara transfer homography planar dapat dihitung dari empat atau lebih korespondensi piksel, mentransfer quadric
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 71

membutuhkan sembilan atau lebih korespondensi. Transfer quadric dapat didefinisikan dalam bentuk tertutup menggunakan tiga-dimensi permukaan quadric Q dan parameter tambahan yang berhubungan proyeksi perspektif dua pandangan. Transfer quadric dalam kasus kami berarti mentransfer gambar dari pandangan pertama dengan pandangan kedua. Q quadric adalah permukaan diwakili oleh 4 4 matriks simetris, seperti bahwa tiga-dimensi poin homogen X (dinyatakan sebagai vektor 4 1) yang terletak pada permukaan memenuhi kendala kuadrat, XT QX = 0. Q quadric memiliki 9 derajat kebebasan yang sesuai dengan unsur-unsur independen dari matriks. Matriks simetrik dan didefinisikan hingga skala keseluruhan. Koordinat homogen x pixel yang sesuai pada tampilan pertama dan 'x pada tampilan kedua adalah terkait dengan:

Dari korespondensi piksel (x, x '), kita menghitung 21 tidak diketahui: 10 untuk 3D quadric diketahui Q, delapan untuk sebuah matriks 3 3 homography B, dan tiga lagi untuk e epipole di koordinat homogen. E epipole adalah gambar dari pusat proyeksi pandangan pertama dalam tampilan kedua. Menandatangani menunjukkan kesetaraan sampai dengan skala koordinat homogen. Q adalah matriks didekomposisi sebagai berikut:

Jadi, Q33 adalah atas 3 3 submatriks simetris dari Q dan q adalah 3-vektor. Q (4, 4), atau d, adalah non-nol jika quadric tidak lulus melalui titik asal (yaitu, pusat proyeksi pandangan pertama). Oleh karena itu, dapat dengan aman ditugaskan untuk menjadi 1,0 untuk permukaan layar paling. Dua dimensi akhir piksel koordinat untuk x piksel homogen 'adalah (x' (1) / x '(3), x' (2) / x '(3)). Transfer dijelaskan oleh 21 parameter memiliki empat parameter tergantung [169, 203]. Ambiguitas ini dihapus [158] dengan mendefinisikan. A = B - eqT, E = qqT Q33,

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

72

Sehingga,

Persamaan xt Ex = 0 mendefinisikan kerucut garis besar quadric dalam pandangan pertama. (Ini berbentuk kerucut garis geometris dapat divisualisasikan sebagai gambar siluet atau titik-titik pada permukaan dimana sinar tampilan secara lokal bersinggungan dengan permukaan (misalnya, elips siluet sebuah bola dilihat dari luar lingkup.)) A adalah homography melalui pesawat kutub antara yang pertama dan tampilan kedua. Ambiguitas dalam skala relatif antara E dan e dihapus dengan memperkenalkan kendala normalisasi, E (3, 3) = 1. Tanda di depan akar kuadrat adalah tetap dalam konik garis dalam gambar. Tanda itu mudah ditentukan dengan pengujian persamaan di atas dengan cara menghubungkannya dengan koordinat untuk satu pasang pixel yang sesuai. Perhatikan bahwa parameter mentransfer quadric = {A, E, e} dapat langsung dihitung dari sembilan atau lebih korespondensi pixel dalam suatu sistem koordinat proyektif. Jadi tergoda untuk mengikuti pendekatan yang sama untuk memperkirakan homography planar untuk menampilkan planar tanpa parameter apapun komputasi Euclidean. Namun, dalam praktiknya, sulit untuk memperkirakan hubungan kokoh epipolar dalam banyak kasus. Pembahasan di bawah ini adalah terbatas pada estimasi linier tetapi non-linier perbaikan sangat direkomendasikan. Pendekatan. Semua informasi pendaftaran dihitung relatif terhadap sepasang kamera stereo. Kami berasumsi bahwa pasangan kamera stereo dapat melihat permukaan tiga dimensi keseluruhan. Salah satu kamera yang sewenang-wenang dipilih sebagai asal. Kamera-kamera di sini digunakan untuk menentukan hanya tiga-dimensi titik pada permukaan layar dan tidak untuk setiap sampel warna. Oleh karena itu, setiap sistem tiga-dimensi akuisisi yang cocok dapat digunakan. Berikut ini adalah garis besar teknik ini. Selama preprocessing, langkah-langkah berikut ini dilakukan: Untuk setiap i proyektor o Proyek terstruktur pola cahaya dengan proyektor o Mendeteksi fitur dalam pasangan kamera stereo dan merekonstruksi tiga-dimensi titik pada permukaan layar Fit Q quadric untuk semua tiga-dimensi poin terdeteksi Untuk setiap i proyektor
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 73

o Cari yang berpose sehubungan dengan kamera menggunakan korespondensi antara pixel proyektor dan tiga-dimensi koordinat poin yang mereka menerangi o Cari transfer quadric, 0i, antara kamera dan proyektor saya o Cari bobot intensitas pencampuran, i, di daerah tumpang tindih Pada waktu berjalan, rendering untuk gambar dua dimensi atau tiga dimensi adegan berikut langkah-langkah. Baca tracker kepala dan memperbarui mentransfer quadric h0 antara tampilan virtual dan kamera. Baca input gambar dalam video dua-dimensi atau menghitung gambar masukan dengan rendering adegan tiga dimensi dari sudut pandang maya. Untuk setiap i proyektor o Pra-warp masukan gambar ke frame buffer proyektor menggunakan transfer quadric, 0i h0 o Menipiskan intensitas pixel dengan bobot pencampuran, i

5.4.2. Kalibrasi
Tujuannya adalah untuk menghitung parameter quadric mentransfer 0i = {Ai, Ei, ei} sehingga gambar yang diproyeksikan adalah geometris terdaftar pada permukaan layar. Metode untuk menghitung parameter mentransfer quadric langsung dari korespondensi piksel melibatkan memperkirakan 4 4 quadric matriks Q dalam 3D [, 169 34] menggunakan triangulasi pixel yang sesuai dan metode linier. Jika parameter internal dari dua pandangan yang tidak diketahui, semua perhitungan dilakukan dalam ruang projective geometri komputasi setelah epipolar (yaitu, epipoles dan matriks fundamental). Kami menggambarkan sebuah pendekatan yang didasarkan pada parameter Euclidean. Quadric permukaan. Kami menggunakan sepasang stereo kaku kamera C0 dan C'0 untuk menghitung semua hubungan geometris. Kami sewenang-wenang memilih salah satu kamera untuk menentukan asal dan sistem koordinat. Kami mengkalibrasi pasangan baseline stereo kecil dengan pola kotak-kotak kecil [211]. Perhatikan bahwa kamera tidak perlu berada di dekat sweet spot-dalam setup yang merupakan perbedaan penting sehubungan dengan beberapa pendekatan non-parameteric.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

74

Pasangan stereo mengamati pola terstruktur diproyeksikan oleh masing-masing proyektor (Gambar 5.14) dan menggunakan triangulasi menghitung set N-dimensi tiga poin {Xj} pada permukaan layar. Q quadric melewati setiap Xj dihitung dengan memecahkan satu set persamaan linear untuk setiap titik tiga-dimensi. Persamaan ini dapat ditulis dalam bentuk j V = 0, dimana j adalah 1 10 matriks yang merupakan fungsi dari X, saja dan V adalah vektor homogen yang berisi variabel yang berbeda tidak diketahui independen dari Q. Dengan N 9, kita membangun N 10 matriks X dan memecahkan persamaan matriks linier XV = 0.

Gambar 5.14: Gambar yang diambil dengan kamera resolusi 640 480 selama kalibrasi. Resolusi proyektor masing-masing secara signifikan lebih tinggi pada 1024 768 dan belum ditangkap hanya sebagian kecil dari pandangan kamera.

Mengingat poin di posisi umum, elemen-elemen dari V (dan karenanya Q) adalah satu dimensi-ruang nol X. Tampilan proyektor. Selain Q quadric, kita perlu memperkirakan parameter internal dan eksternal proyektor masing-masing sehubungan dengan asal kamera. Kami menggunakan korespondensi antara pixel proyektor dan koordinat tiga dimensi poin yang mereka menerangi untuk menghitung pose dan parameter internal.

5.4.3. Kamera untuk Proyektor Transfer

Parameter mentransfer quadric 0i = {Ai, Ei, ei} antara kamera dan proyektor saya mudah untuk menghitung dari Q, kamera matriks proyeksi [Saya | 0] dan proyektor proyeksi matriks [Pi | ei]: Ai = Pi - eiqT, Ei = qqT - Q33. Parameter ditemukan oleh metode linier dapat digunakan sebagai estimasi awal untuk minimisasi nonlinier untuk memperbaiki hasil.
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 75

5.4.4. Rendering
Rendering melibatkan pendekatan dua langkah. Selama dua-dimensi data, kita mengekstrak gambar input yang sesuai. Selama tiga-dimensi adegan, pertama-tama kita membuat tiga-dimensi model dari sudut pandang penampil kepala dilacak itu. Pada langkah kedua, gambar yang dihasilkan kemudian melengkung menggunakan transfer gambar quadric ke ruang gambar proyektor.

5.4.5. Virtual View

Ketika tiga-dimensi adegan yang ditampilkan pada layar melengkung, gambar perspectively benar hanya dari satu titik dalam ruang. Kami melacak lokasi tiga-dimensi, sudut pandang virtual, dengan sistem kepala pelacakan dan memperbarui tampilan sebagai pengguna bergerak. Kami menghitung ulang i mentransfer quadric antara ruang gambar tampilan virtual dan proyektor penyangga frame i oleh cascading dua transfer 0i h0, di mana 0i dihitung selama preprocessing dan h0 diperbarui sebagai pengguna bergerak. h0 dihitung dengan menggunakan metode linier dari Q dan matriks proyeksi dari kamera dan tampilan virtual.

5.4.6. Tampilan Daerah

Frustum tampilan untuk tampilan virtual didefinisikan menggunakan posisi kepala dilacak dan luasan dari bounding box berorientasi (OBB) di sekitar permukaan layar. Tampilan-pada vektor adalah dari sudut pandang maya menuju pusat OBB. (Catatan, frustum tampilan hanya digunakan untuk komputasi matriks VirtualViewProjection dan h0, dan tidak untuk rendering.) Selama dua-dimensi aplikasi, daerah di luar gambar input akan ditampilkan dianggap hitam.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

76

Gambar 5.15: Top baris-gambar dalam frame buffer kanan atas proyektor, sebelum dan setelah atenuasi dengan alpha peta i; Bawah Tiga baris-proyektor lainnya dengan koreksi intensitas. Perhatikan daerah hitam luar yang secara otomatis dihasilkan setelah transfer quadric.

5.4.7. Gambar Mentransfer Menggunakan Pengolahan Single-pass

Kami menyajikan solusi single-pass rendering untuk prewarp gambar yang disajikan dari sebuah adegan tiga dimensi sebelum proyeksi pada layar melengkung. Sebuah solusi single-pass menghindari warp pasca-render mahal, dan juga menghilangkan artefak aliasing umum dalam pemetaan tekstur gambar input resolusi yang terbatas. Mengingat M tiga dimensi verteks dalam adegan yang akan diberikan, kita menemukan layar ruangnya koordinat m dalam tampilan virtual. Kemudian, kita menemukan koordinat pixel ditransfer mil dalam frame buffer proyektor, menggunakan transfer quadric i = {Ai, Ei, ei}. Poligon dalam adegan tersebut kemudian diberikan dengan simpul M diganti dengan simpul mil. Dengan demikian, proses rendering pada setiap proyektor adalah sama. Setiap frame buffer proyektor otomatis mengambil bagian sesuai gambar tampilan virtual, dan tidak perlu secara eksplisit mengetahui luasan proyektor. Pada proyektor masing-masing, i o Untuk setiap titik, M Hitung m pixel melalui VirtualViewProjection (M) Hitung mil piksel menyesatkan melalui quadric mentransfer i (m) o Untuk setiap T segitiga dengan simpul {Mj} Render segitiga dengan dua-dimensi vertex
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 77

Ada dua masalah dengan pendekatan ini. Pertama, hanya simpul dalam adegan, tetapi bukan interior poligon, secara akurat prewarped. Kedua, visibilitas penyortiran poligon membutuhkan perawatan khusus. Pindai masalah konversi. Ketika lokasi pixel dalam proyeksi segitiga yang melengkung, informasi perlu diteruskan sehingga kedalaman buffer akan membuat perhitungan visibilitas yang sesuai. Selain itu, untuk warna dan tekstur yang benar perspectively interpolasi koordinat, yang sesuai "w" nilai-nilai perlu berlalu. Solusi kami adalah untuk pasca-kalikan koordinat pixel dengan w:

Dengan demikian, nilai z dan w adalah diawetkan menggunakan tugas eksplisit. Koordinat homogen mil memiliki akhir yang sesuai koordinat piksel karena perpindahan quadric bersama dengan kedalaman asli, (zi / wi) = z / w, dan nilai-nilai w = wi. Kode yang sesuai dalam Lampiran A dan Gambar 5.16 menunjukkan foto kubah menampilkan animasi interaktif sampel yang disinkronkan dan ditampilkan pada kubah dengan empat proyektor tumpang tindih.

Gambar 5.16 : Sebuah aplikasi 3D render dimodifikasi ditampilkan dengan benar dan mendalam semacam pemetaan tekstur tanpa dan dengan pencampuran intensitas. (Gambar dicetak ulang dari [158] ACM.) Untuk rendering gambar dua dimensi masukan, kita padat tessellate ruang melihat image virtual ke dalam segitiga dan peta gambar sebagai tekstur pada segitiga tersebut. Vertex m dari setiap segitiga bengkok menggunakan transfer quadric ke vertex (dan piksel) mi, seperti di atas. Konversi otomatis memindai transfer warna dan atribut tekstur pada m
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 78

sampai mi dan interpolates di antara. Jika diperlukan, dua-pass rendering tiga-dimensi adegan juga dapat dicapai dengan cara ini, dengan terlebih dahulu rendering gambar input karena VirtualViewProjection.

5.4.8. Intensitas Blending

Intensitas pixel dalam bidang tumpang tindih proyektor dilemahkan menggunakan

alpha blending dari hardware grafis. Menggunakan persamaan parametrik transfer quadric, peta alpha dihitung kokoh dan efisien. Untuk setiap piksel xi proyektor di proyektor i, kita menemukan piksel yang sesuai pada proyektor k menggunakan persamaan

Untuk cross-memudar, pixel pada batas frame buffer proyektor dilemahkan. Oleh karena itu, bobot yang proporsional dengan jarak terpendek dari batas bingkai. Berat ditugaskan untuk piksel xi, dinyatakan dalam koordinat pixel jendela normal (ui, vi) yang berada di kisaran [0, 1], adalah

dimana d (x) adalah min (u, v, 1 - u, 1 - v) jika 0 u, v 1, lain d (x) = 0. Berkat pendekatan parametrik, kita dapat menghitung sesuai proyektor piksel xk dan, karenanya, bobot di lokasi tersebut pada akurasi subpixel pendaftaran. Jumlah bobot pada pixel proyektor yang sesuai akurat menambah 1,0. Pada setiap proyektor, alpha yang sesuai peta i dimuat sebagai peta tekstur dan diberikan sebagai layar-aligned quadrilaterals selama tahap terakhir dari rendering (Gambar 5.17).

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

79

Gambar 5.17: Dihitung alpha peta i untuk koreksi intensitas empat proyektor tumpang tindih. (Gambar dicetak ulang dari [158] ACM.)

5.5.

Objek llluminating
Ide proyektor berbasis augmentasi paling baik digunakan ketika obyek virtual yang

dekat dengan benda-benda fisik di mana mereka ditampilkan. Sebagai contoh, seseorang dapat mengganti obyek fisik dengan warna yang terkandung di dalamnya, tekstur, dan sifat material dengan benda netral dan citra diproyeksikan, mereproduksi penampilan asli langsung pada objek. Selain itu, citra diproyeksikan dapat digunakan untuk mereproduksi penampilan alternatif, termasuk alternatif shading, pencahayaan, dan, bahkan, animasi..

Gambar 5.18: Konfigurasi dari empat proyektor santai diinstal, pasangan kamera stereo, dan pelacak dengan kubah cekung. Pasangan kamera tidak dekat-sweet spot. (Gambar dicetak ulang dari [158] ACM.)

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

80

5.5.1. Authoring dan Keselarasan

Salah satu tugas penting dalam mencapai visualisasi yang menarik adalah untuk menciptakan hubungan antara benda-benda fisik dan grafis primitif yang akan meningkatkan benda-benda ketika diproyeksikan. Sebagai contoh, bagaimana kita menentukan tekstur gambar harus digunakan untuk wajah model bangunan meja, atau apa distribusi warna akan terlihat lebih baik untuk objek fisik? Kita membutuhkan objek fisik maupun geometris tiga dimensi representasi dan atribut permukaan nyata atau yang diinginkan. Banyak perangkat keras dan solusi perangkat lunak yang sekarang tersedia untuk memindai / mencetak benda tiga dimensi dan menangkap / buat sangat rinci, model bertekstur grafis. Authoring juga dapat dilakukan secara interaktif dengan "lukisan" secara langsung di atas benda-benda fisik. Hasil dari interaksi pengguna dapat diproyeksikan pada obyek dan juga disimpan pada komputer. Idealnya, user interface yang lebih canggih akan digunakan untuk membuat dan mengedit grafis primitif berbagai bentuk, warna, dan tekstur. Proses rendering menggunakan parameter internal dan eksternal yang sama, sehingga gambar yang diproyeksikan terdaftar dengan benda-benda fisik.

5.5.2. Intensitas Koreksi

Intensitas gambar yang diberikan adalah diubah pada basis per-pixel untuk

memperhitungkan reflektansi permukaan netral, orientasi lokal, dan jarak sehubungan dengan proyektor menggunakan Persamaan (7.2). Ketika permukaan normal digunakan untuk menghitung 1/cos (P) koreksi hanya tersedia di simpul dalam model grafis poligonal, kita memanfaatkan rendering pipeline untuk interpolasi perkiraan. Kami menerangi versi difus putih model grafis (atau model yang cocok ku yang sesuai (x) dari model fisik) dengan cahaya putih maya ditempatkan di lokasi lampu proyektor dan membuat itu dengan kabut hitam untuk redaman jarak kuadrat. Intensitas yang dihasilkan yang halus di seluruh permukaan melengkung karena interpolasi shading dan berbanding terbalik dengan (d (x) 2/ku (x) cos (P)). Untuk menggunakan dynamic range terbatas proyektor lebih efisien, kita tidak menerangi permukaan dengan | P |> 60 (karena, untuk | | [60, 90] 1/cos rentang () [2, ] ). Hal ini untuk menghindari laju sampling rendah dari piksel diproyeksikan pada permukaan miring dan juga meminimalkan artefak misregistration akibat kesalahan dalam kalibrasi geometris. Selama perhitungan untuk menemukan daerah tumpang tindih, permukaan yang sangat miring yang dianggap tidak akan diterangi oleh proyektor tersebut.
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 81

5.5.3. Langkah-langkah
Selama preprocessing Buat grafis tiga dimensi model, G, dari objek fisik Buat model tiga-dimensi grafis, B, dari latar belakang Posisi proyektor sekitar Temukan perspektif menimbulkan, P, proyektor sehubungan dengan obyek fisik.

Selama run-time Dapatkan lokasi pengguna, U Dapatkan transformasi animasi, T Memodifikasi permukaan G atribut Render G menggunakan pose, P, dan lokasi pengguna, U Transform B menggunakan T-1, B Render B menggunakan lokasi berpose, P, dan pengguna, U Ubah intensitas citra untuk mengkompensasi orientasi permukaan

Untuk penerangan lengkap dengan menggunakan proyektor tambahan adalah pilihan yang jelas. Hal ini menyebabkan masalah yang lebih sulit mulus penggabungan gambar dari beberapa proyektor. Sebuah solusi mungkin melibatkan membiarkan naif hanya sebuah proyektor tunggal menerangi setiap menambal permukaan tertentu. Tapi, ada dua masalah utama ketika berhadapan dengan CRT tumpang tindih, LCD, atau proyektor DLP, yang memaksa penggunaan bulu-bulu (atau lintas-memudar) dari intensitas. Yang pertama adalah kurangnya warna kesetaraan antara proyektor tetangga [99], karena proses manufaktur dan suhu pergeseran warna selama penggunaannya. Yang kedua adalah keinginan untuk meminimalkan kepekaan terhadap kesalahan kecil dalam parameter kalibrasi diperkirakan variasi geometris atau mekanis. Feathering, seperti yang dijelaskan sebelumnya, umumnya digunakan untuk menghasilkan photomosaics panorama mulus dengan menggabungkan beberapa pandangan dari satu lokasi. Teknik yang sama dieksploitasi dalam multi-proyektor luas bidang-of-view menampilkan, dan dua-dimensi array dari proyeksi datar. Dalam kasus tersebut, wilayah tumpang tindih biasanya suatu daerah (yang jelas) bersebelahan pada permukaan layar maupun di masing-masing frame buffer proyektor. Dalam algoritma yang digunakan dalam [186, 151], intensitas pixel adalah tertimbang secara proporsional dengan jarak Euclidean untuk batas terdekat (nol kontribusi) pixel dari gambar (proyeksi). Per-pixel bobot berada di
Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A 82

kisaran [0, 1]. Mereka adalah dikalikan dengan intensitas pixel dalam gambar yang diberikan akhir. Bobot piksel dekat batas dari sumber gambar yang mendekati nol dan pixel berkontribusi sangat sedikit, sehingga ada kelancaran transisi ke sumber gambar berikutnya. Hal ini menyebabkan intensitas biasa terlihat roll-off seperti yang ditunjukkan pada Gambar 5.19 (a). Dalam kondisi yang ideal dan dengan asumsi warna kesetaraan, kontribusi berat dari kedua proyektor A + B menambahkan sampai 1. Bahkan ketika respon warna proyektor B berbeda dari yang dari A (katakanlah, dilemahkan-ditampilkan sebagai B'), resultan A + B' (ditampilkan sebagai garis utuh gelap) transisi lancar di wilayah tumpang tindih.

Gambar 5.19: Intensitas bobot menggunakan metode bulu-bulu. Plot menunjukkan kontribusi proyektor A, B dan B 'dan akumulasi resultan A + B dan A + B' sepanjang permukaan planar menyala-(a) intensitas landai sederhana pada planar tumpang tindih membuat transisi halus, (b) bobot dihitung dengan menggunakan normals permukaan yang tidak cukup; (c) occluders menciptakan transisi yang tajam; (d) solusi kami, yang mempertimbangkan kontinuitas mendalam, mempertahankan kelancaran lokal bobot intensitas. (Gambar dicetak ulang dari [155] Springer-Verlag.)

5.6.

Ringkasan
Kami membahas empat metode yang berbeda untuk menciptakan gambar untuk

proyeksi spasial. Mereka termasuk homography mengeksploitasi untuk permukaan planar, dua-pass rendering untuk non-planar permukaan, transfer gambar untuk permukaan melengkung quadric quadric, dan Lampu Shader untuk langsung menambah objek.

Rangkuman Buku Spatial Augmented Reality Penerjemah MM 3A

83