Chapter 9. Camera Calibration and 3D Reconstruction

Machine Translated by Google
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
XỬ LÝ ẢNH TRỌNG CƠ ĐIỆN TỬ

Thị giác máy
Giảng viên: TS. Nguyễn Thành Hùng
Đơn vị: Bộ môn Điện tử, Viện Cơ khí
Hà Nội, 2021 1
Chương 9. Hiệu chỉnh máy ảnh và tái tạo 3D
1. Hiệu chỉnh máy ảnh
2. Hiệu chỉnh máy ảnh robot
3. Đặt ước lượng
4. Tầm nhìn nổi
2
3
Hiệu chỉnh máy ảnh
Hiệu chỉnh hình học camera, còn được gọi là cắt bỏ camera, ước tính
các thông số của ống kính và cảm biến hình ảnh của máy ảnh hoặc máy quay video.
Bạn có thể sử dụng các tham số này để sửa hiện tượng méo ống kính, đo kích thước của
vật thể theo đơn vị thế giới hoặc xác định vị trí của máy ảnh trong cảnh.
Những tác vụ này được sử dụng trong các ứng dụng như thị giác máy để phát hiện và đo
lường vật thể. Chúng cũng được sử dụng trong robot, hệ thống định vị và tái tạo cảnh
3-D.
4
5
Các thông số của camera bao gồm hệ số bên trong, bên ngoài và hệ số méo.
Để ước tính các thông số camera, bạn cần có các điểm thế giới 3-D và các điểm của chúng
điểm hình ảnh 2-D tương ứng.
Bạn có thể nhận được những sự tương ứng này bằng cách sử dụng nhiều hình ảnh của mẫu hiệu
chuẩn, chẳng hạn như bàn cờ. Sử dụng các sự tương ứng, bạn có thể giải quyết các thông
số của camera.
6
Sau khi hiệu chỉnh camera, để đánh giá độ chính xác của các thông số ước tính,
bạn có thể:
Vẽ đồ thị các vị trí tương đối của camera và mẫu hiệu chỉnh Tính
toán lỗi chiếu lại Tính toán lỗi
ước lượng tham số.
7
Mẫu máy ảnh Pinhole
Máy ảnh pinhole là một máy ảnh đơn giản không có ống kính và chỉ có một khẩu độ nhỏ.
số 8
9
Thuật toán hiệu chỉnh tính toán ma trận camera bằng cách sử dụng
Các thông số nội tại
Các thông số bên ngoài
Hệ số tỷ lệ Điểm ảnh Ma trận Bên ngoài Điểm thế giới

nội tại Xoay và dịch
10
Các điểm thế giới được chuyển đổi sang tọa độ camera bằng các tham số bên ngoài. Tọa độ
camera được ánh xạ vào mặt phẳng hình ảnh bằng cách sử dụng các tham số nội tại.
11
Thông số hiệu chỉnh camera
12
Thông số bên ngoài
Các tham số bên ngoài bao gồm phép quay R và phép tịnh tiến t. Điểm gốc của hệ tọa độ của
máy ảnh là ở trung tâm quang học của nó và trục x và y của nó xác định mặt phẳng hình ảnh.
13
Thông số nội tại
Các thông số nội tại bao gồm tiêu cự, quang tâm hay còn gọi là điểm chính và hệ số lệch.
Ma trận nội tại của máy ảnh, K, được định nghĩa là:
Độ lệch pixel được xác định như sau:
14
Thông số nội tại
15
Biến dạng trong hiệu chỉnh máy ảnh
Ma trận camera không tính đến hiện tượng méo ống kính vì một máy ảnh lỗ kim lý tưởng không
có ống kính. Để thể hiện chính xác một chiếc máy ảnh thực, kiểu máy ảnh bao gồm độ méo ống
kính hướng tâm và tiếp tuyến.
16
Biến dạng xuyên tâm
Biến dạng xuyên tâm xảy ra khi các tia sáng bị uốn cong ở gần các cạnh của thấu kính hơn là ở
tâm quang học của nó. Ống kính càng nhỏ thì độ méo càng lớn.
17
Biến dạng xuyên tâm
Các hệ số biến dạng hướng tâm mô hình hóa loại biến dạng này. Các điểm bị biến dạng là
ký hiệu là (xdistorted, ydistorted):
•x, y — Vị trí pixel không bị biến dạng. x và y nằm trong tọa độ hình ảnh chuẩn hóa. Tọa độ hình ảnh
chuẩn hóa được tính từ tọa độ pixel bằng cách dịch sang tâm quang học và chia cho tiêu cự tính bằng
pixel. Do đó, x và y là không thứ nguyên. •k1 , k2 , và k3 — Hệ số biến
dạng hướng tâm của thấu kính.

2 2 2
•r : x + y
18
Biến dạng tiếp tuyến
Biến dạng tiếp tuyến xảy ra khi thấu kính và mặt phẳng ảnh không song song. Các
hệ số biến dạng tiếp tuyến mô hình loại biến dạng này.
19
Biến dạng tiếp tuyến
Các điểm bị méo được ký hiệu là (xdistorted, ydistorted):
•x, y — Vị trí pixel không bị biến dạng. x và y nằm trong tọa độ hình ảnh chuẩn hóa. Tọa độ hình ảnh chuẩn
hóa được tính từ tọa độ pixel bằng cách dịch sang tâm quang học và chia cho tiêu cự tính bằng pixel. Do đó, x
và y là không thứ nguyên. •p1 và p2 — Hệ số biến dạng tiếp tuyến của thấu kính.
+ y2
2 2
•r : x
20
Mẫu máy ảnh

Hệ tọa độ camera
Mặt phẳng ảnh
21
Hiệu chỉnh máy ảnh với OpenCV
Chức năng hiệu chỉnhCamera sử dụng model trên để thực hiện các công việc sau:
Chiếu 3D trỏ tới mặt phẳng hình ảnh với các tham số bên trong và bên ngoài.
Tính toán các tham số bên ngoài cho các tham số bên trong, một vài điểm 3D và
các phép chiếu.
Ước tính các thông số camera bên trong và bên ngoài từ một số chế độ xem hiệu chuẩn đã biết
mẫu (mọi chế độ xem được mô tả bằng một số điểm tương ứng 3D-2D).
Ước tính vị trí và hướng tương đối của các “đầu” camera âm thanh nổi và tính toán
phép biến đổi chỉnh lưu làm cho trục quang của camera song song.
22
23
Hiệu chỉnh máy ảnh robot
Mắt chạm tay Mắt Trong Tay
Camera được cố định vào một cấu trúc độc lập Camera gắn trên robot
24
Mắt chạm tay Mắt Trong Tay
A1 A1
B1 B1
B2
B2
A2 A2
Ai : chuyển đổi từ Base Gripper Bi : Ai : chuyển đổi từ Base Gripper Bi :
chuyển đổi từ Target Cam X: chuyển đổi chuyển đổi từ Cam Target X: chuyển đổi
từ Gripper Target??? từ Gripper Cam??? 25

Mắt chạm tay
A1 B1 A1XB1 = A2XB2
A2 -1A1XB1B1 -1 = A2 -1A2XB2B1 -1
-1
A2 -1A1X = XB2B1
AX = XB
A = A2 -1A1
B2 -1
B = B2B1
A2
Ai : chuyển đổi từ Base Gripper Bi :
chuyển đổi từ Target Cam X: chuyển
đổi từ Gripper Target??? 26

Mắt Trong Tay
A1 A1XB1 = A2XB2
B1
A2 -1A1XB1B1 -1 = A2 -1A2XB2B1 -1
-1
A2 -1A1X = XB2B1
AX = XB
A = A2 -1A1
B2 -1
B = B2B1
A2
Ai : chuyển đổi từ Base Gripper Bi :
chuyển đổi từ Cam Target X: chuyển đổi
từ Gripper Cam??? 27
https://github.com/jhu-lcsr/handeye_calib_camodocal
https://github.com/hengli/camodocal
https://visp-doc.inria.fr/doxygen/visp-daily/classvpHandEyeCalibration.html#a68ab673312cc098bf8ed4f22b2d04d16
https://github.com/zhixy/SolveAXXB
28
29
Ước tính tư thế máy ảnh
Ước lượng tư thế 3D là bài toán xác định sự biến đổi của một vật thể thành ảnh
2D từ đó cho ra vật thể 3D.
Ước tính tư thế 3D từ máy ảnh 2D đã hiệu chỉnh
Cho một hình ảnh 2D của một vật thể và máy ảnh được hiệu chỉnh theo hệ tọa độ thế giới,
cũng có thể tìm thấy tư thế tạo ra vật thể 3D trong hệ tọa độ đối tượng của nó.
Bắt đầu với hình ảnh 2D, các điểm hình ảnh được trích xuất tương ứng với các góc trong
hình ảnh. Các tia chiếu từ các điểm ảnh được tái tạo từ các điểm 2D sao cho có thể xác
định được các điểm 3D, vốn phải trùng với các tia được tái tạo.
30
Ước tính tư thế máy ảnh
Thuật toán
Thuật toán xác định ước lượng tư thế dựa trên thuật toán Iterative Closest Point. Ý tưởng chính là xác định sự
tương ứng giữa các đặc điểm của hình ảnh 2D và các điểm trên đường cong mô hình 3D.
(a) Tái tạo tia chiếu từ các điểm ảnh
(b) Ước tính điểm gần nhất của mỗi tia chiếu với một điểm trên đường viền 3D
(c) Ước tính tư thế của đường viền bằng cách sử dụng bộ tương ứng này
(d) đi đến (b)
31
Ước tính tư thế máy ảnh với OpenCV
32
33
Tầm nhìn âm thanh stereo
Thư tín âm thanh nổi là gì?
chỉ có thông tin 2D khi chụp ảnh
thông tin chuyên sâu bị mất
bộ não của chúng ta chụp hai hình ảnh và xây dựng bản đồ 3D bằng cách sử dụng hình ảnh lập thể
chụp hai bức ảnh của cùng một cảnh bằng các góc nhìn khác nhau, sau đó khớp các điểm
tương ứng để thu được bản đồ độ sâu của cảnh thuật toán tầm nhìn lập thể
34
Bên trái
Hình ảnh
hình ảnh bên phải
35
Chênh lệch tuyệt đối giữa d1 và d2 lớn hơn chênh lệch tuyệt đối giữa d3
và d4
Camera di chuyển cùng một khoảng, có sự khác biệt lớn giữa khoảng cách biểu kiến giữa vị trí ban
đầu và vị trí cuối cùng Điều này xảy ra do chúng ta có thể đưa vật thể lại gần camera hơn;
chuyển động biểu kiến giảm đi khi bạn chụp hai ảnh từ các góc khác nhau.
Đây là khái niệm đằng sau sự tương ứng âm thanh nổi: chúng tôi chụp hai hình ảnh và sử dụng
kiến thức để trích xuất thông tin chuyên sâu từ một cảnh nhất định.
36
Hình học epi cực là gì?
37
Đường biểu cực

Đường biểu cực
38

Mục tiêu của chúng ta là khớp các điểm chính trong hai hình ảnh này để trích xuất thông tin về cảnh.
Cách chúng tôi thực hiện là trích xuất một ma trận có thể liên kết các điểm tương ứng
giữa hai hình ảnh nổi ma trận cơ bản.
Điểm mà các đường epipole hội tụ được gọi là epipole.
Nếu bạn khớp các điểm chính bằng SIFT và vẽ các đường hướng tới điểm gặp nhau ở hình bên trái và bên phải,
chúng sẽ trông như thế này:
39
40

Nếu hai khung hình được định vị ở chế độ 3D thì mỗi đường ngoại cực giữa hai khung hình phải
giao nhau với đặc điểm tương ứng trong mỗi khung hình và từng nguồn gốc của camera.
Điều này có thể được sử dụng để ước tính tư thế của máy ảnh trong môi trường 3D.
Chúng ta sẽ sử dụng thông tin này sau này để trích xuất thông tin 3D từ cảnh.
41
Xây dựng bản đồ 3D
42
Bước đầu tiên là trích xuất bản đồ chênh lệch giữa hai ảnh.
Khi chúng ta tìm thấy các điểm trùng khớp giữa hai hình ảnh, chúng ta có thể tìm ra sự khác biệt bằng cách sử
dụng các đường epipole để áp đặt các ràng buộc epipole.
43
x và x′ là khoảng cách giữa các điểm trong mặt phẳng ảnh tương ứng với điểm cảnh 3D
và trung tâm máy ảnh của họ.
B là khoảng cách giữa hai camera (mà chúng ta đã biết) và f là tiêu cự của camera
(đã biết).
Tóm lại, phương trình trên cho biết độ sâu của một điểm trong một cảnh tỷ lệ nghịch với
sự khác biệt về khoảng cách của các điểm ảnh tương ứng và tâm camera của chúng.
Với thông tin này, chúng ta có thể tính được độ sâu của tất cả các điểm ảnh trong một hình ảnh.
44
45

Chapter 9. Camera Calibration and 3D Reconstruction

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Chapter 9. Camera Calibration and 3D Reconstruction

Uploaded by

Copyright:

Available Formats

Machine Translated by Google

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

XỬ LÝ ẢNH TRỌNG CƠ ĐIỆN TỬ

Giảng viên: TS. Nguyễn Thành Hùng

Đơn vị: Bộ môn Điện tử, Viện Cơ khí

Chương 9. Hiệu chỉnh máy ảnh và tái tạo 3D

1. Hiệu chỉnh máy ảnh

2. Hiệu chỉnh máy ảnh robot

3. Đặt ước lượng

4. Tầm nhìn nổi

Chương 9. Hiệu chỉnh máy ảnh và tái tạo 3D

1. Hiệu chỉnh máy ảnh

2. Hiệu chỉnh máy ảnh robot

3. Đặt ước lượng

4. Tầm nhìn nổi

Hiệu chỉnh máy ảnh

Hiệu chỉnh máy ảnh

Hiệu chỉnh máy ảnh

Hiệu chỉnh máy ảnh

toán lỗi chiếu lại Tính toán lỗi

ước lượng tham số.

Hiệu chỉnh máy ảnh

Mẫu máy ảnh Pinhole

Hiệu chỉnh máy ảnh

Mẫu máy ảnh Pinhole

Hiệu chỉnh máy ảnh

Mẫu máy ảnh Pinhole

Các thông số nội tại

Các thông số bên ngoài

Hệ số tỷ lệ Điểm ảnh Ma trận Bên ngoài Điểm thế giới

Hiệu chỉnh máy ảnh

Mẫu máy ảnh Pinhole

Hiệu chỉnh máy ảnh

Thông số hiệu chỉnh camera

Hiệu chỉnh máy ảnh

Thông số bên ngoài

Hiệu chỉnh máy ảnh

Thông số nội tại

Độ lệch pixel được xác định như sau:

Hiệu chỉnh máy ảnh

Thông số nội tại

Hiệu chỉnh máy ảnh

Biến dạng trong hiệu chỉnh máy ảnh

Hiệu chỉnh máy ảnh

Biến dạng xuyên tâm

Hiệu chỉnh máy ảnh

Biến dạng xuyên tâm

ký hiệu là (xdistorted, ydistorted):

dạng hướng tâm của thấu kính.

Hiệu chỉnh máy ảnh

Biến dạng tiếp tuyến

Hiệu chỉnh máy ảnh

Biến dạng tiếp tuyến

Các điểm bị méo được ký hiệu là (xdistorted, ydistorted):

Hiệu chỉnh máy ảnh

Mẫu máy ảnh

Mặt phẳng ảnh

Hiệu chỉnh máy ảnh với OpenCV

Chương 9. Hiệu chỉnh máy ảnh và tái tạo 3D

1. Hiệu chỉnh máy ảnh

2. Hiệu chỉnh máy ảnh robot

3. Đặt ước lượng

4. Tầm nhìn nổi