Machine Translated by Google

Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
www.irjet.net
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072

NGHIÊN CỨU XE MÁY TỰ CÂN BẰNG SỬ DỤNG KHÁI NIỆM

HỌC TĂNG CƯỜNG

ANJANA PS1, MALAVIKA GIRISH2, MARIYA PAUL 3 , MUSHTAQ SAKKEER4 , RINU ROSE GEORGE5

1B. Sinh viên Công nghệ, Khoa Khoa học Máy tính của Viện Khoa học và Công nghệ TOC H, Kerala, Ấn Độ
2B. Sinh viên Công nghệ, Khoa Khoa học Máy tính của Viện Khoa học và Công nghệ TOC H, Kerala, Ấn Độ
3B. Sinh viên Công nghệ, Khoa Khoa học Máy tính của Viện Khoa học và Công nghệ TOC H, Kerala, Ấn Độ
4B. Sinh viên Công nghệ, Khoa Khoa học Máy tính của Viện Khoa học và Công nghệ TOC H, Kerala, Ấn Độ
5Trợ lý Giáo sư, Khoa Khoa học Máy tính, Viện Khoa học và Công nghệ TOC H, Kerala, Ấn Độ
-------------------------------------------------- ------------------------------------------------------------- ------------------------------------------

Tóm tắt - Xe máy là phương tiện giao thông rất được ưa không gian. Tuy nhiên, xe hai bánh không có độ ổn định cơ

chuộng nhờ tính tiết kiệm năng lượng, thiết kế nhỏ gọn, học giống như xe bốn bánh.

tiện lợi và có vẻ ngoài bắt mắt. Mặc dù có nhiều tính năng Bản chất đặc biệt của thiết kế hai bánh đặt nó vào một môi

và sự phổ biến nhưng xe máy vẫn thiếu an toàn và tiềm ẩn trường phi tuyến tính và không ổn định, trong đó cần có hệ

rất nhiều rủi ro. Khả năng xảy ra tai nạn giao thông rất thống điều khiển tự cân bằng để duy trì trạng thái cân bằng.

cao vì cơ thể của hành khách bị lộ trực tiếp trong quá Robot hai bánh tự cân bằng đã trở thành đối tượng trong việc

trình di chuyển. Vì vậy, tai nạn xe máy gây tử vong. Cân xác minh các lý thuyết điều khiển khác nhau kể từ khi nó

bằng bất kỳ phương tiện hai bánh nào luôn là nhiệm vụ đầy xuất hiện, chủ yếu là do hiệu suất động không ổn định và

thách thức đối với cả con người và robot từ lâu. Vấn đề tính phi tuyến tính mạnh. Một hệ thống có thể hỗ trợ giữ

lớn nhất đối với hầu hết người đi xe hai bánh là giữ cho thăng bằng cho người lái xe máy có thể hữu ích hơn cho nhiều

xe thăng bằng. Mất thăng bằng xảy ra gần như hàng ngày và người trong thời điểm này.

mọi người ghét bài tập nâng chân lên, hạ chân xuống mà
chúng ta phải thực hiện hàng nghìn lần khi giao thông đông
đúc. Để thiết lập giai đoạn máy học này với các hệ thống
nhúng, chúng tôi đã đề xuất một hệ thống cân bằng xe máy
có thể giảm thiểu thiệt hại trong trường hợp có bất kỳ tác
động nào. Hệ thống của chúng tôi nhằm mục đích thiết kế
một chiếc Xe máy tự cân bằng hay còn gọi là 'MOTOBOT' bằng
cách sử dụng kỹ thuật Học tăng cường. Về cơ bản, hệ thống
1.1 Bối cảnh
Lý thuyết cơ bản đằng sau Xe máy tự cân bằng tương tự như
lý thuyết cân bằng Con lắc ngược, có khối lượng phía trên
trục của nó. Vị trí thẳng đứng là trạng thái cân bằng không
ổn định đối với con lắc ngược và phải được cân bằng tích
cực để giữ thẳng. Ví dụ, cơ thể con người là một con lắc

này sẽ là một robot xe đạp chạy bằng động cơ điện. Xe hai ngược giữ thăng bằng cho phần thân trên quanh khớp mắt cá

bánh sẽ có thể tự cân bằng và ổn định trước mọi va chạm. chân trong mỗi bước đi. Trong thập kỷ gần đây, Segways, việc

Xe sẽ có thêm một bánh đà hoặc một bánh quán tính, có thể sử dụng các chuyển động của cơ thể để điều khiển, đã xuất
hiện trên thị trường. Điểm chung, các ứng dụng này chia sẻ
sẽ được đặt ở giữa xe.
rằng khối tâm của chúng nằm phía trên các điểm trục, do đó
Việc tự cân bằng đạt được bằng cách xoay bánh xe quán tính
cần phải có sự điều khiển tích cực để cân bằng. Một chiếc
ở nhiều góc độ khác nhau. Xe sẽ tự cân bằng bằng cách sử
mô tô tự cân bằng có thể tự di chuyển trên các địa hình
dụng tác dụng phản lực khi bánh xe quán tính nghiêng vượt
khác nhau và giữ thăng bằng bằng cách sử dụng một bánh đà
quá góc cho phép. Hệ thống được đề xuất sẽ giúp ích rất
đặt ở giữa.
nhiều cho những người khuyết tật nhất định, thanh niên và
người lớn chưa bao giờ học cách đi xe đạp và những người bị
khuyết tật về phát triển hoặc nhận thức. 1.2 Học tăng cường

Từ khóa: Xe máy tự cân bằng, Học tăng cường, Bánh đà, Bộ mô
phỏng Pybullet, Thuật toán Deep Q-learning.
1. GIỚI THIỆU
Học tăng cường[9] là quá trình lặp đi lặp lại của một tác
nhân, học cách hành xử tối ưu trong môi trường của nó bằng
cách tương tác với nó. Cách tác nhân học cách đạt được mục
tiêu là thử các hành động khác nhau trong môi trường của nó
và nhận phản hồi tích cực hoặc tiêu cực, còn được gọi là
khám phá. Trong bối cảnh xe máy tự cân bằng, tác nhân sẽ là

Với sự nâng cao nhận thức về môi trường, nghiên cứu về các động cơ điều khiển bánh đà. Cách nó tương tác với môi trường
là quay bánh xe ở các tốc độ khác nhau và phản hồi mà nó
phương pháp vận chuyển sử dụng năng lượng thay thế đã gia
nhận được là vị trí hiện tại và vận tốc góc. Phản hồi tích
tăng trong vài năm qua. Segway là một ví dụ: nó làm giảm
cực và tiêu cực được xác định bởi chức năng khen thưởng duy
đáng kể tiếng ồn và ô nhiễm không khí, đồng thời tính cơ
nhất. Yếu tố chính trong
động cao cho phép nó tiếp cận hầu hết các tuyến đường công cộng.

© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6524
Machine Translated by Google
Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072
www.irjet.net
bất kỳ ứng dụng học tăng cường nào cũng là chức năng khen thưởng
đang được tối đa hóa. Để tối ưu hóa việc học, chức năng khen
thưởng cung cấp phần thưởng tích cực cho những hành động giúp đạt
được mục tiêu và phần thưởng tiêu cực cho những hành động cản trở
xe đạp đạt được mục tiêu.
Việc tự cân bằng sẽ đạt được bằng cách sử dụng bánh phản lực
hoặc bánh xe quán tính (bánh đà) đặt ở giữa xe máy. Tốc độ của
bánh xe phản lực được tăng hoặc giảm để tạo ra mômen phản
lực về trục quay song song với khung của xe máy. Hãy tưởng
tượng nếu chiếc xe máy bắt đầu rơi sang một bên, một động cơ
gắn vào bánh xe phản lực sẽ tác dụng một mô-men xoắn lên bánh
xe phản lực, tạo ra một mô-men xoắn phản lực lên xe máy,
giúp xe trở lại trạng thái cân bằng.
Hình -1: Học tăng cường
2. KHẢO SÁT VĂN HỌC
2.1.Phương tiện vận chuyển cá nhân Segway
Segway PT[11] là phương tiện vận chuyển cá nhân tự cân bằng hai
bánh của Segway Inc., do Dean Kamen phát minh và đưa ra thị trường
vào năm 2001. Segway ban đầu. Segway PT (lúc đó được gọi là Segway
HT) được phát triển từ xe lăn iBOT tự cân bằng ban đầu được phát
triển tại Đại học Plymouth, kết hợp với BAE Systems và Sumitomo
Precision Products. Hệ thống lái của các phiên bản đầu tiên được
điều khiển bằng cách sử dụng tay nắm xoắn để thay đổi tốc độ của
hai động cơ. Phạm vi hoạt động của p-Series là 6–10 dặm (9,7–16,1
km) khi sử dụng pin niken hiđrua kim loại (NiMH) đã sạc đầy với
thời gian sạc lại là 4–6 giờ. Không giống ô tô, Segway chỉ có hai
bánh; nó trông giống như một bàn tay bình thường
© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6525
xe tải nhưng nó vẫn có thể tự đứng thẳng. Để tiến hoặc lùi trên
Segway, người lái chỉ hơi nghiêng người về phía trước hoặc phía
sau. Để rẽ trái hoặc phải, người lái quay tay lái bên phải về phía
trước hoặc phía sau.
Về cơ bản nhất, Segway là sự kết hợp của một loạt cảm biến, hệ
thống điều khiển và hệ thống động cơ. Hệ thống cảm biến chính là
tập hợp các con quay hồi chuyển. Con quay hồi chuyển cơ bản là một
bánh xe quay bên trong một khung ổn định.
Một vật quay chống lại sự thay đổi trục quay của nó,
vì lực tác dụng sẽ chuyển động cùng với vật. Ví dụ: nếu bạn ấn vào
một điểm ở đầu bánh xe đang quay, điểm đó sẽ di chuyển xung quanh
phía trước bánh xe trong khi nó vẫn cảm nhận được lực bạn tác
dụng. Khi điểm lực tiếp tục chuyển động, nó sẽ tác dụng lực lên
hai đầu đối diện của bánh xe và lực sẽ tự cân bằng.
Do có khả năng chống lại lực bên ngoài nên bánh xe con quay hồi chuyển
sẽ duy trì vị trí của nó trong không gian, ngay cả khi bạn nghiêng nó.
Nhưng khung con quay sẽ chuyển động tự do trong không gian. Bằng
cách đo vị trí của bánh xe quay con quay so với khung, cảm biến
chính xác có thể cho biết cao độ của vật thể cũng như tốc độ cao
độ của nó. Segways sử dụng cảm biến tốc độ góc trạng thái rắn đặc
biệt được chế tạo bằng silicon.
Toàn bộ thông tin về độ nghiêng được truyền tới “bộ não” của xe,
hai bảng mạch điều khiển điện tử bao gồm một cụm bộ vi xử lý.
Segway có tổng cộng 10 bộ vi xử lý tích hợp, có tổng công suất gấp
ba lần một PC thông thường. Thông thường, cả hai bảng đều hoạt
động cùng nhau, nhưng nếu một bảng bị hỏng, bảng kia sẽ đảm nhận
mọi chức năng để hệ thống có thể thông báo cho người lái về sự cố
và tắt máy một cách nhẹ nhàng. Segway đòi hỏi nhiều năng lực trí
tuệ như vậy bởi vì nó cần
để thực hiện những điều chỉnh cực kỳ chính xác để tránh bị ngã.
Trong hoạt động bình thường, bảng điều khiển kiểm tra cảm biến vị
trí khoảng 100 lần mỗi giây.
Khi xe nghiêng về phía trước, động cơ sẽ quay cả hai bánh về phía
trước để tránh bị nghiêng. Khi xe nghiêng về phía sau, động cơ sẽ
quay cả hai bánh về phía sau.
Khi người lái điều khiển tay lái để rẽ trái hoặc phải, động cơ sẽ
quay một bánh nhanh hơn bánh kia hoặc quay các bánh theo hướng
ngược nhau để xe quay.
Segway cũng là cỗ máy tốt để di chuyển quanh các nhà kho đông đúc,
nơi hành lang chật hẹp gây khó khăn cho việc sử dụng các phương
tiện cồng kềnh. Mọi người có thể thấy chúng hữu ích khi di chuyển
xung quanh các khu vực dành cho người đi bộ lớn, chẳng hạn như sân
bay hoặc công viên giải trí. Thực sự không có giới hạn nào về cách
mọi người có thể sử dụng phương tiện. Segway có thể phù hợp với
hầu hết những nơi bạn có thể đi bộ, nhưng nó sẽ đưa bạn đến đó
nhanh hơn và bạn sẽ không tốn nhiều sức lực. Các cảm biến con quay
hồi chuyển và các cảm biến khác của não Segway được điều chỉnh thủ
công để đạt được trạng thái ổn định trên nền tảng nằm ngang.
Machine Translated by Google
Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072
www.irjet.net
Hình -2: Sơ đồ Segway PT
Hình -3: Segway PT
2.2. Xe điện tự cân bằng
Liger Mobility, một công ty khởi nghiệp do các sinh viên tốt
nghiệp IIT ươm tạo đã phát minh ra một chiếc xe hai bánh chạy
điện[12] có thể tự cân bằng, một công nghệ vẫn chưa được những gã
khổng lồ về ô tô như Yamaha và Honda thương mại hóa. Mặc dù hai
hãng ô tô chuyên ngành đã cho ra đời những mẫu mô tô ý tưởng có
thể tự cân bằng, nhưng công nghệ này chưa được đưa vào sản xuất
bất kỳ loại xe hai bánh nào vì nó vẫn đang trong quá trình Nghiên
cứu & Phát triển và rất đắt tiền. Tuy nhiên, công ty khởi nghiệp
xe điện do IIT Bombay ươm mầm đã tìm ra được công nghệ tự cân
bằng tương tự và không đắt tiền. Hệ thống này có thể được cài đặt
trong bất kỳ xe tay ga tự động nào. Chi phí của chiếc xe tay ga
này sẽ là 10% chi phí của chiếc xe tay ga hiện có. Đây không phải
là công nghệ xe hai bánh tự cân bằng đầu tiên trên thế giới mà là
hầu hết các cải tiến kỹ thuật của Ấn Độ đã được chứng minh trong
quá khứ, cái này là giá cả phải chăng. Về mặt thể chất, khả năng tự cân bằng có thể
© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6526
có thể đạt được bằng cách hiệu chỉnh các loại chấn lưu trong thời gian thực.
Để tạo điều kiện thuận lợi cho việc này, người ta sẽ cần một hệ
thống cảm biến chính xác, bộ truyền động nhanh (như động cơ servo)
và một thuật toán mạnh mẽ. Ngoài lợi ích rõ ràng là tăng cường an
toàn, công nghệ tự cân bằng giá cả phải chăng dành cho xe hai
bánh sẽ còn giúp ích rất nhiều trong việc giúp chúng tự chủ. Cho
đến nay, chưa có phương tiện nào ở trong nước có phương tiện tự
động xuất hiện bằng lệnh thoại của bạn. Nó khá tuyệt vời và người
lái có thể điều khiển nó dễ dàng.
Hình -4: Xe điện tự cân bằng
2.3. C-1 Xe máy tự cân bằng
Lit Motors Inc. là một công ty có trụ sở tại San Francisco, chuyên
thiết kế các phương tiện hai bánh ý tưởng có tên là Xe máy tự cân
bằng C-1[13], bao gồm một phương tiện chạy hoàn toàn bằng điện,
được ổn định bằng con quay hồi chuyển. Được thành lập bởi Daniel
K. Kim vào năm 2010, Lit Motors đã thiết kế các ý tưởng cho xe
hai bánh với trọng tâm là các công nghệ tiên tiến.
Nguồn cảm hứng cho Lit Motors đến với Kim vào năm 2003, khi anh
suýt bị khung xe đè bẹp khi đang lắp ráp thủ công chiếc Land Rover
Defender 90 chạy bằng diesel sinh học. Kim quyết định "cắt đôi
chiếc ô tô" để tạo ra chiếc C-1 ngày nay. . Tương tự như mô tô,
thiết kế nguyên bản của C-1 có hai bánh nhưng sử dụng vô lăng nhỏ
thay vì tay lái. Động cơ dẫn động trực tiếp ở cả hai bánh được
thiết kế để cung cấp lượng mô-men xoắn cao, độ ổn định và kiểm
soát lực kéo, đồng thời cho phép hình dạng thân xe có kích thước
bằng một nửa chiếc ô tô. Các nguyên mẫu không có bánh xe dẫn động
trực tiếp và chỉ có một người ngồi, cho thấy thiết kế có thể đang
được thay đổi. Các tính năng an toàn dự kiến bao gồm khung gầm
nguyên khối bằng thép, dây an toàn, túi khí và con quay hồi chuyển .
Hệ thống ổn định. Nó được hỗ trợ bởi hệ thống ổn định con quay
hồi chuyển mạnh mẽ, được cấp bằng sáng chế, C-1 được điều khiển
điện tử hoạt động bằng cách sử dụng Con quay hồi chuyển điều khiển
mô-men xoắn (CMG), tạo ra mô-men xoắn hàng nghìn ft-lbs. Chiếc xe
điều khiển những con quay hồi chuyển này, cho phép nó di chuyển
vào và ra khỏi những khúc cua hẹp một cách trơn tru và giữ thẳng đứng khi
Machine Translated by Google

Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072
www.irjet.net

gặp phải va chạm. C-1 là một sự đổi mới mang tính cách mạng trong Khi phân tích các hệ thống hiện có với hệ thống được đề xuất, robot Xe

ngành, tạo ra các tiêu chuẩn mới về giao diện ô tô và sự an toàn trên máy có khả năng nhanh chóng trở lại trạng thái cân bằng dưới mọi góc

nền tảng hai bánh. nghiêng bằng phương pháp học tăng cường. Cùng với động cơ, robot sẽ

được trang bị một bộ gia tốc kế và bộ chuyển đổi tăng tốc giúp duy trì
C-1 năng động được thiết kế để mang lại hiệu quả cao nhất cần thiết
sự cân bằng.
cho việc di chuyển tốc độ cao. Chịu ảnh hưởng của thiết kế Scandinavia,

bề ngoài của C-1 vừa đơn giản vừa dễ gần. Điều này mang lại sự thoải
Bằng cách sử dụng phương pháp Deep Q-Learning, việc điều chỉnh động cơ
mái khi lái xe nhỏ gọn và cảm giác hồi hộp khi di chuyển tốc độ cao.
được thực hiện theo vị trí hiện tại và vận tốc góc tại thời điểm nhất
Kính mở rộng, những đường cong tinh tế và khối lượng mềm mại khiến nó
định để đưa rô-bốt về trạng thái cân bằng.
trở nên hấp dẫn và có tính ứng dụng cao. Nó được trang bị động cơ điện

ở trung tâm mô-men xoắn cao giúp tiết kiệm không gian và mang lại

trải nghiệm lái nhạy bén. C-1 tái tạo năng lượng trong khi phanh. Nó Bộ điều khiển điện được sử dụng trong tất cả các mô hình hệ thống hiện

làm được điều đó bằng cách sử dụng KERS (Hệ thống phục hồi năng lượng có được coi là tốn thời gian và có hiệu suất hạn chế vì chúng phụ

động học), hệ thống này lưu trữ động năng trong bánh đà con quay hồi thuộc vào độ chính xác của mô hình. Các bộ điều khiển này có thể không

chuyển. Chuyến đi năng động này sẽ có kết nối điện thoại thông minh và đảm bảo hiệu suất mong muốn khi môi trường/điểm vận hành thay đổi.

đám mây, một sự đổi mới chưa từng có trong ngành. Được cung cấp năng

lượng bởi một bộ pin nhỏ 10 kWh, C-1 là một chiếc xe chạy hoàn toàn

bằng điện và có thể di chuyển quãng đường lên tới 200 dặm mỗi lần sạc.
3. THIẾT KẾ XE MÁY TỰ CÂN BẰNG
Đừng nhầm lẫn, chuyến đi này đã sẵn sàng lao vào xa lộ với tốc độ tối

đa hơn 100 dặm/giờ và tăng tốc 0-60 trong sáu giây.

Thiết kế cấu trúc robot tự cân bằng hai bánh bao gồm một động cơ servo
để quay tay cầm và 2 động cơ bước, một cho bánh xe và một cho bánh đà.

Nó cũng chứa một gia tốc kế, bộ chuyển đổi tăng tốc (bộ chuyển đổi
tăng cường) và pin lipo khoảng 12V.

Thiết kế được chọn là thiết kế sẽ hoạt động tốt với các bộ

phận chúng tôi có và sau đó phác thảo ra các nguyên mẫu khác nhau. Sau

khi hoàn tất bản phác thảo trực tuyến sơ bộ về hình thức của thiết kế,

Solid works (phần mềm Thiết kế CAD 3D) đã được sử dụng để tạo mô hình

nguyên mẫu đầu tiên.

Nguyên mẫu này sau đó được sử dụng để mô phỏng vật lý. Các đặc tính

như trọng lượng của khung và bánh xe mô men đã được tính toán hàng
chục lần và mô phỏng từng lần.

kết quả cho đến khi chúng tôi đạt được một kết quả có hiệu quả. Sử

dụng kết quả này và những bộ phận mà chúng tôi có thể mua, nguyên mẫu

cuối cùng đã được tạo ra. Khung được làm đủ nhỏ để có thể in 3D với

chi phí thấp nhất. Solidworks giúp người dùng tạo bản vẽ trực tiếp ở

dạng 3D hoặc dạng rắn. Ba thành phần của Solidworks là Part, Assembly

và drawing.

Phần được xác định bởi bản phác thảo và các tính năng được chọn của nó.
Hình -5: C-1 Xe máy tự cân bằng
Lắp ráp là cách tất cả các bộ phận lắp ráp thành một đơn vị. Bản vẽ

dùng để chi tiết và thêm kích thước cho bộ phận.

2.4. So sánh/Phân tích

Segway PT là một cỗ máy sạch, xanh, thân thiện với môi trường trong

khi nó không nói chính xác segway sẽ đi được bao xa với những tay đua

có khối lượng khác nhau và cũng đắt tiền.

Xe tay ga tự cân bằng sẽ có giá cả phải chăng cho người dân bình thường

và không gây ô nhiễm trong khi việc sạc lại xe sẽ mất nhiều thời gian

hơn.

C-1 Xe máy tự cân bằng chạy bằng điện 100%, có thể di chuyển quãng

đường 200 dặm mỗi lần sạc trong khi thời gian sạc phụ thuộc vào điện

áp và khả năng cân bằng phụ thuộc vào bề mặt.

Hình -6 Thiết kế khung xe máy để làm mô hình

© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6527
Machine Translated by Google
Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072
www.irjet.net
Hình-7 (a): Khung xe máy ban đầu nhìn từ phía trước
Hình-7 (b): Mặt bên khung xe máy ban đầu
Thiết kế nguyên mẫu cuối cùng được thực hiện có tính đến tất cả các
bộ phận, kích thước cũng như vật liệu cần thiết để lắp ráp chúng lại
với nhau. Kích thước của bánh đà và vật liệu chế tạo nó là một thách
thức lớn trong việc thiết kế.
Hình-8 (a): Mặt bên của thiết kế nguyên mẫu cuối cùng
© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6528
Hình-8 (b): Mặt trước của thiết kế nguyên mẫu cuối cùng
4. MÔ PHỎNG PYBULLET
Mô phỏng tái tạo một quá trình trong thế giới thực trong môi trường
được kiểm soát bằng cách tạo ra các quy luật và mô hình để đại diện
cho thế giới. Việc mô phỏng mô hình xe máy được thiết kế 3D được
thực hiện bằng trình mô phỏng pybullet. Trình mô phỏng này sử dụng
mô-đun Python để mô phỏng vật lý, robot, hiệu ứng hình ảnh và học
máy. Nó rất dễ thiết lập và sử dụng, đồng thời bao gồm một mô-đun
khung nhìn có nhiều tính năng trực quan và tương tác được tích hợp
sẵn. Mô hình được tải vào trình mô phỏng ở Định dạng URDF (Tệp mô
tả robot phổ thông). URDF tải sẽ gửi lệnh đến máy chủ vật lý để tải
mô hình vật lý từ URDF.
Thứ nhất, khung xe máy ban đầu là mô hình được tải vào bộ mô phỏng
pybullet. Sau đó nó được đào tạo về môi trường mà chúng tôi đã tạo
với các gói cần thiết. Ngoài ra, vì môi trường của chúng ta được xác
định bởi vật lý nên PyBullet thực sự hữu ích để thực hiện các tính
toán cần thiết và trực quan hóa tiến trình thử nghiệm.
Các điều kiện tiên quyết cần thực hiện để thực hiện mô phỏng
là:
(1) Miniconda3 cho windows (64bit) với phiên bản python 3.6
(2) Tạo môi trường mô phỏng
(3) Kích hoạt môi trường đã tạo
(4) Lắp đặt các gói cần thiết bên trong môi trường như gym, stable-
baselines, pybullet, tensorflow.
OpenAI Gym là bộ công cụ để phát triển và so sánh các thuật toán học
tăng cường. Đây là thư viện mã nguồn mở của phòng tập thể dục, cho
phép bạn truy cập vào một bộ môi trường được tiêu chuẩn hóa. GYM
không đưa ra giả định nào về cấu trúc tác nhân của bạn và tương
thích với bất kỳ thư viện tính toán số nào, chẳng hạn như TensorFlow
hoặc Theano. Đường cơ sở ổn định là một tập hợp các triển khai cải
tiến của các thuật toán học tăng cường dựa trên Đường cơ sở OpenAI.
Đường cơ sở của OpenAI là một tập hợp
Machine Translated by Google

Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN:www.irjet.net
2395-0072

triển khai chất lượng cao các thuật toán học tăng cường. Sử dụng Bước- Mỗi bước mô phỏng chấp nhận một hành động từ tác nhân và trả

Baselines sẽ cho phép chúng tôi tập trung vào việc tạo môi trường về một bộ dữ liệu tức là thời gian được đặt để đào tạo mô hình.

và không phải lo lắng về việc đào tạo

đại lý. PybONS là một mô-đun Python dễ sử dụng để mô phỏng vật lý,

robot và học tăng cường sâu. TensorFlow là một thư viện phần mềm

nguồn mở để tính toán số hiệu suất cao.

5. THUỐC TÌM HIỂU Q-SÂU SÂU

Khả năng tự cân bằng của robot xe máy của chúng tôi đã được phân
tích bằng thuật toán Deep Q-learning [8]. Bước làm việc cơ bản của

Deep Q-Learning là trạng thái ban đầu được đưa vào mạng nơron và nó
trả về giá trị Q của tất cả các hành động có thể xảy ra ở đầu ra.

Về cơ bản, nó là một thuật toán học trên các cặp dữ liệu đầu vào và
đầu ra mẫu, phát hiện một số loại mẫu và dự đoán đầu ra dựa trên dữ
liệu đầu vào chưa nhìn thấy.

Trong Thuật toán Q-Learning[10], có một hàm gọi là Hàm Q, được sử

dụng để tính gần đúng phần thưởng dựa trên trạng thái. Chúng ta gọi

nó là Q(s,a), trong đó Q là hàm tính giá trị tương lai dự kiến từ

trạng thái s và hành động a. Tương tự như vậy trong thuật toán Deep
Q Network, chúng tôi sử dụng mạng thần kinh để ước tính phần thưởng
dựa trên trạng thái. Để hình thành chức năng khen thưởng phù hợp
Hình 9: MOTOBOT cân bằng trong quá trình mô phỏng
cho khả năng giữ thăng bằng, trước tiên chúng tôi xác định hành vi
nào trong mẫu xe đạp có thể giúp tránh bị ngã.

Dữ liệu huấn luyện được sử dụng là: giả sử T(X,Y) trong đó X là vận

tốc hiện tại của bánh xe phản ứng và Y là sự thay đổi

về vận tốc (tức là một trong những hành động). Giá trị Q của tất cả

các hành động có thể được tạo ra làm đầu ra. Đối với mỗi hành động

được thực hiện bởi tác nhân (xe máy), nó sẽ nhận được phần thưởng:
phần thưởng tích cực hoặc tiêu cực. Việc đào tạo thêm và thay đổi

các biện pháp khuyến khích trong chức năng khen thưởng của xe máy

có thể giúp xe giữ thăng bằng lâu hơn. Deep-QL được sử dụng khi

không gian trạng thái hoặc không gian hành động quá lớn. Bằng cách

sử dụng mạng lưới thần kinh, chúng ta có thể tìm thấy các cặp trạng
thái hành động khác tương tự.

Hình- 10: Dấu nhắc lệnh Miniconda hiển thị đầu ra

Hình 9 cho thấy chiếc xe máy được huấn luyện trong môi trường mô
phỏng Pybullet và mẫu xe máy ban đầu có thể giữ thăng bằng trong PHẦN KẾT LUẬN
môi trường tương tự như cách bạn thấy trong hình.
Trong nghiên cứu này, chúng tôi đã thảo luận về các phương tiện tự

cân bằng hiện có và những ưu điểm của mẫu xe máy của chúng tôi so
Trong quá trình mô phỏng, dấu nhắc lệnh Miniconda hiển thị đầu ra,
với các hệ thống này. Chúng tôi đã hoàn thành thành công việc mô
ví dụ: Hình 10
phỏng mô hình Xe máy tự cân bằng ban đầu.

% thời gian dành cho việc khám phá - Thời gian mà mô hình dành cho Mặc dù ở giai đoạn này công việc hiện tại của chúng tôi chưa thể kết

việc khám phá các hành động mới hoặc thời gian dành cho việc đào luận được nhưng kết quả mô phỏng sơ bộ cho thấy mô hình có thể cân
tạo mô hình. bằng trong môi trường được tạo với các gói cần thiết. Khi đào tạo

thêm và thay đổi các thông số ảnh hưởng đến chức năng DQN, chúng tôi
Các tập - Mỗi nhiệm vụ được chia thành các mô-đun nhỏ hơn gọi là các
sẽ có thể cân bằng xe máy với các phép đo thực tế hoặc nguyên mẫu
tập.
cuối cùng. Sau chuyện này, chúng tôi
Phần thưởng- Số lượng phần thưởng đạt được từ hành động trước đó.

Mục tiêu là tối đa hóa phần thưởng.

© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6529
Machine Translated by Google

Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056

www.irjet.net
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072

cũng có kế hoạch triển khai mô hình phần cứng Xe máy 3-D bằng
cách chuyển mô hình mô phỏng cân bằng của chúng tôi sang mô
hình đó bằng Raspberry Pi.
Tóm lại, có một số cách để thiết kế một chiếc xe máy tự cân
bằng hiệu quả. Hệ thống được đề xuất sử dụng kỹ thuật học tăng
cường có thể được coi là tiết kiệm năng lượng. Dự án thể hiện
công dụng đáng chú ý của xe máy tự cân bằng đối với những
người quan tâm đến sự an toàn và người khuyết tật nhất định.
Robot hai bánh tự cân bằng là một lĩnh vực nghiên cứu có thể
cung cấp khả năng vận động trong tương lai cho các robot hàng
ngày. Hệ thống này có thể hữu ích hơn trong tương lai khi nhu
cầu về xe điện tăng cao do thiếu nhiên liệu hóa thạch.
NHÌN NHẬN
trên một robot hai bánh tự cân bằng,” Kỷ yếu Hội nghị AIP,
tập. 1980, không. 1, tr. 060005, 2018.
[8] https://backyardrobotics.eu/2017/11/27/build-a-
balance-bot-with-openai-gym-pt-i-setting-up/
[9] https://www.hackster.io/metrowest_aug/reinforcem
ent-learning-cho-a-tự cân bằng-xe máy-719b40
[10] https://keon.github.io/deep-q-learning/
[11] Velaji Hadiya 1 Ông ,Aakash Rai2 Ông Sushant
, Sharma3 Cô
Ashwini Thêm,
, Thiết kế và phát triển Segway, Tạp chí Nghiên
cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET), Tập: 03, Tháng
5-2016 [12]https:// www.domain- b.com/industry/
Automobiles/Two_wheelers/
20190920_e
lectric_scooter.html
[ 13]https://www.startupselfie.net/2018/03/02/lit-motors-
c-1-self-balancing-motorcycle/
TIỂU SỬ

Chúng tôi xin cảm ơn Hiệu trưởng Giáo sư Tiến sĩ Preethi

Thekkath, Trưởng khoa, Giáo sư Tiến sĩ Sreela Sreedhar, điều
phối viên dự án của chúng tôi Asst. Giáo sư Elsaba Jacob và Anjana PS
PGS. Giáo sư Abin Oommen Philip vì sự hỗ trợ quý báu và hỗ trợ B.Tech Khoa học máy tính & Engg.
kỹ thuật của họ. Viện Khoa học và Công nghệ Toc H,

Ernakulam
NGƯỜI GIỚI THIỆU

[1] Ching-Lung Chang và Shih-Yu Chang, Sử dụng Học tập tăng

cường để đạt được khả năng kiểm soát xe hai bánh tự cân bằng,
Hội nghị chuyên đề máy tính quốc tế (ICS),2016, doi: : 10.1109/
ICS.2016.0029.
Malavika Girish
[2] Hau-Shiue Juang và Kai-Yew Lurrr, Thiết kế và điều khiển
B.Tech Khoa học máy tính & Engg.
Robot hai bánh tự cân bằng sử dụng Bảng vi điều khiển Arduino,
Viện Khoa học và Công nghệ Toc H,
Hội nghị quốc tế về điều khiển và tự động hóa IEEE lần thứ 10
Ernakulam
(ICCA), 2013, doi: 10.1109/ ICCA .2013.6565146. 2

[3] L. Tai và M. Liu, “Khám phá robot di động thông qua học
tập tăng cường dựa trên CNN,” Robotics và Biomimetics, tập. 3,
không. 1, tr. Ngày 24 tháng 12 năm 2016.
[4] I. Zamora, NG Lopez, VM Vilches và AH
Cordero, “Mở rộng phòng tập thể dục openai cho robot: bộ công Mariya Paul

cụ để học tăng cường bằng cách sử dụng ROS và vọng lâu,” CoRR, B.Tech Khoa học Máy tính & Engg.
Viện khoa học và công nghệ Tóc H
vol.abs/1608.05742, 2016.
[5] Pallav Gogoi -”Thiết kế và chế tạo xe hai bánh tự cân bằng Công nghệ, Ernakulam

sử dụng con quay hồi chuyển” Đại học Assam Don Bosco, Cơ sở
Azara - Pallav Gogoi et al. / Tạp chí Quốc tế về Kỹ thuật và
Công nghệ (IJET),2017,doi:10.21817/ijet/2017/v9i3/1709030206

[6] Bhagirathi Bhai, Aishwarya P, Akhil G, Kevin T và Shardul,

Mushtaq Sakkeer
“Thiết kế và triển khai xe đạp ổn định tự động”, Hội nghị: Hội
B.Tech Khoa học Máy tính & Engg.
nghị quốc gia lần thứ 3 về xử lý hình ảnh, máy tính, truyền
Viện Khoa học và Công nghệ Toc H,
thông, mạng và phân tích dữ liệu, DOI:10.21467/ thủ tục tố
Ernakulam
tụng.1.51, tháng 6 năm 2018

[7] MDM Rahman, SMH Rashid, KMR Hassan và MM Hossain, “So sánh
các lý thuyết điều khiển khác nhau

© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6530
Machine Translated by Google

Tạp chí Nghiên cứu Quốc tế về Kỹ thuật và Công nghệ (IRJET) e-ISSN: 2395-0056
Tập: 07 Số phát hành: 04 | Tháng 4 năm 2020 p-ISSN: 2395-0072
www.irjet.net

Ast. Giáo sư Rinu Rose George

Khoa học máy tính & Công nghệ.
Viện Khoa học và Công nghệ Toc H,

Ernakulam

© 2020, IRJET | Giá trị hệ số tác động: 7,529 | Tạp chí được chứng nhận ISO 9001:2008 | Trang 6531