메모

: 발표자 대본도 같이 확인 부탁드려요

 2. 소프트웨어부
1. 머신러닝을 이용하여 시각장애인의 보행시
객체정보를 받고 활용할 수 있게 하는 시스템

2. 초음파 센서와 진동모듈을 이용하여

시각장애인의 보행시 장애물을 인식하고 회피
할 수 있게 하는 시스템
// 일단 초록은 발표자 대본으로 빼놓았습니다

[ 그림 0] 전체 시스템
( 하드웨어 ) 구조도
2-1) 머신러닝

a) 하드웨어 선정 이유

b) 머신러닝으로 객체 인식하는 알고리즘과

그 작동방식

c) 인식된 객체에 가중치를 부여해서 물체

인식 + 카카오 API(TTS 를 통한음성 출력 )

[ 머신러닝을 통한 객체인식 시연 영상 ]
재훈님 옆에 별표 2 개 중에 아래에 있는 내용을 발표자 대본에 넣을까요
아니면 이렇게 피피티에 주석 형태로 넣을까요 ?
확실한건 , 대본이든지 주석이든지 저 내용이 들어가야 해요 . * 시각장애인은 영상으로부터 도움을 받는 것이 아니고 , 가중치가 부여된
주요 객체에 대한 음성 정보를 들음으로서 보행 정보를 얻는다 .

* 현재 기술적으로 모두 구현된 상태는 아님 . 객체를 인식하고 가중치가

적용된 객체가 출력되는 것은 최종적으로 이러한 모습임을 알려주기 위한
영상임 .
 • 머신러닝 – 하드웨어 선정

• Arduino Uno

• ZED Camera

• Jetson Nano
• 머신러닝으로 객체를 인식하고 , 사용자에게 객체 정보를 전달하는
시스템의 작동방식
머신러닝 - 가중치

가중치 연산
• 머신러닝 – TTS(Text To Speech)

카메라 - 객체 인식
젯슨나노 - 소켓 통신
아두이노 ( 카카오 API 를 활용한 TTS 모듈 )- 음성출력

<TTS API 의 작동방식 .>

- 젯슨나노와 아두이노 사이에서 소켓 통신을 통해 전송받은 파일을
아두이노에 저장된 TTS 모듈을 통해 음성파일을 출력한다 .

[ 그림 3]TTS
시스템
2-2) 초음파 및 진동 모듈 시연영상

시각장애인은 전방에 갑작스럽게

나타난 물체에 대해서 즉각적으로
대응할 수가 없다 .
따라서 이것을 해결하기 위해 본
프로젝트에서는 초음파 모듈과
진동센서 모듈을 이용한다 .
초음파의 ToF 특성을 이용하여
가까운 물체를 감지하고 , 가까운
객체를 인식하면 진동 센서를
이용하여 위험 신호를 제공한다 .
이때 거리가 가까워짐에 따라
진동센서의 세기를 크게 하여 (3 단
계 ) 장애물과의 거리를 알 수 있게
해 준다
참고문헌
• 1