Virtual Keyboard Based on True-3D Optical Ranging.
paper151.pdf컴퓨팅 환경에 대한 수요가 늘어가면서, 새로운 인간-컴퓨터 인터페이스가 여러가지 형태의 상호작용을 제공하기 위해 구현되었으나 아직까지도 기초적인 인터페이스인 키보드, 마우스는 계속해서 남아있다. 그렇기에 더욱 일반 키보드는 휴대하기 합리적인 사이즈를 갖출 필요가 있다. 휴대와 배선에서 성가신 수고가 드는 키보드의 문제를 해결하기 위해 더 작고, 물리적인 수고가 덜하며, 휴대하기에 편리한 타입의 장치로써 휴대용 키보드나 위 주제의 키보드가 출시되었다. 여기서 3D 카메라의 영상처리를 이용한 가상 키보드를 구현함과 동시에 기존에 존재하던 몇가지 문제점을 해결하고자 한다.
가상 키보드 프로젝터.<프로젝션 키보드 라 하겠다>
내용은 논문 및 기사 등에서 발췌.
예시 상품으로 위와같은 magic cube가 있으며, 그 외에도 몇종 있다.
위의 그림은 동작화면. 노트북, 스마트폰, 테블릿 등에 호환된다.
위 시스템은 키보드 패턴 프로젝터와 타이핑 이벤트를 감지하기 위한 3D 카메라 및 적외선 빔 프로젝터로 이루어져 있다.
키보드 패턴 프로젝터는 키보드 위치 인식을 위한 사용자의 편의를 위한 것으로 실제 키보드 터치 인식등에는 관여하지 않는다.
3D카메라를 통한 일련의 영상처리 기법으로 손가락끝의 좌표를 추적하고 아래부분의 적외선 프로젝터를 통해 손가락의 Stroke를 통하여 정확한 키 입력을 받아들인다.
http://en.wikipedia.org/wiki/Projection_keyboard :참조 페이지<영문 위키피디아>
////////////////////////////////////////////////////////////////////////////////////////////////////////////////
본인이 제안하는 가상 키보드는 위의 방식과는 조금 다른것으로, 사용자가 원하는 키 타입을 선택, 또는 만들어서 사용할 수 있다.
전처리 과정을 통해 프린트 출력한 키보드의 각각의 버튼에 키 설정을 적용시킨다. 여기서 굳이 프린트 출력할 필요는 없이 나무판, 하드보드지등에 사용자가 그려서 적용할 수도 있다. 또는 프로그램 상에서 만들어 출력하게 하여도 된다. 이를 통하여 조이패드같이 생긴 키보드도 만들 수 있을 것이다.
사용자가 준비한 키보드판을 사용하기 때문에 기존 제품과 같은 프로젝터는 필요없다.
키보드 판으로 출력물이나 하드보드지 등을 예를 들었지만 얇은 플라스틱제의 접이식 패널같은것이 편이성이나 휴대성면에서 좋을것 같다.
///////////////////////////////////////////////////////////////////////////////////////////////////////////////
개략적인 원리는 다음과 같으며, 논문을 참고하였으므로 구현방식이 변경될 수 있다.
3D 카메라를 이용하여 깊이정보를 활용하고, 첫 기준 프레임을 이용하여 손가락의 위치를 검출한다.
손가락 끝은 매 프레임의 손의 육곽과 깊이굴곡을 통하여 분석된다.
키 입력을 감지하기 위하여 깊이굴곡의 형상을 분석하고 이를 전역좌표에 맵핑시킨다.
이 전 과정은 자동으로 이루어지며 사용자의 조정을 요구하지 않는다.
논문에서 발췌한 그림이다. 실제 제작품과 다를 수 있다.
3D 카메라 및 프로젝터가 있으며 장비와의 통신은 블루투스가 될것이다.
카메라에서 손가락의 위치를 맵핑할것이며 프로젝터대신 사용자가 준비한 키보드판(출력물 등)이 사용된다.
3D range Camera는 그레이 스케일과 깊이맵을 측정한다. 카메라 센서는 CMOS/CCD 기술에 기반하고 있으며 배경광을 차단하기 위하여 대역통과필터에 사용된다. 그레이스케일 및 깊이정보는 정해진 공간분해능에 따른 time-of-flight(TOF)측정원리에 기반한다.
카메라에 의해서 제공된 '깊이정보'는 손가락 위치 측정을 위한 좀 더 간단하고 효율적인 컴퓨터 비전 알고리즘의 설계와 눌려진 키의 위치측정을 가능하게 한다.
구현에 있어 발생할 수 있는 문제로 빛의 산란, 대상에 대한 깊이의 정확도 등이 있다. 이와 관련된 조사는 첨부된 논문 및 각종 영상처리 관련 사이트, 카페, 도서를 참고하게 될것이다.
/////////////////////////////////////////////////////////////////////////////////////////////////////////////////
본 아이디어에서 내세우는 점은 휴대성과 사용자의 키보드 커스터마이징 기능이다.
사실 휴대성부분에서는 이미 나와있는 아래 그림과 같은 휴대용 키보드보다 떨어진다고 할 수 있다. 또한 키 터치감의 부재라는 부분도 단점이 될 수 있는 부분에서 시장성이 떨어질 수 있다.
그러나 본인은 제안 제품에 사용된 3D카메라를 이용한 분석법이나 깊이탐색. 적외선 프로젝터를 이용한 키 터치인식과 영상처리 기법과 같은 기술을 통한 손가락 좌표 추적을 통한 키보드의 구현과 사용자 임의의 키보드를 자유롭게 만들 수 있다는 부분을 내세우고 싶다.
