미래의 창, 빅데이터 기술

사용자 기록 분석으로 유용한 정보 추출
맞춤형 서비스로 미래 생활 파급효과

'빅데이터'는 어떠한 기술일까.

처리해야 할 데이터의 양이 얼마나 되기에 '빅'이라는 이름을 붙인 것일까.

생활에 흥미를 더해주는 빅데이터 기술을 알아본다.

◇ 빅데이터 란

컴퓨터에 저장되는 파일의 크기를 가늠할 때는 '바이트(Byte)'라는 단위를 사용한다. 바이트가 1천 개 모이면 킬로바이트(KB)가 된다. 킬로바이트의 1천 배는 메가바이트(MB)다. 일반 이메일에 첨부할 수 있는 분량이 20메가바이트다.

메가바이트의 1천 배는 기가바이트(GB), 다시 1천 배가 커지면 테라바이트(TB)가 된다. 휴대용 USB 메모리의 용량은 기가바이트 단위이고 개인용 컴퓨터에 들어 있는 하드디스크는 테라바이트 단위다. 그렇다면 1천 테라바이트 즉 페타바이트(PB)짜리 하드디스크도 있을까. 기술적으로는 제작이 가능하지만 비용의 문제 때문에 여러 개의 테라바이트 하드디스크를 연결해 사용한다.

인터넷에서 오가는 글로벌 데이터의 양은 2000년대 들어 엑사바이트(EB)를 넘어섰다. 페타바이트의 1천 배다. 2010년에는 그보다 1천 배 많은 제타바이트(ZB)를 돌파했다. 개인용으로 쓰이는 1테라바이트 용량의 하드디스크를 1조 개나 모아야 하는 어마어마한 크기다. 10년이 더 흐르면 다시 1천 배를 곱한 요타바이트(YB)의 시대가 열릴 것으로 전망된다.

현재 전 세계를 오가는 데이터의 양은 5제타바이트에 육박할 것으로 추산된다. 기존의 컴퓨터 기술로는 단시간 내에 처리할 수 없을 만큼 방대한 수치다. 이렇듯 거대 데이터를 처리해 유의미한 정보를 추출하기 위해 개발된 것이 '빅데이터' 기술이다. 빅데이터는 수많은 사용자가 남긴 기록이니만큼 특정한 기준을 들이대서 분석한다면 유용한 정보를 얻어낼 수 있다. 이 과정을 '데이터 마이닝(Data Mining)'이라 부르기도 한다. 광물이나 보석처럼 분석대상의 안쪽으로 깊게 파들어 가서 귀중한 것을 캐낸다는 의미다.

◇ 흥미진진한 빅데이터 기술

'인터스텔라'와 '그래비티'처럼 우주여행을 소재로 한 영화가 인기를 얻고 있지만 실제 기술이 그보다 더디게 발전하는 것도 정확성이라는 조건 때문이다. 우주에서는 아주 작은 계산 오류만으로도 치명적인 결과를 초래하기 때문에 현란한 기능을 가진 최신 컴퓨터가 아닌 느리더라도 정확한 방식으로 작동하는 구형 컴퓨터를 탑재한다.

데이터의 선별과 정보 처리의 방식뿐만 아니라 결과에 대한 분석까지 어느 하나 쉬운 것이 없다. 그러나 급변하는 현대사회의 원인이자 현상이 되는 수많은 영향 요소들을 빅데이터 기술을 통해 제대로 분석해낸다면 인류는 전에 없던 거대한 힘을 가지게 된다. 일상생활이나 산업현장에서의 발전은 당연하고 자연과 우주에 이르기까지 온갖 분야에서 흥미진진한 일들을 겪게 될 것이다.

/ 김동진 기자