21세기의 원유인 '빅 데이터'

21세기의 원유인 '빅 데이터'

빅 데이터와 지식서비스 워크숍

 

기존 기술로는 분석이 어려웠던 소비자의 심리·행태까지도 파악할 수 있어, 미래 기업경쟁력의 열쇠로 주목받고 있는 '빅 데이터(Big Data)'.

IT업계의 최대 현안이라 할 수 있는 이 빅 데이터에 대해, IT분야의 산·학 전문가들이 한 자리에 모여 막대한 양의 빅 데이터를 분석하는 방법 및 비즈니스에 활용하는 방안을 모색하는 자리가 최근 마련돼 관심을 모았다.

▲ 빅 데이터 분석 방법 및 비즈니스 활용 방안을 모색하는 자리가 마련되었다. ⓒScienceTimes

지난 7일(금) 한국과학기술회관 국제회의장에서는 ‘Big Data, Big Impact'라는 주제로 지식경제부가 후원하고 KAIST 지식서비스공학과가 주최하는 ‘빅 데이터와 지식서비스 워크숍’이 개최됐다.

빅 데이터의 비즈니스 모델과 분석 기술
‘빅 데이터의 비즈니스 모델’이란 내용으로 행사의 기조강연을 맡은 DBdiscover의 김정일 대표컨설턴트는 구글의 CEO인 에릭 슈미트가 했던 말을 인용하며 “인류문명이 시작된 이래 2003년까지 만들어진 데이터양은 5엑사바이트에 불과했지만, 지금은 이틀마다 그 만큼의 데이터가 새로 추가되고 있으며 이 속도는 점점 빨라지고 있다”고 언급했다.

김 대표는 빅 데이터 활용에 대해 몇 가지 유의사항을 제시하면서 “빅 데이터는 IT관련 이슈로만 국한해서 이해하면 안되고 비즈니스 시스템 전반에 걸쳐 데이터를 활용해야 한다. 즉 데이터를 모으는 것보다 이를 어떻게 활용하느냐가 더 중요하다는 의미”라면서 “빅 데이터(Big Data) 자체가 많은 수익(Big Profit)을 주지는 않는다”고 조언했다.

그러면서 김 대표는 범죄예방에 적용되는 빅 데이터의 사례를 소개했는데, “범죄예방 시스템으로 안전 지역사회를 구축한 샌프란시스코는 경찰청이 제작한 범죄 지도(Crime Map)을 기반으로 과거 8년 동안 범죄가 발생했던 지역과 유형을 세밀하게 분석해 왔다”고 하면서 “도입 초기 6개월 간의 테스트결과 예보 정확도가 71%에 달했다”고 밝혔다.

▲ 범죄 예측을 위해 빅 데이터 기법이 적용된 샌프란시스코의 crime map ⓒdataSF.org

이어서 진행된 주제발표 순서에서 ‘데이터의 분석 및 수집 방법’에 대해 발표한 KAIST 지식서비스공학과의 이의진 박사는 데이터 분석방법에 대해 “기본적인 의사결정을 위해 데이터를 기초적으로 가시화하는 것”이라고 정의하면서, 데이터 형태들에 대해 소개했다.

이 박사가 소개한 3가지 형태의 데이터를 살펴보면 데이터베이스에 저장된 규격화 된 포맷의 '정형(struvtured)' 데이터와 이종 데이터소스 간의 데이터 교환 및 통합에 사용되는 '반전형(semi-structured)' 데이터, 그리고 일반 텍스트 문서 및 웹페이지 같은 형태의 '비정형(unstructured)' 데이터 등이 있다.

대규모 데이터의 수집시 요구되는 사항들에 대해 이 박사는 “신뢰성을 기반으로 수평적인 확장성이 필요하며, 이 외에도 모든 종류의 데이터 타입을 아우르는 포괄성과 관리적 효용성이 뒤따라야 한다”고 설명했다.

빅 데이터와 밀접한 관계인 빅인사이트
이번 워크샵에서는 서비스사이언스학회가 주관하는 튜토리얼(tutorial) 프로그램이 별도로 제공되어 주목을 끌었다.

‘빅 데이터가 만드는 비즈니스 미래지도’라는 주제로 튜토리얼 강연을 맡은 KT경제경영연구소의 송민정 박사는 IT분야 글로벌 컨설팅 기관인 가트너(Gartner)가 '빅 데이터'를 정의한 내용을 언급하며 “그동안 서버 용량만 차지하며 쓸모 없어 보였던 대용량 데이터가 이제 미래의 경쟁력을 좌우하는 ‘21세기 원유’로 새롭게 탄생하고 있다”고 전했다.

송 박사는 구글 스토리지의 사례를 소개하며 “플러그인 하이브리드 자동차는 GPS센서 등을 이용해 산출한 운전자 주행이력을 구글 스토리지에 자동 업로드하게 되는데, 그렇게 되면 여기에 축적된 데이터들 중에서 패턴을 찾아내고 이를 이용해 미래의 상황을 예측하는 기능을 가지게 된다”고 설명했다.

그러면서 송 박사는 “이런 기능은 ‘구글 예측 API(Google Predition Application Programming Interface)'라는 개방형 웹서비스 API를 통해 외부 프로그램에서 이용 가능하다”고 덧붙였다.

▲ 튜토리얼 프로그램 강연을 하는 KT경제경영연구소의 송민정 박사 ⓒScienceTimes

송 박사는 “거대하고, 빠르며, 이질적이고, 복잡한 것이 빅 데이터의 4대 특징이라 할 수 있는데, 이런 빅 데이터를 제대로 활용하기 위해서는 대용량 정보분석을 의미하는 빅인사이트(Big Insights)’를 제대로 구축하는 것이 필요하다”고 언급하면서 “의미있는 데이터 추출과정을 통해야 빅 데이터의 가치가 비로소 실현되기 때문”이라고 강조했다.

이 날 발표에서 제시된 빅인사이트의 대표적 사례는 ‘구글 번역(Google Translation)'이었는데, 송 박사는 “구글은 번역 사이트를 통해 확보한 사용흔적 데이터를 재활용해, 모바일 단말에서 촬영한 사진 속의 텍스트 번역이나 유튜브의 비디오 자막 등에 적용하고 있다”고 밝히면서 “이런 과정이 바로 의미있는 가치의 추출이며, 재창출”이라고 주장했다.

발표를 마무리하며 송 박사는 “미래사회는 크게 불확실성과 리스크, 그리고 스마트와 융합이라는 특성을 보일텐데, 이 때 빅 데이터의 역할은 미래 통찰력을 가지고 위험징후를 예측하는 것 외에 상황인식을 통한 개인맞춤화와 이종간 데이터 융합을 통한 융합시장을 창출하는 임무를 맡게될 것”이라고 전망했다.

한편 이 날 워크숍을 주최한 KAIST의 윤완철 지식서비스공학과장은 “미래 지식사회는 대규모 데이터로 부터 의미를 찾고 정보와 지식을 만들어 내는 능력이 곧 기업의 경쟁력”이라고 주장하면서 “빅 데이터 워크숍을 매년 2-3회씩 개최해 향후 빅 데이터와 지식서비스 분야의 산학 교류 기회로 정착 시켜 나갈 것”이라고 다짐했다.

김준래 객원기자 | joonrae@naver.com 저작권자 2012.12.10 ⓒ ScienceTimes