방대한 양의 데이터와 이를 수집‧분석하는 기술
2010년대 들어 스마트폰이 빠르게 보급되면서 온라인에서 유통되는 정보의 양과 규모도 폭발적으로 증가했다. 전세계에 수많은 사람들이 스마트폰이나 컴퓨터를 이용해 인터넷 검색을 하고 유튜브를 시청하고 그리고 SNS에 올리는 글의 내용 등이 모두 데이터베이스(DB)로 저장되면서 방대한 양의 데이터가 쌓이고 있다.
‘빅데이터’는 이렇게 급증한 대량의 데이터에서 가치를 뽑아내고 결과를 분석하는 기술을 말한다. 빅데이터는 애초에 거대한 데이터 집합 자체만을 지칭하던 양적 개념이었지만 데이터가 급증하면서 대용량 데이터를 활용하고 분석해 가치 있는 정보를 추출하고, 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보기술 용어로 확장됐다.
휴대폰 통화량, 카드결제, 기상정보, 도로 교통량 등도 모두 빅데이터에 해당되는데 이를 분석하면 사람의 취향, 취미, 생각과 의견까지 추측할 수 있다. 최근에는 이 데이터를 분석해 활용하는 국가와 기업이 늘어나고 있다.
예를 들어 세계 최대 포털사이트인 ‘구글’은 사람들이 ‘독감’이라는 단어를 검색하는 것에서 착안, 검색어 빈도를 분석해서 독감 유행지역과 독감 환자 수를 예측하는 독감동향 서비스를 개발했다. 이외에도 국내 대부분의 온라인마켓에서도 빅데이터를 분석해서 사용자가 좋아할만한 물품들을 자동으로 보여주는 서비스를 제공한다. 가령 온라인마켓에서 A칫솔을 구입하기 위해 검색하면 해당 칫솔을 구매한 다른 사용자들이 함께 구입한 타 상품(B칫솔, C치약 등)을 A칫솔 상품페이지에 함께 제시하는 식이다. 유튜브도 사용자가 ‘트로트’에 대한 동영상을 많이 찾아보면 관심을 가질 만한 트로트 영상을 추천해주는데 이 역시 빅데이터를 분석해서 영상을 골라주는 시스템이다.
미국 국세청도 2011년 대용량 데이터와 IT기술을 결합해 ‘통합형 탈세 및 사기 범죄 방지 시스템’을 구축했다. 빅테이터 분석을 통해 이상 징후를 미리 찾아낸 후 예측 모델링을 통해 납세자의 과거 행동 정보를 분석한 다음 사기 패턴과 유사한 행동을 검출했다. 그 뒤 SNS를 통해 범죄자와 관련된 계좌, 주소, 전화번호, 납세자 간 연관관계 등을 분석해 고의 세금 체납자를 찾아냈다. 그 결과 연간 3450억 달러에 이르는 세금 누락을 막아냈다.
국내에서는 서울시가 ‘올빼미 버스’라 불리는 심야전용버스 노선을 도입할 때 빅데이터를 적용해 호평을 받았다. 심야전용버스는 일반 시내버스가 다니지 않는 새벽에 운영되는 시내버스로 서울시는 도입 전 어떤 경로로 노선을 설정해야 보다 많은 사람들이 이용할 수 있을지 고민하다가 빅데이터를 활용했다.
심야 시간에 시민들이 이용한 택시 승하차 데이터 500만 건과 통화량 데이터 30억 건을 결합해서 이른바 사람들이 많이 이용할 수 있는 적절한 노선을 찾아낸 것이다.
배성호 기자 bsh@100ssd.co.kr
