빅데이터의 특징과 관련기술

빅데이터의 특징

빅데이터를 바라보는 시각은 학자마다 다르지만, 빅데이터를 정의할 때 빼놓을 수 없는 특징들은 여섯 가지가 있다. 첫째, 양, 크기다. 빅데이터 체계 안에서는 양 자체가 기존의 시스템으로 다루지 못할 만큼 많다. 일반 빅데이터라면 양이 많아야 한다.

빅데이터는 다양한 형태의 데이터가 모여 형성 된다. 기록을 남기는 로그, 사진이나 비디오, SNS에 쓰는 짧은 글도 모두 빅데이터에 포함된다.

셋째, 속도다. 데이터가 만들어지는 속도와 처리되는 속도가 아주 빨라야 한다. 빅데이터는 스마트폰과 같은 기기를 통해 데이터가 아주 빠르게 생성되고 처리되는 특징을 가진다.

빅데이터를 제대로 활용하기 위해서는 데이터 사이의 불일치성, 불확실성, 근사값의 부정확성 등과 같이 모호한 데이터를 가려내서 신뢰할 수 있는 데이터를 확보해야 한다.

빅데이터에는 너무 많은 데이터가 존재하고, 그 중에는 불필요한 데이터도 존재하기 때문에 유의미한 가치를 얻을 수 있는 데이터를 분별해야 한다. 여섯째, 가변성이다. 빅데이터 환경에서는 데이터의 형태조차도 급격하게 변화한다. 빅데이터는 끊임없이 변화하는 체계이다.

빅데이터 도시

빅데이터 관련 기술

빅데이터는 단순하게 큰 용량을 말하는 것이 아니다. 현재 사용하고 있는 시스템들의 모든 데이터와 그 데이터들을 빠르게 연산 및 분석할 수 있는 방법이다. 빅데이터의 등장에 대해서 더그 레이니는 빅 데이터의 속성을 세 가지로 정의하였다. 그 세 가지는 각각 Volume, Variety, Velocity이며, 이후 IBM에서는 Varacity을 추가하였고, 최근 빅데이터 2.0에서는 4가지 요소에서 Value(가치)를 추가하여 5V로 정의하였다

Volume은 데이터의 발생량으로서 물리적인 크기와 데이터의 속성도 함께 포함하며, 그것을 연산 및 처리가 가능한지를 의미한다. 갈수록 커지는 데이터를 갖고 여러 가지 패턴으로 분석이 필요하기 때문에 규모의 중요성은 계속해서 증대되고 있다. Velocity는 데이터의 처리 속도를 말하며, 다량의 사용자 요청을 실시간으로처리하고, 그 결과를 반환하는 기능으로서 시간적인 의미가 크다.

데이터 생성 및 처리속도를 의미하며, 3가지로 정의할 수 있다. 먼저 데이터가 발생하고 특정 저장 공간에 저장되기까지 의 도, 무의미한 데이터를 처리하고 필요한 데이터만을 가공하는 속도 그리고 가공된 데이터를 분석하여 의있는 데이터로 추출하는 속도로 말할 수 있다. 이 속도들은 데이터의 접근성과 사용 가능성에 영향을 미친다.

Variety는 기존의 정형화된 데이터들과 함께 통일되지 않은 비정형 데이터들도 분석할 수 있음을 의미한다.