AI·빅데이터

빅데이터의 개념

기존 빅데이터의 개념은 단순히 데이터의 양이 많은 것을 의미했다면 최근의 일반적인 빅데이터의 개념은 기존 데이터에 비해 너무 방대해 일반적으로 사용하는 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등을 하기 어려운 정형 또는 비정형 데이터 집합을 의미한다.

빅데이터의 정의에 합의된 바는 없지만, 글로벌 컨설팅 기관인맥킨지는 2019년 보고에서, 빅데이터란, 기존 데이터에 비해 너무 커서 기존 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등이 어려운 정형 또는 비정형 데이터를 의미한다. 즉, 일반적인 DB SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터를 말한다.

또한, 빅데이터는 단순히 규모만 큰 데이터일 뿐만 아니라, 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집,발굴, 분석을 지원 하도록 고안된 차세대 기술 및 아키텍처로 정의한다.

빅데이터 란 우리가 알지 못하는 새로운 것을 의미하는 것은 아니다. 우리가 지금까지 데이터라고 인식하지 못했던 것들까지 모두 데이터화 시키는 것이다. PC와 인터넷, 모바일 기기 이용이 생활화 되면서 사람들이 도처에 남긴 발자국은 기하급수적으로 증가하고 있다.

다양한 종류의 데이터 사용     

AI 학습데이터

 

쇼핑뿐 아니라 은행, 증권과 같은 금융거래, 교육과 학습,여가활동, 자료검색과 이메일 등 하루 대부분의 시간을 PC와 인터넷에 할애한다. 사람과 기계, 기계와 기계가 서로 정보를 주고받는 사물지능통신 의 확산도 디지털 정보가 폭발적으로 증가하게 되는 이유다.

사용자가 직접제작하는 UCC를 비롯한 동영상 콘텐츠, 휴대전화와 SNS에서 생성되는 문자 등은 데이터의 증가 속도뿐 아니라, 형태와 질에서도 기존과 다른양상을 보이고 있다. 빅데이터는 기존의 데이터 수집, 저장, 관리, 그리고 분석 역량을 넘어서는 대량의 데이터 세트를 의미하며, 기존의 관계형 데이터와비교하여 양, 속도, 다양성 및 복잡성에서 그 차이를 볼 수 있다.

데이터에는 정형화된 데이터와 비정형화된 데이터가 있는데, 최근에 논의되고 있는 빅데이터는 정형화된 것이든 아니든 상관없이 엄청난 양의데이터를 말한다. 빅데이터에 대한 정의는 다양하지만, 기업적인 측면에서 빅데이터를 기업의 효과적인 전략 도출에 필요한 상세하고 높은 빈도로 생성되는 다양한 종류의 데이터로 정의할 수도 있다.

또한 기업 및 사회는 이러한 수집된 데이터를 기반으로 예측분석을 하기 위하여 다양한 종류의 대규모 데이터 처리, 분석 및 활용 기술을 필요로 하고 있다. 대량의 다양한 데이터 생산 기술의 진보와 이에 필요한 데이터 저장, 관리, 분석기술의 발전 속에서 빅데이터가 출현하게 된다.

기업의 입장에서는 소 데이터와 유사한 유형의 비정형 데이터뿐만 아니라 기존의제조장비 등에서 발생하는 데이터, 기존의 정보시스템에서 발생하는 데이터 등 정형의 데이터도 빅데이터화 하고 있고, 이를 수집, 저장, 처리하는 것이 중요한 이슈로 떠오르고 있다. 뿐만 아니라 최근에는 정형과 비정형, 기업외부에서 발생한 데이터와 내부에서 발생한 데이터를 결합하여 더 고도화된 함의를 추출하려는 노력도 이루어지고 있다.