Top 43 빅 데이터 란 무엇 인가 All Answers

You are looking for information, articles, knowledge about the topic nail salons open on sunday near me 빅 데이터 란 무엇 인가 on Google, you do not find the information you need! Here are the best content compiled and compiled by the Toplist.maxfit.vn team, along with other related topics such as: 빅 데이터 란 무엇 인가 빅데이터란 무엇인가 ppt, 빅데이터란 쉽게, 빅데이터 정의 및 특징, 빅데이터 장점, 빅데이터 예시, 빅데이터 활용, 빅데이터 활용 사례, 빅데이터 문제점


빅데이터란? (What is Big Data?)
빅데이터란? (What is Big Data?)


빅 데이터란? | Oracle 대한민국

  • Article author: www.oracle.com
  • Reviews from users: 38773 ⭐ Ratings
  • Top rated: 4.6 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅 데이터란? | Oracle 대한민국 빅데이터란 거대한 규모(volume), 빠른 속도(velocity), 높은 다양성(variety)을 특징으로 하는 데이터입니다. 이를 3V라고도 합니다. 간단히 말해, 빅 데이터는 특히 … …
  • Most searched keywords: Whether you are looking for 빅 데이터란? | Oracle 대한민국 빅데이터란 거대한 규모(volume), 빠른 속도(velocity), 높은 다양성(variety)을 특징으로 하는 데이터입니다. 이를 3V라고도 합니다. 간단히 말해, 빅 데이터는 특히 … 빅데이터는 특히 새로운 데이터 소스에서 나온 더 크고 더 복잡한 데이터 세트입니다. 빅데이터의 이점, 과제 및 모범 사례 외에도 정의 및 역사에 대해 알아보십시오.빅 데이터, Oracle Big Data, Hadoop, 빅 데이터 분석
  • Table of Contents:

빅 데이터 정의

빅 데이터의 3대 요소(3V)

빅 데이터의 가치와 진실

빅 데이터의 역사

빅 데이터 사용 사례

빅 데이터 과제

빅 데이터의 작동 원리

빅 데이터 모범 사례

빅 데이터란? | Oracle 대한민국
빅 데이터란? | Oracle 대한민국

Read More

빅 데이터란 무엇인가? – CAL-KOR Newsletter

  • Article author: calkor.com
  • Reviews from users: 5514 ⭐ Ratings
  • Top rated: 3.8 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅 데이터란 무엇인가? – CAL-KOR Newsletter 빅 데이터란 무엇인가? … “Big Data!”, 일단 데이터가 크다는 뜻이다. … 정확한 의미는기존의 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 심지어 … …
  • Most searched keywords: Whether you are looking for 빅 데이터란 무엇인가? – CAL-KOR Newsletter 빅 데이터란 무엇인가? … “Big Data!”, 일단 데이터가 크다는 뜻이다. … 정확한 의미는기존의 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 심지어 …
  • Table of Contents:

Post navigation

CKFIS Inc

빅 데이터란 무엇인가? – CAL-KOR Newsletter
빅 데이터란 무엇인가? – CAL-KOR Newsletter

Read More

빅데이터(Big Data)란?​ | 알테어

  • Article author: blog.altair.co.kr
  • Reviews from users: 36767 ⭐ Ratings
  • Top rated: 4.6 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅데이터(Big Data)란?​ | 알테어 빅데이터(Big Data)란?​ · 디지털 환경에서 발생하는 대량의 모든 데이터 · 기존 데이터베이스 관리 도구의 능력을 넘어서 데이터에서 가치를 추출하고 결과 … …
  • Most searched keywords: Whether you are looking for 빅데이터(Big Data)란?​ | 알테어 빅데이터(Big Data)란?​ · 디지털 환경에서 발생하는 대량의 모든 데이터 · 기존 데이터베이스 관리 도구의 능력을 넘어서 데이터에서 가치를 추출하고 결과 … 요즘 여기저기서 많이 다루고 있는 ‘빅데이터’란 무엇일까요? 정말 이름 그대로 ‘큰 데이터’, ‘대용량 데이터’라고만 알아도 될까요? 빅데이터의 정의 디지털 환경에서 발생하는 대량의 모든 데이터 기존 데이터베이스 관리 도구의 능력을 넘어서 데이터에서 가치를 추출하고 결과를 분석하는 기술 빅데이터 플랫폼을 구성하는 하드웨어, 소프트웨어, 애플리케이션 간의 유
  • Table of Contents:
빅데이터(Big Data)란?​ | 알테어
빅데이터(Big Data)란?​ | 알테어

Read More

빅 데이터 – 위키백과, 우리 모두의 백과사전

  • Article author: ko.wikipedia.org
  • Reviews from users: 46068 ⭐ Ratings
  • Top rated: 4.3 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅 데이터 – 위키백과, 우리 모두의 백과사전 빅 데이터(영어: big data)란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 … …
  • Most searched keywords: Whether you are looking for 빅 데이터 – 위키백과, 우리 모두의 백과사전 빅 데이터(영어: big data)란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 …
  • Table of Contents:

정의[편집]

특징[8]과 의미[편집]

분석 기법[편집]

빅데이터 플랫폼[19][편집]

활용사례 및 의의[편집]

논쟁점[편집]

폐해 사례[편집]

윤리 강령[편집]

같이 보기[편집]

각주[편집]

외부 링크[편집]

빅 데이터 - 위키백과, 우리 모두의 백과사전
빅 데이터 – 위키백과, 우리 모두의 백과사전

Read More

빅데이터란 무엇인가, 그리고 빅데이터를 이용해야 하는 이유는? – 경북콘텐츠코리아랩 웹진

  • Article author: www.gbckl.kr:2017
  • Reviews from users: 12141 ⭐ Ratings
  • Top rated: 4.4 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅데이터란 무엇인가, 그리고 빅데이터를 이용해야 하는 이유는? – 경북콘텐츠코리아랩 웹진 일반적으로 빅데이터란 현재 페타바이트 단위를 의미한다. 그렇다면, 기존에도 인터넷의 발전과 함께 많은 큰 데이터들이 존재하였는데 왜 새로운 빅데이터란 이름이 … …
  • Most searched keywords: Whether you are looking for 빅데이터란 무엇인가, 그리고 빅데이터를 이용해야 하는 이유는? – 경북콘텐츠코리아랩 웹진 일반적으로 빅데이터란 현재 페타바이트 단위를 의미한다. 그렇다면, 기존에도 인터넷의 발전과 함께 많은 큰 데이터들이 존재하였는데 왜 새로운 빅데이터란 이름이 … 콘텐츠 창작자들을 위한 열린 놀이터, 경북콘텐츠코리아랩 웹진
  • Table of Contents:

스킵 네비게이션

SNS

메인메뉴

본문 내용

Business&Culture Trend

본문 내용

저작권표시 주소 및 연락처

빅데이터란 무엇인가, 그리고 빅데이터를 이용해야 하는 이유는? - 경북콘텐츠코리아랩 웹진
빅데이터란 무엇인가, 그리고 빅데이터를 이용해야 하는 이유는? – 경북콘텐츠코리아랩 웹진

Read More

  • Article author: old.diabetes.or.kr
  • Reviews from users: 16313 ⭐ Ratings
  • Top rated: 3.8 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 기존의 빅 데이터에 관한 사전적 정의는 단순히 데이터의 양이 많은 것을 의미 하였다. 하지만 최근 빅 데이터의 정의의 범주가 확장 되어, 기존의 대용량의 정형화된 … …
  • Most searched keywords: Whether you are looking for 기존의 빅 데이터에 관한 사전적 정의는 단순히 데이터의 양이 많은 것을 의미 하였다. 하지만 최근 빅 데이터의 정의의 범주가 확장 되어, 기존의 대용량의 정형화된 …
  • Table of Contents:

Read More

빅 데이터란 무엇이며 중요한 이유는 무엇인가요 | 빅 데이터 정의

  • Article author: kr.teradata.com
  • Reviews from users: 23218 ⭐ Ratings
  • Top rated: 4.1 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅 데이터란 무엇이며 중요한 이유는 무엇인가요 | 빅 데이터 정의 Wikipedia에서 빅 데이터는 “기존 데이터 처리 애플리케이션 소프트웨어로 처리하기에는 너무 크거나 복잡한 데이터 세트를 분석하고, 체계적으로 정보를 추출하거나 처리 … …
  • Most searched keywords: Whether you are looking for 빅 데이터란 무엇이며 중요한 이유는 무엇인가요 | 빅 데이터 정의 Wikipedia에서 빅 데이터는 “기존 데이터 처리 애플리케이션 소프트웨어로 처리하기에는 너무 크거나 복잡한 데이터 세트를 분석하고, 체계적으로 정보를 추출하거나 처리 … 빅 데이터 정의는 계속해서 변화되어 왔습니다. 오늘날에는 각 기업에서 이를 사용하려는 방식의 맥락에서 가장 잘 이해되고 있습니다. 더 알아보기.빅 데이터 정의, 빅 데이터란, 빅 데이터 이해, 빅 데이터 용어, 빅 데이터 의미
  • Table of Contents:

빅 데이터의 시작

오늘날 빅 데이터란

새로운 빅 데이터 정의

테라데이터 클라우드 리더십에 대한 분석가 인식 향상

관련 기사 탐색

테라데이터 클라우드 리더십에 대한 분석가 인식 향상

테라데이터에서 빅 데이터 리소스 더 보기

엔터프라이즈 데이터 관리에 대한 전략적 접근 방식

데이터 전략 개발 7가지 일반적인 실수와 이를 방지하는 방법

모든 카테고리 탐색

테라다데이터에서 더 자세히 알아보기

빅 데이터란 무엇이며 중요한 이유는 무엇인가요 | 빅 데이터 정의
빅 데이터란 무엇이며 중요한 이유는 무엇인가요 | 빅 데이터 정의

Read More

빅데이터란 무엇인가요?  |  Google Cloud

  • Article author: cloud.google.com
  • Reviews from users: 45567 ⭐ Ratings
  • Top rated: 3.9 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅데이터란 무엇인가요?  |  Google Cloud 빅데이터란 무엇인가요? … ‘빅데이터’는 규모와 복잡성으로 인해 많은 비즈니스 인텔리전스 도구에서 관리하거나 분석하기 힘든 조직에서 사용할 수 있는 방대한 데이터를 … …
  • Most searched keywords: Whether you are looking for 빅데이터란 무엇인가요?  |  Google Cloud 빅데이터란 무엇인가요? … ‘빅데이터’는 규모와 복잡성으로 인해 많은 비즈니스 인텔리전스 도구에서 관리하거나 분석하기 힘든 조직에서 사용할 수 있는 방대한 데이터를 … 빅데이터는 볼륨, 다양성, 속도가 증가한 대규모 데이터 세트입니다. 클라우드에서 빅데이터 정의, 예시, 도구에 대해 자세히 알아보세요.
  • Table of Contents:

빅데이터의 특성

빅데이터 예시

빅데이터 도구

빅데이터란 무엇인가요?  |  Google Cloud
빅데이터란 무엇인가요?  |  Google Cloud

Read More

빅데이터란 무엇인가?

  • Article author: brunch.co.kr
  • Reviews from users: 47216 ⭐ Ratings
  • Top rated: 3.2 ⭐
  • Lowest rated: 1 ⭐
  • Summary of article content: Articles about 빅데이터란 무엇인가? 빅데이터란 무엇인가? · 빅데이터가 무엇인지 소개하기 위해 다크 데이터를 먼저 설명하는 경우는 흔치 않을 겁니다. · 참고로 다크 데이터는 요즘 이슈가 … …
  • Most searched keywords: Whether you are looking for 빅데이터란 무엇인가? 빅데이터란 무엇인가? · 빅데이터가 무엇인지 소개하기 위해 다크 데이터를 먼저 설명하는 경우는 흔치 않을 겁니다. · 참고로 다크 데이터는 요즘 이슈가 … 다크 데이터로 보는 빅데이터의 개념 | 빅데이터가 무엇인지 소개하기 위해 다크 데이터를 먼저 설명하는 경우는 흔치 않을 겁니다. 하지만 이 책에서 데이터 관한 최대한 많은 개념들을 다루고자 하는 입장에서 기왕이면 다크 데이터라는 개념도 짚고 갈 겸, 이렇게 소개해보려고 합니다. 참고로 다크 데이터는 요즘 이슈가 되는, 무서우면서 뭔가 불법적인 뉘앙스가 있는 ‘다크 웹’과는 연관이 거의 없습니다
  • Table of Contents:
빅데이터란 무엇인가?
빅데이터란 무엇인가?

Read More


See more articles in the same category here: Top 287 tips update new.

빅 데이터란 무엇인가?

빅 데이터의 역사

빅 데이터 자체의 개념은 비교적 새로운 것이지만, 대규모 데이터 세트의 기원은 최초의 데이터 센터가 등장하고 관계형 데이터베이스가 개발되는 등 데이터 세상이 막 시작되었던 1960년대와 70년대로 거슬러 올라갑니다.

2005년 무렵 사람들은 Facebook, YouTube 및 기타 온라인 서비스를 통해 사용자가 얼마나 많은 양의 데이터를 생성하고 있는지 깨닫기 시작했습니다. 같은 해에 Hadoop(빅 데이터 세트를 저장하고 분석하기 위해 특별히 개발된 오픈 소스 프레임워크)이 개발되었습니다. NoSQL도 이 기간 동안 인기를 얻기 시작했습니다.

Hadoop(그리고 최근에는 Spark) 같은 오픈 소스 프레임워크의 개발은 빅 데이터를 보다 손쉽게 사용하고 저렴하게 저장할 수 있게 해준다는 점에서 빅 데이터의 성장에 필수적이었습니다. 그 이후로 빅 데이터의 양이 급증했습니다. 사용자는 여전히 방대한 양의 데이터를 생성하고 있지만, 데이터를 생성하는 것은 인간만이 아닙니다.

Internet of Things(IoT)의 출현으로 더 많은 객체와 장치가 인터넷에 연결되어 고객 사용 패턴 및 제품 성능에 대한 데이터를 수집하고 있습니다. 머신 러닝의 등장으로 더 많은 데이터가 생성되었습니다.

빅 데이터의 역사는 오래되었지만, 활용은 이제 시작 단계입니다. 클라우드 컴퓨팅으로 빅 데이터 가능성이 더욱 확장되었습니다. 클라우드는 개발자가 임시 클러스터를 손쉽게 가동하여 데이터 하위 집합을 테스트할 수 있도록 진정한 의미에서 탄력적인 확장성을 제공합니다. 또한 그래프 데이터베이스는 분석 속도를 높이고 포괄적인 방식으로 대량의 데이터를 표시할 수 있으므로 점점 더 중요해지고 있습니다.

빅데이터의 이점:

위키백과, 우리 모두의 백과사전

빅 데이터(영어: big data)란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한[1] 데이터로부터 가치를 추출하고 결과를 분석하는 기술[2]이다. 즉, 데이터 베이스 등 기존의 데이터 처리 응용 소프트웨어(data-processing application software)로는 수집 · 저장 · 분석 · 처리하기 어려울 정도로 방대한 양의 데이터를 의미한다.

위키백과의 편집 현황의 시각화 자료(IBM 작성). 수 테라바이트 의 용량을 지닌 위키백과의 텍스트 및 이미지 자료는 빅 데이터의 고전적 사례에 속한다.

다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅 데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케한다. 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석이 가능해 과거에는 불가능했던 기술을 실현시키기도 한다.

이와 같이 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다.

하지만 빅데이터의 문제점은 바로 사생활 침해와 보안 측면에 자리하고 있다. 빅데이터는 수많은 개인들의 수많은 정보의 집합이다. 그렇기에 빅데이터를 수집, 분석할 때에 개인들의 사적인 정보까지 수집하여 관리하는 빅브라더의 모습이 될 수도 있는 것이다. 그리고 그렇게 모은 데이터가 보안 문제로 유출된다면, 이 역시 거의 모든 사람들의 정보가 유출되는 것이기에 큰 문제가 될 수 있다.

세계 경제 포럼은 2012년 떠오르는 10대 기술 중 그 첫 번째를 빅 데이터 기술로 선정[3] 했으며 대한민국 지식경제부 R&D 전략기획단은 IT 10대 핵심기술 가운데 하나로 빅 데이터를 선정[4] 하기도 했다.

정의 [ 편집 ]

빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말한다.[5] 빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다. 빅데이터라는 용어는 1990년대부터 사용되어 왔으며, 존 매쉬가 이 용어를 대중화하였다[6][7].

[8]과 의미 특징과 의미 [ 편집 ]

빅 데이터의 공통적 특징은 3V로 설명할 수 있다. 속도는 대용량의 데이터를 빠르게 처리하고 분석할 수 있는 속성이다. 융복합 환경에서 디지털 데이터는 매우 빠른 속도로 생산되므로 이를 실시간으로 저장, 유통, 수집, 분석처리가 가능한 성능을 의미한다. 다양성(Variety)은 다양한 종류의 데이터를 의미하며 정형화의 종류에 따라 정형, 반정형, 비정형 데이터로 분류할 수 있다. 빅데이터의 특징은 3V로 요약하는 것이 일반적이다. 즉 데이터의 양(Volume), 데이터 생성 속도(Velocity), 형태의 다양성(Variety)을 의미한다. 최근에는 가치(Value)나 복잡성(Complexity)을 덧붙이기도 한다. 이처럼 다양하고 방대한 규모의 데이터는 미래 경쟁력의 우위를 좌우하는 중요한 자원으로 활용될 수 있다는 점에서 주목받고 있다. 대규모 데이터를 분석해서 의미있는 정보를 찾아내는 시도는 예전에도 존재했다. 그러나 현재의 빅데이터 환경은 과거와 비교해 데이터의 양은 물론 질과 다양성 측면에서 패러다임의 전환을 의미한다.이런 관점에서 빅데이터는 산업혁명 시기의 석탄처럼 IT와 스마트혁명 시기에 혁신과 경쟁력 강화, 생산성 향상을 위한 중요한 원천으로 간주되고 있다. 데이터 속도(Velocity)은 다양한 형태의 데이터를 포함하는 것을 뜻한다. 정형 데이터 뿐만 아니라 사진, 오디오, 비디오, 소셜 미디어 데이터, 로그 파일 등과 같은 비정형 데이터도 포함된다.

[9] 빅 데이터의 새로운 V [ 편집 ]

빅 데이터의 새로운 V – 정확성(Veracity) : 빅 데이터 시대에는 방대한 데이터의 양을 분석하여 일정한 패턴을 추출할 수 있다. 하지만 정보의 양이 많아지는 만큼 데이터의 신뢰성이 떨어지기 쉽다. 따라서 빅데이터를 분석하는데 있어 기업이나 기관에 수집한 데이터가 정확한 것인지, 분석할 만한 가치가 있는지 등을 살펴야 하는 필요성이 대두되었고, 이러한 측면에서 새로운 속성인 정확성(Veracity)이 제시되고 있다.

빅 데이터의 새로운 V – 가변성(Variability) : 최근 소셜미디어의 확산으로 자신의 의견을 웹사이트를 통해 자유롭게 게시하는 것이 쉬워졌지만 실제로 자신의 의도와는 달리 자신의 생각을 글로 표현하게 되면 맥락에 따라 자신의 의도가 다른 사람에게 오해를 불러일으킬 수 있다. 이처럼 데이터가 맥락에 따라 의미가 달라진다고 하여 빅 데이터의 새로운 속성으로 가변성(Variability)이 제시되고 있다.

빅 데이터의 새로운 V – 시각화(Visualization) : 빅 데이터는 정형 및 비정형 데이터를 수집하여 복잡한 분석을 실행한 후 용도에 맞게 정보를 가공하는 과정을 거친다. 이때 중요한 것은 정보의 사용대상자의 이해정도이다. 그렇지 않으면 정보의 가공을 위해 소모된 시간적, 경제적 비용이 무용지물이 될 수 있기 때문이다.

메타그룹(현재 가트너)의 애널리스트 더그 레이니(Doug Laney)는 2001년 그의 연구 보고서[10]와 관련 강의에서 데이터의 급성장에 따른 이슈와 기회를 데이터의 양(volume), 데이터 입출력의 속도(velocity), 데이터 종류의 다양성(variety)이라는 세 개의 차원으로 정의하였다. 이 “3V” 모델은 이후 가장 널리 사용되는 빅 데이터의 정의가 되었다.[11] 2012년 가트너는 기존의 정의를 다음과 같이 개정하였다: “빅 데이터는 큰 용량, 빠른 속도, 그리고(또는) 높은 다양성을 갖는 정보 자산으로서 이를 통해 의사 결정 및 통찰 발견, 프로세스 최적화를 향상시키기 위해서는 새로운 형태의 처리 방식이 필요하다.”[12] 이에 더해, IBM은 정확성(Veracity)이라는 요소를 더해 4V를 정의하였고,[13] 브라이언 홉킨스(Brian Hopkins) 등은 가변성(Variability)을 추가하여 4V를 정의하였다.[14]

가트너의 3V 정의가 여전히 널리 사용되고 있는 가운데, 데이터와 그것의 사용 방법에 있어서 빅 데이터와 경영정보학의 차이가 점차 더 뚜렷하게 구분되고 있다.

경영정보학은 대상을 측정하고 경향을 예측하는 등의 일을 하기 위해 고밀도의 데이터로 구성된 기술적 통계를 활용한다.

빅 데이터는 큰 데이터 집합으로부터 일정한 법칙을 추론하여 결과 및 행동을 예측하기 위해 통계적 추론과 비선형 시스템 식별(nonlinear system identification)[15]의 일부 개념을 활용한다.[15][16]

분석 기법 [ 편집 ]

상기 특징을 가진 빅 데이터의 분석, 활용을 위한 빅 데이터 처리 기법은 크게 분석 기술, 표현 기술로 나뉜다.

분석 기술 [ 편집 ]

빅데이터를 다루는 처리 프로세스로서 병렬 처리의 핵심은 분할 점령(Divide and Conquer)이다. 즉 데이터를 독립된 형태로 나누고 이를 병렬적으로 처리하는 것을 말한다. 빅데이터의 데이터 처리란 이렇게 문제를 여러 개의 작은 연산으로 나누고 이를 취합하여 하나의 결과로 만드는 것을 뜻한다. 대용량의 데이터를 처리하는 기술 중 가장 널리 알려진 것은 아파치 하둡()과 같은 Map-Reduce 방식의 분산 데이터 처리 프레임워크이다. 대부분의 빅 데이터 분석 기술과 방법들은 기존 통계학과 전산학에서 사용되던 데이터마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당한다.[17] 소셜 미디어등 비정형 데이터의 증가로 인해 분석기법 중에서 텍스트 마이닝, 오피니언 마이닝, 소셜네트워크 분석, 군집분석 등이 주목받고 있다.[18]

아파치 하둡(Apache Hadoop) : 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크

텍스트 마이닝: 비/반정형 텍스트 데이터에서 자연 언어 처리 기술에 기반을 두어 유용한 정보를 추출, 가공

오피니언 마이닝: 소셜미디어 등의 정형/비정형 텍스트의 긍정, 부정, 중립의 선호도를 판별

소셜 네트워크 분석: 소셜 네트워크의 연결 구조 및 강도 등을 바탕으로 사용자의 명성 및 영향력을 측정

군집 분석: 비슷한 특성을 가진 개체를 합쳐가면서 최종적으로 유사 특성의 군집을 발굴

대규모의 정형/비정형 데이터를 처리하는 데 있어 가장 기본적인 분석 인프라로 하둡이 있으며 데이터를 유연하고 더욱 빠르게 처리하기 위해 NoSQL 기술이 활용되기도 한다.[18]

표현 기술 [ 편집 ]

빅 데이터 분석 기술을 통해 분석된 데이터의 의미와 가치를 시각적으로 표현하기 위한 기술로 대표적인 것으로는 R (프로그래밍 언어)이 있다.[18] [19] 빅데이터 플랫폼 [ 편집 ]

빅데이터 플랫폼은 빅데이터 기술의 집합체이자 기술을 잘 사용할 수 있도록 준비된 환경이다. 기업들은 빅데이터 플랫폼을 사용하여 빅데이터를 수집, 저장, 처리 및 관리 할 수 있다. 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라(Infrastructure)인 셈이다. 빅데이터 플랫폼은 빅데이터라는 원석을 발굴하고, 보관, 가공하는 일련의 과정을 이음새 없이 통합적으로 제공해야 한다. 이러한 안정적 기반 위에서 전처리된 데이터를 분석하고 이를 다시 각종 업무에 맞게 가공하여 활용한다면 사용자가 원하는 가치를 정확하게 얻을 수 있을 것이다.

활용사례 및 의의 [ 편집 ]

정치 [ 편집 ]

2008년 미국 대통령 선거에서 버락 오바마 미국 대통령 후보는 다양한 형태의 유권자 데이터베이스를 확보하여 이를 분석, 활용한 ‘유권자 맞춤형 선거 전략’을 전개했다. 당시 오바마 캠프는 인종, 종교, 나이, 가구형태, 소비수준과 같은 기본 인적 사항으로 유권자를 분류하는 것을 넘어서서 과거 투표 여부, 구독하는 잡지, 마시는 음료 등 유권자 성향까지 전화나 개별 방문을 또는 소셜 미디어를 통해 유권자 정보를 수집하였다. 수집된 데이터는 오바마 캠프 본부로 전송되어 유권자 데이터베이스를 온라인으로 통합관리하는 ‘보트빌더(VoteBuilder.com)’시스템의 도움으로 유권자 성향 분석, 미결정 유권자 선별 , 유권자에 대한 예측을 해나갔다. 이를 바탕으로‘유권자 지도’를 작성한 뒤 ‘유권자 맞춤형 선거 전략’을 전개하는 등 오바마 캠프는 비용 대비 효과적인 선거를 치를 수 있었다.

중앙선거관리위원회는 대한민국 제19대 총선부터 소셜 네트워크 등 인터넷 상의 선거 운동을 상시 허용하였다.[20] 이에 소셜 미디어 상에서 선거 관련 데이터는 증폭되었으며, 2010년 대한민국 제5회 지방 선거 및 2011년 대한민국 재보궐선거에서 소셜 네트워크 서비스의 중요성을 확인한 정당들 또한 SNS 역량 지수를 공천 심사에 반영하는 등[21] 소셜 네트워크 활용에 주목했다. 이 가운데 여론 조사 기관들은 기존 여론조사 방식으로 예측한 2010년 제5회 지방 선거 및 2011년 재보궐선거의 여론조사 결과와 실제 투표 결과와의 큰 차이를 보완하고자 빅 데이터 기술을 활용한 SNS 여론 분석을 시행했다. 그러나 SNS 이용자의 대다수가 수도권 20~30대에 쏠려 있기에[22], 빅 데이터를 이용한 대한민국 제19대 총선에 대한 SNS 분석은 수도권으로 한정되어 일치하는 한계를 드러내기도 하였다.

경제 및 경영 [ 편집 ]

아마존닷컴 의 추천 상품 표시 / 구글 페이스북 의 맞춤형 광고 [ 편집 ]

아마존닷컴은 모든 고객들의 구매 내역을 데이터베이스에 기록하고, 이 기록을 분석해 소비자의 소비 취향과 관심사를 파악한다.[23] 이런 빅 데이터의 활용을 통해 아마존은 고객별로 ‘추천 상품(레코멘데이션)’을 표시한다. 고객 한사람 한사람의 취미나 독서 경향을 찾아 그와 일치한다고 생각되는 상품을 메일, 홈 페이지상에서 중점적으로 고객 한사람 한사람에게 자동적으로 제시하는 것이다.[24] 아마존닷컴의 추천 상품 표시와 같은 방식으로 구글 및 페이스북도 이용자의 검색 조건, 나아가 사진과 동영상 같은 비정형 데이터 사용을 즉각 처리하여 이용자에게 맞춤형 광고를 제공하는 등 빅데이터의 활용을 증대시키고 있다.

사회 [ 편집 ]

코로나19 와 이민자, 유학생 간 상관관계 [ 편집 ]

코로나19 확진자의 국가별 통계와 중국인 유학생 이동 통계, 중국인 이민자 수 통계를 이용한 상관성 분석을 통해 코로나19의 세계적 확산 양상이 중국 이민자 및 유학생 진출자 수와 비교적 강한 상관관계를 지닌다는 국내 연구팀의 분석 결과가 나왔다.[25] 중국인이 감염증 발생 및 확산의 원인이라는 결론은 위험하며, 정보 분석을 통해 감염병 확산을 예측하고 효과적으로 대처할 수 있다는 사실을 알리기 위한 분석의 한 사례이다.

문화 [ 편집 ]

머니볼 이론이란 경기 데이터를 철저하게 분석해 오직 데이터를 기반으로 적재적소에 선수들을 배치해 승률을 높인다는 게임 이론이다.[26] 이는 미국 메이저 리그 베이스볼 오클랜드 어슬레틱스의 구단장 빌리 빈이 리그 전체 25위에 해당하는 낮은 구단 지원금 속에서도 최소비용으로 최대효과를 거둔 상황에서 유래되었다. 빌리 빈은 최하위에 그치던 팀을 4년 연속 포스트시즌에 진출시키고 메이저 리그 최초로 20연승이라는 신기록을 세우도록 탈바꿈 시켰다. 2003년, 미국 월스트리트 저널은 미국 경제에 큰 영향을 끼치는 파워 엘리트 30인에 워렌 버핏, 앨런 그린스펀과 함께 빌리 빈을 선정[27] 하는 등 머니볼 이론은 경영, 금융 분야에서도 주목받았다. 최근 들어서 과학기술 및 카메라 기술의 발달로 더욱 정교한 데이터의 수집이 가능해졌으며 투구의 궤적 및 투수의 그립, 타구 방향, 야수의 움직임까지 잡아낼 수 있게 되었다. 이처럼 기존의 정형 데이터뿐만 아닌 비정형 데이터의 수집과 분석, 활용을 통해 최근 야구경기에서 빅 데이터의 중요성은 더욱 커지고 있다. 선수의 인기만을 쫓는 것이 아니라 팀별 승률이나 선수의 성적을 나타내는 수치와 야구를 관전한다면 그 재미는 배가된다. ‘출루율’은 타율로 인정되지 않는 볼넷을 포함하여 타자가 성공적으로 베이스를 밟은 횟수의 비율, ‘장타율’은 타수마다 밟은 총 베이스를 계산해서 타격력이 얼마나 강한지를 나타내는 비율이다.

출루율과 장타율 못지 않게 ‘타수’는 한두 경기에서 낸 성적이 아닌, 수천 번의 타석에 들어 좋은 성적을 만들어낸 선수를 선별하기 위한 기초 통계자료이다. 이처럼 한 선수의 타율에서 팀의 역대 시리즈 전적까지 모든 것을 숫자로 표현할 수 있다고 해서 야구를 ‘통계의 스포츠’라고 부르기도 한다. 야구뿐만 아니라 생활 곳곳에서 활용되는 통계는 복잡한 상황과 설명을 간단한 숫자로 바꿔주는 매우 강력한 도구이다.[28]

프로파일링 ‘과 ‘빅데이터’ 기법을 활용한 프로그램 MBC [ 편집 ]

방송에는 19세 소년의 살인 심리를 파헤친 ‘용인살인사건의 재구성’, 강남 3구 초등학교 85곳의 학업성취도평가 성적과 주변 아파트 매매가의 상관관계를 빅데이터(디지털 환경에서 발생한 방대한 규모의 데이터)를 통해 분석한 ‘강남, 부자일수록 공부를 잘할까'[29]

브라질에서 개최된 2014년 FIFA 월드컵에서 독일은 준결승에서 개최국인 브라질을 7:1로 꺾고, 결승에서 아르헨티나와 연장전까지 가는 접전 끝에 1:0으로 승리를 거두었다. 무패행진으로 우승을 차지한 독일 국가대표팀의 우승의 배경에는 ‘빅데이터’가 있었다.

독일 국가대표팀은 SAP와 협업하여 훈련과 실전 경기에 ‘SAP 매치 인사이트’를 도입했다. SAP 매치 인사이트란 선수들에게 부착된 센서를 통해 운동량, 순간속도, 심박수, 슈팅동작 등 방대한 비정형 데이터를 수집, 분석한 결과를 감독과 코치의 태블릿PC로 전송하여 그들이 데이터를 기반으로 전술을 짜도록 도와주는 솔루션이다. 기존에 감독의 경험이나 주관적 판단으로 결정되는 전략과는 달리, SAP 매치 인사이트를 통해 이루어지는 분석은 선수들에 대한 분석 뿐만 아니라 상대팀 전력, 강점, 약점 등 종합적인 분석을 통해 좀 더 과학적인 전략을 수립할 수 있다. 정보 수집에 쓰이는 센서 1개가 1분에 만들어내는 데이터는 총 12000여개로 독일 국가대표팀은 선수당 4개(골키퍼는 양 손목을 포함해 6개)의 센서를 부착했고, 90분 경기동안 한 선수당 약 432만개, 팀 전체로 약 4968만개의 데이터를 수집했다고 한다.월드컵8강 獨 전차군단 비밀병기는 ‘빅데이터’

여론의 장으로서의 유튜브 [ 편집 ]

유튜브가 폭발적 성장한 것은 2011년에 트위터와 페이스북 등 소셜미디어와 유사하게 개편되면서 구독하기·댓글달기·추천동영상 등 사람들이 쉽게 관계를 맺고 적극적 참여가 가능하도록 만들었다.[30] 이는 오락적 콘텐츠 소비 차원을 넘어 새로운 여론의 장을 만들어가고 있다. 다음 아고라로 시작된 인터넷 여론의 창은 트위터, 페이스북을 거쳐 유튜브로 이동하고 있다. 빅 데이터는 언급 빈도의 단순 집계와 통계적 분포는 물론 해당 단어들이 사용된 정서적 맥락과 제3의 단어와 가지는 관계성을 고려한 분석이 가능하다.[31]

과학기술 및 활용 [ 편집 ]

데이터 마이닝이란 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석의 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술로, 수집되는 ‘빅 데이터’를 보완하고 마케팅, 시청률조사, 경영 등으로부터 체계화돼 분류, 예측, 연관분석 등의 데이터 마이닝을 거쳐 통계학적으로 결과를 도출해 내고 있다.[32][33]

대한민국에서는 2000년부터 정보통신부의 산하단체로 사단법인 한국BI데이터마이닝학회가 설립되어 데이터 마이닝에 관한 학술과 기술을 발전, 보급, 응용하고 있다. 또한 국내ㆍ외 통계분야에서 서서히 빅 데이터 활용에 대한 관심과 필요성이 커지고 있는 가운데 국가통계 업무를 계획하고 방대한 통계자료를 처리하는 국가기관인 통계청이 빅 데이터를 연구하고 활용방안을 모색하기 위한 ‘빅 데이터 연구회’를 발족하였다.[34] 하지만 업계에 따르면, 미국과 영국, 일본 등 선진국들은 이미 빅 데이터를 다각적으로 분석해 조직의 전략방향을 제시하는 데이터과학자 양성에 사활을 걸고 있다. 그러나 한국은 정부와 일부 기업이 데이터과학자 양성을 위한 프로그램을 진행 중에 있어 아직 걸음마 단계인 것으로 알려져 있다.[35]

최근 생물학에서 DNA, RNA, 단백질 서열 및 유전자들의 발현과 조절에 대한 데이터의 양이 급격히 증가했고 이에 따라 이 빅데이터를 활용한 생명의 이해에 관한 논의가 진행되고 있다.

[36] 빅데이터 시대의 초고속 SSD [ 편집 ]

SSD는 대용량 데이터를 처리하고 관리 하는 데이터센터, 클라우드 등에서 많은 인기를 끌고 있으며, 실제로 국내·외의 하드웨어 업체들은 소비자용 SSD를 넘어 데이터센터 기반의 기업들을 대상으로 한 기업용 SSD를 출시하여 시장의 입지를 다져가며 넓혀가 있는 중이다. 시장조사기관 IHS 마킷(IHS Markit) 에 따르면 기업용 SSD 시장은 올해 142억달러로 꾸준히 성장하여 2021년에는 176억달러로 늘어나며 연평균 7.0% 성장을 이끌어낼 전망이다.

보건의료 [ 편집 ]

국민건강보험공단은 가입자의 자격·보험료, 진료·투약내용, 건강검진 결과 및 생활습관 정보 등 2조1천억건, 92테라바이트의 빅데이터를 보유하고 있고, 한편, 건강보험심사평가원은 진료내역, 투약내용(의약품 안심서비스), 의약품 유통 등의 2조2천억건, 89테라바이트의 빅데이터를 보유하고 있으며, 경제협력개발기구(OECD)는 한국의 건강보험 빅데이터 순위가 2위라고 발표했었다. 건보공단과 심평원은 빅데이터를 민간에 널리 알리고 더 많이 개방하고 있다. (연합뉴스 2016.6.14 인터넷뉴스 참조)

빅 데이터를 활용하면 미국 의료부문은 연간 3,300 억 달러(미 정부 의료 예산의 약 8%에 해당하는 규모)의 직간접적인 비용 절감 효과를 보일 것으로 전망된다.[37] 특히 임상분야에서는 의료기관 별 진료방법, 효능, 비용 데이터를 분석하여 보다 효과적인 진료방법을 파악하고 환자 데이터를 온라인 플랫폼화하여 의료협회 간 데이터 공유로 치료 효과를 제고하며 공중보건 영역에선 전국의 의료 데이터를 연계하여 전염병 발생과 같은 긴박한 순간에 빠른 의사결정을 가능케 할 전망이다.[38]

한편, 의료 분야에서 빅 데이터가 효과를 발휘하기 위해서는 대량의 의료정보 수집이 필수적이기 때문에, 개인정보의 보호와 빅 데이터 활용이라는 두 가지 가치가 상충하게 된다. 따라서, 의료 분야에서 빅 데이터의 활용과 보급을 위해서는 이러한 문제에 대한 가이드라인 마련이 필요한 상태이다.[39]

기업 경영 [ 편집 ]

대규모의 다양한 데이터를 활용한 ‘빅데이터 경영’이 주목받으면서 데이터 품질을 높이고 방대한 데이터의 처리를 돕는 데이터 통합(Data Integration)의 중요성이 부각되고 있다.

데이터 통합(DI)은 데이터의 추출, 변환, 적재를 위한 ETL 솔루션이 핵심인데 ETL 솔루션을 활용하면 일일이 수많은 데이터를 기업 데이터 포맷으로 코딩하지 않아도 되고 데이터 품질을 제고할 수 있기 때문에 DI는 빅데이터 환경에 꼭 필요한 데이터 솔루션으로 평가받고 있는 단계까지 진입되었다.

한편 비즈니스 인텔리전스(Business Intelligence, BI)보다 진일보한 빅데이터 분석 방법이 비즈니스 애널리틱스(Business analytics, BA)인데 고급분석 범주에 있는 BA는 기본적으로 BI를 포함하면서도 미래 예측 기능과 통계분석, 확률 분석 등을 포함해 최적의 데이터 기반 의사결정을 가능케 하는 것으로 평가받고 있기도 하다.[40]

마케팅 [ 편집 ]

인터넷으로 시작해서 인터넷으로 마감하는 생활, 스마트폰을 이용해 정보를 검색하고 쇼핑도하고 SNS를 이용해서 실시간으로 글을 남기는 등의 다양하게 인터넷을 이용하는 동안 남는 흔적같은 모인 데이터들을 분석하면 개인의 생활 패턴, 소비성향 등을 예측할 수 있고 기업들은 이런 데이터를 통해서 소비자가 원하는 것들을 미리 예측할 수 있다. 빅 데이터가 마케팅 자료로 활용되는 사례이다.[40]

마케팅 분석의 예로써 지역축제의 SNS 분석을 들 수 있다. 기존 지역축제의 성공을 측정하는 방식은 경제적 파급효과를 통해 이루어져 왔다. 하지만 축제의 성공 지표는 개최에 따르는 경제성만으로는 평가될 수 없으며, 축제를 즐기는 관광객의 즐겁고 신나는 경험을 통해 투자와 소비로 연결되는 선순환 과정을 확보해야 한다. 이를 측정할 방법은 축제를 즐긴 관광객이 남긴 웹상의 ‘5Ns’의 추적을 통해 가능하다.[41] 먼저, 주목(attentioN, SNS 게시물 및 영상 조회수와 도달범위 등으로 측정) 정도와 2단계인 반응(reactioN, 좋아요, 공감, 비공감 등 표시 행위)을 통해 사람들의 축제에 대한 관심을 파악할 수 있다. 나아가 표현(expressioN, 게시물, 댓글 등 의사표현 행위)을 통해 축제에 대한 만족 및 불만족을 표현하게 되고, 온라인 공간을 넘어 오프라인 축제로의 참여(participatioN)와 소비(consumptioN)로 이어지게 된다. 5Ns 분석을 적용한 대구치맥페스티벌은 전국적 인지도와 폭넓은 대중성을 확보했음에도 마지막 단계인 소비(consumptioN)로의 연계 고리가 약한 것으로 나타났다. 일회성 행사의 한계를 극복하기 위해 축제의 상설화를 통해 축제 경험을 강화하는 물리적 공간의 확보가 제시되었다.[42]

기상정보 [ 편집 ]

한반도 전역의 기상관측정보를 활용해 일기예보와 각종 기상특보 등 국가 기상서비스를 제공하고 있는 기상청은 정밀한 기상예측을 위한 분석 과정에서 발생하는 데이터 폭증에 대응하고자 빅데이터 저장시스템의 도입을 추진하였다.

대다수 스토리지 기업들의 솔루션을 검토한 끝에 한국 IBM의 고성능 대용량 파일공유시스템(General Parallel File System, 이하 GPFS)을 적용한 스토리지 시스템을 선택하였다고 밝혔다.

한국IBM이 기상청에 제공한 GPFS 기반의 빅데이터 저장시스템은 IBM 시스템 스토리지 제품군, 시스템 x서버 제품군과 고속 네트워킹 랙스위치(RackSwitch) 등이 통합돼 있는 시스템이다.[40]

보안관리 [ 편집 ]

보안관리는 빅데이터 환경을 이용해 성장과 기술 발전을 동시에 이루는 분야로 분리한다. 클라우드 및 모바일 환경으로 접어들면서 물리/가상화 IT 시스템의 복잡성이 더욱 높아지고 있어 유무선 네트워크, 프라이빗/퍼블릭 클라우드, 모바일 애플리케이션과 기기관리 등 IT 시스템 전반에서 대대적인 변화가 예상되고 있어 막대한 양의 보안관리가 중요한 요소로 현실화되고 있다.[43]

구글 번역 [ 편집 ]

구글에서 제공하는 자동 번역 서비스인 구글 번역은 빅 데이터를 활용한다. 지난 40년 간 컴퓨터 회사 IBM의 자동 번역 프로그램 개발은 컴퓨터가 명사, 형용사, 동사 등 단어와 어문의 문법적 구조를 인식하여 번역하는 방식으로 이뤄졌다. 이와 달리 2006년 구글은 수억 건의 문장과 번역문을 데이터베이스화하여 번역시 유사한 문장과 어구를 기존에 축적된 데이터를 바탕으로 추론해 나가는 통계적 기법을 개발하였다. 캐나다 의회의 수백만 건의 문서를 활용하여 영어-불어 자동번역 시스템개발을 시도한 IBM의 자동 번역 프로그램은 실패한 반면 구글은 수억 건의 자료를 활용하여 전 세계 58개 언어 간의 자동번역 프로그램 개발에 성공하였다. 이러한 사례로 미루어 볼 때, 데이터 양의 측면에서의 엄청난 차이가 두 기업의 자동 번역 프로그램의 번역의 질과 정확도를 결정했으며, 나아가 프로젝트의 성패를 좌우했다고 볼 수 있다.[40]

논쟁점 [ 편집 ]

폐해 사례 [ 편집 ]

2019년 7월에 넷플릭스에서 개봉된 오리지널 다큐멘터리 <거대한 해킹(The Great Hack)>에서 파슨스 디자인 스쿨의 부교수 데이비드 캐롤(David Carroll)은 이렇게 말한다.

“ 우리의 온라인 활동에서 나오는 데이터가 그냥 사라지진 않는다. 우리의 디지털 흔적들을 모으고 분석하면 매년 1조 달러 규모의 산업이 된다. 우린 이제 원자재가 된 것이다. 그럼에도 불구하고, 누구도 이용 조건을 읽어보려고 하지 않는다. 우리의 모든 교류 내역과 신용카드 결제, 웹 검색, 위치 정보, ‘좋아요’까지 우리의 신원과 결부되어 실시간으로 수집된다. 그 데이터를 구매하는 누구든, 우리의 감정의 고동에 곧바로 접속할 수 있다. 그들은 이런 지식으로 무장하고 우리의 관심을 끌기 위해 경쟁한다. 개인 맞춤형으로 각자 혼자만 보는 콘텐츠를 지속적으로 제공하면서. 이것은 우리 모두에게 해당되는 진실이다.

-《거대한 해킹》 내용 中[44] ”

데이비드 캐롤은 2016년 미국 대통령 선거와 2016년 브렉시트 국민투표에 케임브리지 애널리티카(Cambridge Analytica)가 깊이 관여해 있음을 밝히려고 애쓰면서 영국의 법을 이용해서 캐임브리지 애널리티카가 보유하고 있다고 여겨지는 데이터를 되찾아오려고 노력하고 있다. 그는 런던 소재 고등 법원에 케임브리지 애널리티카와 SCL 선거 캠페인회사(SCL Elections Ltd)를 언급하며 자신의 데이터를 복구하고 그 출처를 공개하라는 성명을 제출했다. 영국 보수당 국회의원 다미안 콜린스(Damian Noel Thomas Collins MP)가 케임브리지 애널리티카의 대표인 알렉산더 닉스(Alexander Nix)를 법정에 불러서 심문을 받게 했고, 페이스북의 대표이사 마크 주커버그와 케임브리지 애널리티카의 내부고발자 크리스토퍼 와일리(Christopher Wylie)를 참고인으로 불러 조사가 시작되었다. 데이비드 캐롤은 빅데이터 해킹의 위험에 대해 경고하면서, 대서양 양측에서 규제 압력을 가해서 전세계 기업들이 개인 정보 취급에 대해 보다 투명하게 만들게 해야 한다고 주장을 계속하고 있다.[45]

윤리 강령 [ 편집 ]

같이 보기 [ 편집 ]

각주 [ 편집 ]

빅데이터란 무엇인가, 그리고 빅데이터를 이용해야 하는 이유는?-경북콘텐츠코리아랩 웹진

최근 화두가 되고 있는 기술 중 하나로 ‘빅데이터’, ‘빅데이터 분석’과 같은 말들을 많이 들어보았을 것이다. 빅데이터란, 이름의 뜻 그대로 기존 방식으로 저장·관리·분석하기 어려울 정도로 큰 규모의 데이터를 의미한다.(디지에코 보고서, 2015)

빅데이터의 크기를 보기 위해서는 데이터의 크기를 표시하는 단위로 짐작할 수 있다. 우리가 일반적으로 알고 있는 것은 GB(기가바이트)이며, 이는 대부분의 PC 컴퓨터나 휴대폰 기기의 저장소 크기이다. 다음이 바로 TB(테라바이트)이며 1024TB는 1PB(페타바이트)가 된다. 일반적으로 빅데이터란 현재 페타바이트 단위를 의미한다.

그렇다면, 기존에도 인터넷의 발전과 함께 많은 큰 데이터들이 존재하였는데 왜 새로운 빅데이터란 이름이 나오게 된 것일까?

먼저, 기술의 발전과 함께 우리가 함께 쓰는 데이터의 양도 무섭도록 증가하고 있다. 유튜브(Youtube), 페이스북(Facebook), 카카오톡과 같이 우리가 일상 속에서 사용하는 것들은 모두 데이터이다. 유튜브를 통해 동영상을 시청하고, 페이스북을 통해 친구의 근황을 알고 실시간으로 카카오톡을 통해 친구와 대화를 하는 것 모두 데이터를 통해서 이루어지며 데이터로 저장된다.

유튜브의 경우 전세계 10억명의 사용자가 매일 4억개의 동영상을 시청한다. 데이터가 없다면 우리는 위와 같은 세상의 변화를 체감할 수 없을 것이다. 하지만 기업은 데이터를 관리하기 위해 알래스카에 데이터센터를 지으면서까지 데이터를 저장한다.

스마트폰의 혁신과 함께 변화한 세상은 더 많은 데이터를 내놓기 시작했고, 학자들은 과연 쌓여 있는 데이터들을 통해서 얻을 수 있는 게 있지 않을까라고 생각한다.

그것이 바로 빅데이터 분석이다. 현재 우리가 사용하고 있는 여러 분야에서 빅데이터가 활용되고 있는데 실제로 체감할 수는 없지만 빅데이터의 활용으로 우리는 조금 더 편리한 생활을 하고 있는 것이다. 이런 예로, 서울시 야간버스 노선도, 카드사의 고객맞춤 상품 출시 등이 있다.

빅데이터를 이용해야 하는 이유

최근 한 리서치 업체의 조사에 따르면, 빅데이터 활용을 준비 중이거나 이미 활용 중인 기업이 모든 업종별로 40% 이상인 것으로 조사되었다. 이러한 결과의 이유에는 바로 고객 파악이 모든 사업 성공의 필수 요건이기 때문이다.

데이터는 사용자들이 어떤 것을 원하고, 어떻게 이용하는지에 대한 정보가 모두 담겨 있다. 데이터 속에서 주된 고객층의 흐름을 파악하여 거기에 맞는 상품을 제공하는 것이 고객과 기업 모두의 이익이 되기 때문에 빅데이터 활용은 이제 기업 입장에서 선택이 아닌 필수조건이 되는 것이다. 현재 동일 업종의 기업 내에서 빅데이터를 이용하는 기업과 하지 않는 기업은 실제로 큰 차이를 보여주고 있다.

온라인으로 많은 것을 이용하는 현대 사회에서 소비자의 호감을 얻기 위해 가장 중요한 서비스 특징이 바로 신속성이다. 몇 년 전부터 한 소셜커머스 기업이 빅데이터 분석을 이용하여 다른 소셜커머스 기업들보다 크게 성공하였다.

서비스 이름은 바로 ‘로켓 배송’이다. 한 소비자가 기저귀가 필요하여 주문을 하면, 기존의 소셜커머스 기업들에서는 주문 정보가 들어가고 그때 포장을 하여 택배로 보내는 데까지 1~2일 정도 시간이 필요하다.

그러나 ‘로켓 배송’을 해 주는 소셜커머스 기업에 기저귀를 주문한다면, 주문 정보가 기업으로 가는 것이 아니라, 주문을 한 소비자의 지역에 있는 ‘캠프’라고 불리는 물류센터로 간다. 그렇게 되면 주문 정보를 받은 ‘캠프’에서는 미리 포장을 완료한 기저귀를 즉시 배송을 하여 불과 2~3시간 만에 소비자에게 기저귀가 배달된다.

‘캠프’에서 미리 포장 완료된 기저귀를 준비할 수 있었던 이유가 바로 빅데이터 분석을 활용하였기 때문이다. ‘로켓 배송’에서는 각 지역별로 주문했던 지난 내역들을 빅데이터 분석을 통해 주문이 들어올 상품들을 미리 포장을 완료하여 ‘캠프’라는 물류창고에 보관하고 있었기 때문에 빠른 시간 안에 주문부터 배송까지 완료를 할 수 있었던 것이다.

빅데이터 분석을 통한 주문상품 예측으로 빠른 배송이 완료되어, 소비자들의 기업에 대한 만족도가 ‘로켓 배송’을 안 하는 다른 업체에 비해 월등하게 높게 나타났다. 빅데이터 분석을 통한 주문물량 예측이 완벽하게 맞는 것이 아니기 때문에, 재고에 대한 기업 손해는 엄청나다. 결론적으로, 빅데이터 분석을 통한 주문 예측으로 ‘로켓 배송’에 성공하여 1조원의 투자를 받아 크게 성공했다.

〈그림 1〉은 최근에 소비자들에게 소셜커머스 기업들의 평판을 조사한 자료이다. 이 그래프에서 보듯, ‘로켓 배송’을 하여 소비자에게 빠른 상품 배달을 한 쿠팡은 다른 기업들에 비해 소비자 평판이 높게 나왔다. 또한 ‘로켓 배송’ 서비스를 시작한 2015년 이후 매출액이 상당히 증가한 것을 확인할 수 있었다.

이러한 ‘로켓 배송’이 가능한 이유는 차세대 IT 기술인 빅데이터 분석을 적극 활용하였기 때문이다. 이처럼 빅데이터 분석을 통해 서비스를 개발한 기업은 그러지 않은 기업에 비해 높은 소비자 만족도와 매출을 얻게 되었다.

우리 주변의 빅데이터 활용사례는?

서울시는 심야시간대의 통화량 등의 빅데이터를 분석해 심야버스 노선을 도출했다.

1) 서울시 심야버스 노선도

주변을 둘러보면 빅데이터는 이미 우리의 일상 속 많은 분야에서 응용되고 있다. 대표적인 사례는 2013년 개통한 서울시 심야버스 노선이다. 심야버스의 노선도는 직관적으로 만들어진 것이 아니라 빅데이터를 통한 철저한 분석에 의해 도출된 것이다. 어떤 식으로 사용 되었는가를 간단히 살펴보면 다음과 같다.

우선 심야시간대의 통화량 등을 이용하여 서울시 각 지역의 유동인구 밀집도를 수집하고 이를 분석한다. 그리고 결과에 따른 최적의 노선을 도출한다. 이렇게 도출된 노선을 기준으로 다시 한 번 유동인구 빅데이터를 이용하여 배차 간격을 조절한다. 이러한 과정을 거쳐 탄생한 심야버스는 하루 평균 1000명 이상의 승객이 이용하고 있다. 즉, 빅데이터를 통한 분석과 의사결정이 사람들에게 좀 더 편안함을 준 사례이자 아주 모범적인 빅데이터의 활용 사례라고 할 수 있다.

2) 신용평가모델

빅데이터는 일상생활뿐만 아니라 금융에서도 널리 이용되고 있다. 최근의 신용평가 모델은 기존의 복잡한 과정과 인터뷰 등을 거치지 않고 온라인상으로 제공하는 서비스가 등장하고 있다. 이는 빅데이터 기반의 핀테크 서비스 중 하나로 대두되고 있다. 기존의 신용평가는 여러 종류의 서류와 인터뷰 등을 통해 이루어졌다. 심사 대상자는 신용평가 등급을 받기 위해서는 복잡하고 귀찮은 준비 과정을 거쳐야만 했다.

그러나 빅데이터를 기반으로 한 새로운 신용평가 모델은 이러한 준비가 전혀 필요치 않다. 최소한의 신청자 정보만을 가지고 해당 신청자의 소셜네트워크 활동 데이터를 수집하여 이를 기준으로 평가하는 방식이다. 예를 들면, 신청자가 소셜네트워크상에서 “부정적인 단어의 사용이 많다”라는 것이 빅데이터 수집, 분석을 통해 도출되었다면 신청자의 신용도에 대해서 다시 한 번 고려해 볼 만한 사항이 될 수 있을 것이다.

또한 택배 이용률도 신용평가의 기준이 될 수 있다. 만약 A라는 사람이 꾸준히 택배를 이용하는 사람이라면 A는 일정한 소득이 있을 것이라고 유추할 수 있고 이것을 신용도를 평가하는 요소로 활용할 수 있을 것이다. 즉 빅데이터는 기존의 정형적인 데이터를 넘어서 비정형적인 데이터에서도 의미를 찾을 수 있도록 해 주었다고 할 수 있다.

3) 금융 신상품 개발

또한 빅데이터는 금융 기업들의 마케팅 및 상품 개발에서도 이용되고 있는데 대표적으로 신한카드를 예로 들 수 있다. 신한카드는 위성호 신한카드 사장이 취임하면서 ‘빅데이터 경영’을 선언하였다. 이는 신한카드가 보유하고 있는 고객들의 카드 사용 실적을 토대로 빅데이터를 구성하고 이를 분석하여 소비패턴, 선호 트렌드를 도출한 뒤 각각의 성별, 연령대에 맞춤 형태의 상품을 개발하여 제공하고 있다. 사용자들은 자신에게 가장 적합한 서비스를 제공받을 수 있고 기업의 입장에서는 훨씬 효율적으로 고객유치를 할 수 있으므로 1석 2조의 효과를 가지고 있다고 볼 수 있다.

이러한 여러 사례들을 통해서도 볼 수 있듯이 빅데이터는 우리에게 정보를 보는 새로운 관점과 단순한 숫자나 문자의 나열에 불과했던 과거의 데이터들과는 다르게 의미있는 정보를 제공해준다.

빅데이와 핀테크의 미래

위의 빅데이터의 활용 사례를 보면서 우리가 기술 발전의 혜택이 보이지 않는 곳에서도 많이 받는다는 것을 알 수 있다. 앞으로 빅데이터를 이용한 서비스를 제공하는 기업이 늘어날 추세이며, 우리가 이용하는 데이터 정보가 더 늘어나게 된다면 우리가 받는 혜택 또한 더 다양해질 것이다. 빅데이터가 주는 혜택이란, 우리에게 느껴지지는 않지만 마음속으로만 바랐던 편의성을 기업과 정부에서 제공하는 것이다.

카드 활용 사례나 개인 신용 평가에서 빅데이터가 이용되는 사례를 본다면 과거에 언급하였던 P2P대출, 로보어드바이저의 투자와 같은 핀테크 업체에도 충분히 이용될 전망이다. 특히 최근 P2P대출의 선두주자로 소개하였던 ‘렌딩클럽’의 경우 초기 사용자의 대출 상환이 이루어지지 않아 많은 어려움을 겪고 있는 실정이다. 초기 사용자의 신용평가 모델이 적합하지 않아 이러한 일이 벌어지게 되었는데 빅데이터를 통한다면 해결책이 될 수 있다. 또한 로보어드바이저의 경우에는 기본적으로 데이터 분석을 통한 투자이다. 그렇다면 다양하고 많은 데이터가 있다면 새로운 투자 상품 개발과 투자 적합처를 발견할 수 있게 될 것이다.

이외에도 보험, 대출, 투자 등 핀테크 기업은 빅데이터를 활용하여 사업에서 가장 중요한 시장의 흐름, 고객의 니즈 파악, 상품 분석 등에 이용이 가능하다. 또한 이를 활용한 기업과 활용하지 않은 기업의 차이는 최종적인 성공의 여부와 관련이 있을 것이다.

결론적으로, 이제는 데이터가 우리 사회 전반의 기술의 기름과 같은 역할을 하게 되었고, 더 많은 데이터를 가지고 이용하는 기업이 돈을 벌고, 경쟁에서 이길 수 있는 세상이 열린 것이다.

[월간조선 2017년 4월호 / 글=박수용 서강대 컴퓨터공학과 교수]

So you have finished reading the 빅 데이터 란 무엇 인가 topic article, if you find this article useful, please share it. Thank you very much. See more: 빅데이터란 무엇인가 ppt, 빅데이터란 쉽게, 빅데이터 정의 및 특징, 빅데이터 장점, 빅데이터 예시, 빅데이터 활용, 빅데이터 활용 사례, 빅데이터 문제점

Leave a Comment