ADsP. PART.1 - 데이터의 이해 - 데이터의 가치와 미래

빅데이터이란?

 1.빅데이터의 정의

• 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장,관리,분석할 수 있는 범위를 초과하는 규모의 데이터이다.
• 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집,발굴,분석을 지원하도록 고안된 차세대 기술 및 아키텍처이다.
• 데이터의 양(Volume)데이터 유형과 소스 측면의 다양성(Varirty),데이터 수집과 처리 측면에서 속도(Velocity)각 급격히 증가하면서 나타난 현상이다.

빅데이터 - 4V(RoI - Return On Inveesment,투자자본수익률 관점에서 보는 빅데이터)

Volume(데이터의 양)	데이터의 크기,생성되는 모든 데이터를 수집
Variety(데이터의 다양성)	데이터의 댜양성,정형화된 데이터를 넘어 텍스트,오디오,비디오 등 모든 유형의 데이터를 대상으로 함
Velocity(데이터의 속도)	데이터의 속도,사용자가 원하는 시간 내 데이터 분석 결과 제공, 업데이터 속도 빠름
Value(데이터의 효과)	Value는 비즈니스 효과 요소.Volume,Varirty,Velocity는 투자비용 요소이다.

 빅데이터의 출현 배경

• 산업계에서 일어난 변화를 보면 빅데이터의 현상은 양질 전환 법칙으로 설명할 수 있다.
• 학계에서도 빅데이터를 다루는 현상들이 늘어나고 있다, 대표적 사례는 인간 게놈 프로젝트가 있다. (학계의 거대 데어터 활용 과학 확산
• 디지털화,저장기술,인터넷 보급,모바일 혁명,클라우드 컴퓨팅 등 관련 기술 발전과 관련이 있다.
•    클라우드 컴퓨텅 : 빅데이터 분석에 경제적 효과를 제공해준 결정적 기술
• 소설 미디어,영상 등 비정형 데이터의 확산
• 데이터 처리 기술발전

빅데이터의 역할

  빅데이터는 "석탄/철,원유,렌즈,플랫폼"이다.

 

석탄/철

• 빅데이터는 석탄,철이 산업혁명에서 했던 역할을 지금의 제조업 뿐만 아니라 서버스 분야의 생산성을 획기적으로 끌어올려 혁명적 변화를 가져올 것으로 기대된다.

원유

• 각종 비즈니스.공공기관 대국민 서비스,경제 성장에 필요한  '정보'를 제공하여, 산업 전반의 생산성을 향상시킬 것으로 기대된다.

렌즈

• 구글 'Ngram Viewer'를 통해 수천만권의 책을 디지털화
• 현미경의 생물학 발전에 미쳤던 영향만큼 데이터가 산업 전반에 영향을 미칠 것이다.

플랫폼

• 비즈니스 측면에서는  '공동 활용의 목적으로 구축된 유/무형의 구조물'을 의미함.
• ***페이스북***은 SNS서비스로 시작했지만, 2006년 F8행사를 기점으로  자신들의 소셜 그래프 자산을 외부 개발자들에게 공개하고 서드-파티 개발자들이 페이스북 위에서 작동하는 앱을 만들기 시작했다.
• 각종 사용자 데이터나 M2M 센서 등에서 수집된 데이터를 가공,처리,저장해두고, 이 데이터에 접근할 수 있도록 API를 공개하였다.

 

빅데이터의 가치 산정, 본질적 변화

 빅데이터의 가치 산정이 어려운 이유

  데이터의 활용방식

• 재사용이나 재조합,다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 언제,어디서,누가 활용할 지 알 수 없다

새로운 가치창출

• 데이터가 기존에 없던 가치를 창출함에 따라 그 가치를 측정하기 어렵다

분석기술의 발달

• 분석기술의 발달로 지금은 가치없는 데이터도 새로운 분석 기법의 등장으로 거대한 가치를 만들어내는 재고가 될 가능성이 있다.

 

 빅데이터가 만들어내는 본질적인 변화

• 사전처리     --> 사후처리  
• 표본조사     -->  전수조사   
• 질(Quality)  --> 양(Quantity)
• 인과관계     -->  상관관계

사전처리

• 표준화된 문서 포맷

사후처리

• 데이터를 모은 뒤 그안에서 숨은 정보를 찾아냄

 

빅데이터 활용 사례

• 구글 검색엔진,월마트의 구매패턴 분석,IBM왓슨 - 의료분야 활용
• 정부의 실시간 교통정보 활용,CCTV국가 안전에 활용 사회관계망분
• 석을 통한 현장분석,가수의 팬 음악청취 기록 분석 활용
• 아마존의 킨들(Kindle,전자책 전용 단말기)에 쌓이는 전자책 읽기 관련 데이터 분석해 저자들에게 제공

 

빅데이터 활용기법

연관규칙학습(Association rule Learning)

• 변수간 주목할 만한 상관관계가 있는지 찾아내는 방법
• 우유구매자가 기저귀도 같이 구매하는 가?
• 커피를 사는 사람들이 탄산음료도 많이 구매하는 가?

유형분석(Classification tree Analysis)

• 사용자는 어떤 특성을 가진 집단에 속하는가?와 같은 문제 해결에 사용함
• 문서를 분류하거나 조직을 그룹으로 나눌때, 온라인 수강생들을 특성에 따라 분류할 때 사용함

유전 알고리즘(Generic Algorithms)

• 최적화가 필요한 문제의 해결책을 지연선택,돌연변이 등과 같은 매커니즘을 통해 점진적으로 진화시켜 나가는 방법
• 최대의 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 하는가?
• 응급실에서 의사를 어떻게 배치하는 것이 가장 효율적인가?

기계학습

• 훈련 데이터로부터 패턴을 학습해  "예측"하는 일에 활용되고 있음
• 기존의 시청기록을 바탕으로 시청자가 현재 보유한 영화 중 어떤 것을 가장 보고 싶어할까?(넷플릭스 추천 시스템)

회귀분석

• 선형함수로 나타낼 수 있는 수치테이터 분석
• 사용자의 만족도가 충성도에 어떤 영향을 미치는가?

감정분석

• 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석함
• 소셜 미디어에 나타난 의견을바탕으로 고객이 원하는 것을 찾아낼 때 활용함
• 호텔에서 고객의 논평을 받아 서비스를 개선하기 위해 활용함

소셜 네트워크 분석

• 사회관계망분석(SNA)
• 영향력 있는 사람을 찾아낼 수 있으면, 사람들 간 소셜관계를 파악할 수 있다

 

빅데이터 위기요인과 통제방안

1.사생활 침해

  위기요인

• 우리를 둘러싼 정보 수집 센서들의 수가 점점 늘어나고 있고, 특정 데이터가 본래 목적 외에 가공 처리돼 2차 3차적 목적으로 활용될 가능성이 증가
• 익명화(Anonymization) : 사생활 침해를 방지하기 위해 데이터에 포함된 개인 식별 정보를 삭제하거나 알아볼 수 없는 형태로 변환하는 것

통제요인

• 동의제에서 책임제로 전환
• 개인정보의 활용에 대한 개인이 매번 동의하는 것은 경제적으로도 매우 비효율적임
• 사생활 침해문제를 개인정보 제공자의 동의를 통해 해결하기 보다는 개인정보 사용자에게 책임을 지움으로써 개인정보 사용 주체보다 적극적인 보호장치를 강구하게 하는 효과가 발생할 것으로 기대됨

 

2.책임원칙의 훼손

   위기요인

• 빅데이터 기반분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들은 예측 알고리즘의 해생양이 될 가능성이 증가함
• 그러나 잠재적 위험 사항에 대해서도 책임을 추궁하는 사회로 변질될 가능성이 높아 민주주의 사회 원칙을 크게 훼손할 수 있다
• (예)범죄 예측프로그램을 통해 범죄 전체포

  통제요인

• 기존의 책임원칙을 강화할 수 밖에 없다

 

3.데이터의 오용

  위기요인

• 빅데이터는 일어난 일에 대한 데이터에 의존함
• 그것을 바탕으로 미래를 예측하는 것은 적지않은 정확도를 가질 수 있지만, 항상 맞을 수는 없음
• 주어진 데이터에 잘못된 인사이트를 얻어 비즈니스에 직접 손실을 불러 올수 있음

통제요인

• 데이터 알고리즘에 대한 접근권 허용 및 객관적 인증방안을 도입 필요성 제기

 

알고리즈미스트

• 데이터 분석 알고리즘으로 부당한 피해를 보는 사람을 방지하기 위해서 생겨난 직업
• 데이터 분석 알고리즘으로 인해 피해를 입은 사람을 구제하는 전문가

 

 

개인정보 비식별화 기법

데이터마스킹

• 다양한 유형의 데이터 관리 시스템에 저장된 정보를 보호하는 데 사용되는 프로세스(카드 뒤 4자리 숨기기, 주민번호 6자리 숨기기)  

데이터범주화

• 변수가 가질 수 있는 가능한 값들을 몇 개의 구간으로 범주화
• 홍길동,35세  --> 홍씨,35~40세

가명

• 개인식별 정보를 삭제, 알아볼 수 없는 형태로 변환
• 홍길동,국제대 재학 => 임꺽정,한성대 재학

잠음 첨가

• 자료 값에 잡음을 추가하거나 곱해 원래 자료에 약간의 변형을 가하여 공개

총계처리 / 평균 값 대체

• 데이터의 총합 값을 보임으로 개별 데이터의 값이 보이지 않도록 함

데이터 값 삭제

• 데이터 셋의 값 중 필요없는 값 또는 개인 식별에 중요한 값 삭제