티스토리

쇼핑몰 운영일기

검색하기

블로그 홈

쇼핑몰 운영일기

blackshirt.tistory.com/m

blackshirt 쇼핑몰 운영일기 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

ADsP. 자주 출제되는 주관식 문제 - PART.3 - 데이터 분석 SQL을 활용하거나 SAS에서 porc sql로 작업하던 사용자들에게 R프로그램에서 지원해주는 패키지 sqldf() 출력 결과 X 50) 50 y,x1,x2 사이의 적합된 회귀식 Call : lm(formula ~y,~x1+x2,data ~ datavar) Resuduals : Min 1Q Median 3Q Max -0.0575279 0.0163589 -0.0008483 0.0168662 0.0718922 y=0.1570.03+ 0.0028231*1 -0.2786003*2 다변량 회귀분석 결과 u:1,v=2,w=0 때, y값 > m m Call : lm(formula ~y ~u+v+w) coefficients (Imtercept) u v w 3.8 -0.21 0.41 -0.16 y=3.8-0.21u+0... 공감수 0 댓글수 0 2022. 7. 5.
ADsP. 자주 출제되는 주관식 문제 - PART.2 - 데이터 분석 기획 분석방법론의 "시스템 구현"단계에서 시스템으로 구현된 모델은 검증을 위하여 단위 테스트, 통합 테스트, 시스템 테스트 등을 실시한다. 이중 (ㄱ) 테스트는 품질관리 차원에서 진행함으로써 적용된 시스템의 객관성과 안정성을 확보한다 시스템 데이터 거버넌스 체계에서 데이터 저장소 관리란 메타데이터 및 표준 데이터를 관리하기 위한 전사 차원의 저장소로 구성된다. 저장소는 데이터 관리체계 지원을 위한 (ㄱ) 및 관리용 응용 소프트웨어를 지원하고 관리대상 시스템과의 인터페이스를 통한 통제가 이루어져야 한다. 또한 데이터 구조변경에 따른 (ㄴ)도 수행되어야 효율적인 활용이 가능하다 (ㄱ) : 워크플로우 (ㄴ) : 사전영향평가 문제 탐색을 통해서 식별된 비즈니스문제를 변환하는 단계로써, 문제 탐색 단계가 무엇을 어떤 .. 공감수 0 댓글수 0 2022. 7. 4.
ADsP. 자주 출제되는 주관식 문제 - PART.1 - 데이터 이해 1.데이터 이해 "A마트의 다른 상품들도 B마트보다 쌀것이라 판단" 지혜 데이터 사이언티스트가 갖춰야 할 역량은 빅데이터의 처리 및 분석에 필요한 이론적 지식과 기술적 숙련에 관련된 능력인 (ㄱ) skil과 데이터 속에 숨겨진 가치를 발견하고 새로운 발전 기회를 만들어 내기 위한 능력인 (ㄴ)skil로 나누어진다 (ㄱ) : Hard (ㄴ) :Soft (ㄱ)는 데이터 가공 및 상관관계 간 이해를 통해 패턴을 인식하고 그 의미를 부여한 것이며 지식을 도출하기 위한 자료 (ㄱ) : 정보 기업의 의사결정 과정을 지원하기 위한 주체 중심적으로 통합적이며 시간성을 가지는 비휘발성 데이터의 집합을 (ㄱ)이라고 한다 (ㄱ) : 데이터웨어하우스 지난 몇년간 여러 사일로 대신 하나의 데이터 소스를 추구하는 경향이 생겼다... 공감수 0 댓글수 0 2022. 7. 4.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 정형 데이터 마이닝 데이터마이닝 기업이 보유하고 있는 일일 거래 데이터, 고객 데이터, 상품 데이터 혹은 마케팅 활동에 있어서의 고객 반응 데이터 등과 이외의 외부 데이터를 포함하는 모든 사용가능한 원천 데이터를 기반으로 감춰진 지식, 기대하지 못했던 경향 또는 새로운 규칙등을 발견하고 이를 실제 비즈니스 의사결정 등에 유용한 정보로 활용하는 일련의 작업 데이터마이닝 5단계 목적정의 데이터 마이닝 도입 목적을 명확하게 함 데이터 준비 데이터 정제(Cleaning)를 통해 데이터의 품질 확보까지 포함 필요시 데이터 양 충분하게 확보 데이터 가공 목적변수를 정의하고, 필요한 데이터를 데이터 마이닝 소프트웨어에 적용할 수 있게 가공 및 준비하는 단계 충분한 CPU와 메모리, 디스크 공간 등 개발환경 구축이 선행 데이터 마이닝 기.. 공감수 0 댓글수 0 2022. 7. 4.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 인공신경망(ANN)분석 인공신경망(ANN) 모형 인공신경망을 이용하면 분류 및 군집을 할 수 있음 인공신경망은 입력층, 은닉층, 출력층 3개의 층으로 구성되어 있음 각 층에 뉴런(노드)이 여러 개 포함되어 있음 학습 : 입력에 대한 올바른 출력이 나오도록 가중치(weight)를 조절하는 것 가중치 초기화는 -1.0 ~ 1.0 사이의 임의 값으로 설정하며, 가중치를 지나치게 큰 값으로 초기화하면 활성화 함수를 편향 시키게 되며, 활성화 함수가 과적합 되는 상태를 포화상태라고 함 경하하강법(Gradient descent) 함수 기울기를 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것 제시된 함수의 기울기의 최소값을 찾아내는 머신러닝 알고리즘 비용함수(cost function)을 최소하 하기위해 parameter를 반복.. 공감수 0 댓글수 0 2022. 7. 4.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 분류(Ciassification)분석 데이터 분석 순서 분석용 데이터 준비 => 탐색적 분석 데이터 전처리 => 모델링 => 모델 평가 및 검증 => 모델 적응 운영 방안 수립 속성 간 상관관계 파악 데이터 확인 회귀분석 결정계수(R^2) 데이터 특성 파악 데이터 형식 변경 분류분석 F통계량,t값 분포 파악 결측 값 처리 군집분석 ROC Curve 이상 값 처리 연관분석 오분류표 특성 조작(Scaling, Binning, 실루엣,DI Transform,Dummery) 데이터 차원 축소 Machine Learning Algorithms 분류분석 종류 로지스틱 회귀 의사결정나무 앙상블 신경망모형 kNN,베이즈분류 모형,SVM(서보트백터기계),유전자 알고리즘 로지스틱 회귀분석 16.18.20,22회 출제 독립변수는 연속형, 종속변수가 범주형인 경.. 공감수 0 댓글수 0 2022. 7. 3.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 시계열(time series)분석 시계열 자료(time series) 16,18,22,23*2회 출제 시계열 자료 시간의 흐름에 따라 관측된 데이터 시계열 분석을 위해서는 정상성을 만족해야함 정상성(stationary) 시계열의 수중과 분산에 체계적인 변화가 없고, 주기적 변동이 없다는 것 미래는 확률적으로 과거와 돌일하다는 것 정상 시계열의 조건 평균은 모든 시점(시간 t)에 일정하다 분산은 모든 시점(시간 t)에 일정하다 공분산은 모든 시점(시간 t)에 의존하지 않고, 단지 시차에만 의존한다 정상시계열 전환 16,18,22,23*2,33회 출제 정상시계열로 전환하는 방법 비정상시계열자료는 정상성을 만족하도록 데이터를 정상시계열로 만든 후 시계열 분석을 수행한다 평균이 일정하지 않은 경우 : 원계열에 차분 사용 계절성을 갖는 비정상시계.. 공감수 0 댓글수 0 2022. 6. 28.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 주성분(Principal Component)분석 주성분 분석(PCA) 19,20회출제 주성분분석(PCA,Principal Component Analysis) 데이터를 분석할 때 변수의 개수가 많다고 모두 활용하는 것이 꼭 좋은 것이 아님 오히려 변수가 '다중공선성'이 있을 경우 분석 결과에 영향을 줄 수 있음 공분산행렬 또는 상관계수 행렬을 사용해 모든 변수들을 가장 잘 설명하는 주성분을 찾는 방법 상관관계가 있는 변수들을 선형 결합에 의해 상관관계가 없는 새로운 변수(주성분)을 만들고 분산을 극대화하는 변수로 축약함 주성분은 변수들의 선형결합으로 이루어져 있음 독립변수들과 주성분과의 거리인 '정보손실량'을 최소화하거나 - 주성분분석 할 때 고민해야 하는 것 공분산행렬과 상관계수행렬 중 어떤 것을 선택할 것인가? 주성분의 개수를 몇 게로 할 것인가? .. 공감수 0 댓글수 0 2022. 6. 28.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 연관(Association)분석 연관분석(Association Analysis) 33회 출제 연관분석 연관규칙(Association rule):항목들 간의 '조건-결과'식으로 표현되는 유용한 패턴 이러한 패턴 규칙을 발견해내는 것을 연관분석이라 함 장바구니 분석이라고 함(미국 마트에서 기저귀를 사는 고객은 맥주를 동시에 구매한다는 연관규칙을 알아낸 것에 기안함) Apriori알고리즘 연관규칙의 대표적 알고리즘으로 현재도 많이 사용됨 데이터들에 대한 발생빈도를 기반으로 각 데이터 간의 연관관계를 밝히는 방법 데이터셋이 큰 경우 모든 후보 itemset에 대해 하나하나 검사하는 것이 비효율적임 FP Growth Apriori단점을 보완하기 위해 FP-tree와 node,link라는 특별한 자료 구조를 사용 장점 조건반응(if=then)으로.. 공감수 10 댓글수 0 2022. 6. 28.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 상관(Correlation)분석 상관분석 correlation analysis 상관계수의 이해 상관계수는 두 변수의 관련성의 정도를 의미함(1~ 1의 값으로 나타냄) 두 변수의 상관관계가 존재하지 않을 경우 상관계수는 '0'임 상관관계가 높다고 인과관계가 있다고 할 수 없음 피어슨 상관계수와 스피어만 상관계수가 있음 피어슨 상관계수는 두 변수 간의 선형적인 크기만 측정 가능하며 스피어만 상관계수는 두 변수 간의 비선형적인 관계도 나타낼 수 있음 R의 cor.test()함수를 사용해 상관계수 결정을 수행하고, 유의성검정을 판단 할 수 있음 이때 귀무가설은 '상관계수가 0이다', 대림가설은 '상관계수가 0이 아니다' 상관분석 17,21,22*2.23,33회 출제 스피어만 상관계수 대상자료는 서열척도로 사용, 두 변수 간의 비선형적인 관계를.. 공감수 0 댓글수 0 2022. 6. 28.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 군집(clustering)분석 군집분석(Clustering Analysis) 여러 변수 값들로부터 n개의 개체를 유사란 성격을 가진 몇개의 군집으로 집단화하고 형성된 군집들의 특성을 파악해 군집들 사이의 관계를 분석하는 다변량분석기법 계층적 군집(Hierarchical Clustering) 계층적 군집분석의 특징 가장 유사한 개체를 묶어 나가는 과정을 반복하여 원하는 개수의 군집을 형성하는 방법 유사도 판단은 두 개체 간의 거리에 기반하므로 거리 측정에 대한 정의가 필요함 유클리드,맨허튼,민코프스키,마할라노비스 등 이상치에 민감함 사건에 군집 수 K를 설정할 필요가 없는 탐색적 모형 군집을 형성하는 데 매 단계에서 지역적 최적화를 수행해 나가는 방법을 사용하므로 그 결과가 전역적인 최작해라고 볼수 없음 병합적 방법에서 한 번 군집이 .. 공감수 0 댓글수 0 2022. 6. 28.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 통계학개론 - 3 통계적 추론의 분류 모집단에 대한 가정 여부에 따른 통계적 추론의 분류 모수적 추론 Parametric Infererence, 모집단에 특정 분포를 가정하고 모수에 대해 추론함 비모수적 추론 Non-parametric Infererence, 모집단에 대해 특정 분포 가정을 하지 않음 추론 목적에 따른 통계적 추론의 분류 추정 Estimation, 통계량을 사용하여 모집단의 모수를 구체적으로 추측하는 과정 점 추정 : Point estimation, 하나의 값으로 모수의 값이 얼마인지 추측함 구간 측정 : Interval estimation, 모수를 포함할 것으로 기대되는 구간을 확률적으로 구함 가설검정 Testing hypotheses 모수에 대한 가설을 세우고 그 가설의 옳고 그름을 확률적으로 판정하는.. 공감수 0 댓글수 0 2022. 6. 27.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 통계학개론 - 2 연속형 확률분포 - 정규분포(normal distribution) 연속형 확률분포 -> 정규분포 균등분포 지수분포 t분포 x^2분포 F분포 가우스분포라고도 하며, 수집된 자료의 분포를 근사하는데 자주사용함 평균과 표준편차(a)에 대해 모양이 결정되고 N(u,a^2)로 표기함 평균 0,표준편차/분산 1인 정규분포, N(0,1)를 표준 정규분포, X분포라고 함 예)키,몸무게,시험 점수 등 거의 대부분의 측정값이 정규분포를 따름 z분포의 평균 주위로 표준편차의 1배 범위에 있을 확률 68%, 2배범위 안 95%, 3배 범위 안 99.7% 확률밀도함수(PDF, Probability Density Function PDF) 특정 구간에 속할 확률을 계산하기 위한 함수 확률밀도함수,f(x)와 구간(a,b)에 대해 활.. 공감수 0 댓글수 0 2022. 6. 27.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 통계학개론 - 1 통계분석 개요 - Population, Parameter, Sample, Statistic 모집단 잘 정의된 연구목적과 이와 연계된 명확한 연구대상(데이터 전체 집합) 예)대통령 후보의 지지율 - 윤권자 모수 모집단의 특성을 나타내는 수치들 모집단의 평균(u(뮤)),분산(a(알파)^2)같은 수치들을 모수(parameter)라고 함 표본 모집단의 개체수가 많아 전부 조사하기 힘들 때 모집단에서 추출(sampleing)한 것 추출(sampling)한 표본으로 모집단의 특성을 추론(infernece)함 (오차발생) 예)각종 여론조사에 참여한 유권자 통계량 표본의 특성을 나타내는 수치들 표본의 평균(xu),분산(s^2)같은 수치를 통계량(statistic)이라고 함 표본 추출 17,33회 추출**********.. 공감수 0 댓글수 0 2022. 6. 27.
ADsP. PART.3 - 데이터 분석 - 통계분석 - 기초통계분석 회귀분석(Regression Analysis) 용어정리 독립변수 다른 변수에 영향을 받지 않고 독립적으로 변화하는 수, 변수라고도 함 입력 값이;나 원인을 나타내는 변수, y=f(x)에서 x에 해당하는 것 종속변수 독립변수의 영향을 받아 값이 변화하는 수, 분석에 대상이 되는 변수 결과물이나 효과를 나타내는 변수, y=f(x)에서 y에 해당하는 것 전차(오차항) 계산에 의해 얻어진 이론 값과 실제 관측이나 측정에 의해 얻어진 값의 차이 오차(Error) - 모집단 , 잔차(Residual) - 표본집단 -회귀분석 변수와 변수 사이의 관계를 알아보기 워한 통계적 분석 방법 독립변수의 값에 의해 종속변수의 값을 예측하기 위함 일반 선형회귀는 종속변수가 연속형 변수일 때 가능함 이산형 - 명목척도, 서열척도,.. 공감수 10 댓글수 0 2022. 6. 26.
ADsP. PART.3 - 데이터 분석 - 데이터 마트 - 3 기초 분석 및 데이터 관리 1.데이터 EDA(탐색적 자료 분석) 데이터의 분석에 앞서 전체적으로 데이터의 특징을 파악하고 데이터를 다양한 각도로 접근 summary()를 이용하여 데이터의 기초 통계량을 확인가능 2.결측값 인식 결측값은 NA, 9999999999999, ' '(공백),Unknown, Not Answer 등으로 표현되는 것으로 결측값을 처리하기 위해서 시간을 많이 사용하는 것은 비효율적 결측값 자체의 의미가 있는 경우가 있음 쇼핑몰 가입자 중 특정 거래가 존재하지 않는 경우와 인구통계학적 데아터(demographic data)에서 아주 부자이거나 아주 가난한 경우 결측값 처리는 전체 작업속도에 큰 영향을 줌 3.결측값 처리 방법 가.단순대치법(Single Imputation) complet.. 공감수 0 댓글수 0 2022. 6. 25.
ADsP. PART.3 - 데이터 분석 - 데이터 마트 - 2 데이터 가공 1.Data Exploration 가.개요 데이터 분석을 위한 구선괸 데이터의 변수들의 상태를 파악 나.종류 1.head(데이텃셋),tall(데이터셋) 시작 또는 마지막 6개 recode만 조회하는 함수 head(), taill() 2.summary(데이터셋) 가)수치형 변수 : 최대값, 최소값, 평균, 1사분위수, 2사분위수(중앙값),3사분위수 나)명목형 변수 : 명목값, 데이터 개수 2.변수 중요도 가.개요 변수 선택법과 유사한 개념으로 모형을 생성하여 사용된 변수의 중요도를 살피는 과정 나.종류 특정변수가 주어졌을 때 클리스가 어떻게 분류되는 지에 대한 에러율을 계산해주고, 그래픽으로 결과를 보여주는 기능 greedy.wilks() : 세분화를 위한 stepwise forward변수 선.. 공감수 0 댓글수 0 2022. 6. 25.
ADsP. PART.3 - 데이터 분석 - 데이터 마트 - 1 데이터 변경 및 요약 1.R.reshape를 이용한 데이터 마트 개발 가)데이터마트 데이터웨어하우스와 사용자 사이의 중간층에 위치 하나의 주제 또는 하나의 부서 중심의 데이터웨어하우스라고 함 데이터 마트 내의 대부분의 데이터는 데이터웨어하우스으로부터 복사된다. 자체적으로 수립될 수도 있다 관계형 데이터나 다차원 데이터베이스를 이용하여 구축 CRM(customer relationshop management) 고객 데이터 마트 구축 나)요약변수 수집된 정보를 분석에 맞게 종합한 변수이다 데이터마트에서 가장 기본적인 변수로 총 구매금액,금액,횟수,구매여부 등 데이터 분석을 위해 만들어지는 변수 많은 모델을 공통으로 사용될 수 있어 재활용성이 높다 기간별 구매금액, 횟수 여부 고객의 구매 턴을 볼수 있는 변수이.. 공감수 0 댓글수 0 2022. 6. 25.
ADsP. PART.3 - 데이터 분석 - R의 기초 - 2 그래프의 종류 산점도 plot(x,y) 산점도 행렬 pairs() 상자그림(boxplot()) 히스토그램(hist()) 막대그래프(barplot()) 그래프 종류 - Boxplot -데이터의 분포를 파악하는 도구이다 **********************************************************매우 중요 시험에 자주 출제******************************************* Q1값과 Q3값은 시험 문제에 주어짐(공식을 외울 것) 이상값 판단 기준 : Q1-1.5*IQR < x < Q3+1.5*IQR IQR : Q3-Q1 Minnum : Q1-1.5*IQR Maxinum : Q3+1.5*IQR 그래프의 종류 - Histogram -히스토그램 도수분포표의 각 .. 공감수 0 댓글수 0 2022. 6. 24.
ADsP. PART.3 - 데이터 분석 - R의 기초 -1 1.프로그램 설치 1.R 설치 https://www.r-project.org/ 2.R 스튜디오 설치 https://rstudio.com/ 2.R의 특징 오픈소스, 다양한 운영체제에서 사용할 수 있음 우수한 데이터 핸들링 : 텍스트, CSV, 엑셀, SAS, SPSS, DB 등 지원 인터프리터 우수한 그래픽 기능 : 2D, 3D, 동적 그래프 지원 다양한 형태의 데이터 구조를 지원하므로 분석 대응력이 좋음 열우선 배열 Index 번호는 1부터 시작 1:5는 1부터 5까지의 수를 의미함 3.R의 연산자 우선순위 연산자 우선순위 의미 예 ^ , ** 지수 2^4 + , - 양수, 음수 부호 +4, -2 : 수열 생성 1:5 %any% 특수 연산자 %/% : ahrt, %% : 나머지, %*% : 행렬곱 * ,.. 공감수 0 댓글수 0 2022. 6. 23.
ADsP. PART.3 - 데이터 분석 - 데이터 분석 기법의 이해 1.데이터 처리 데이터 분석은을 기반을 두고 있지만, 통계지식과 복잡한 가정이 상대적으로 적은 실용적인 붕야이다. 활용 대기업은 데이터웨어하우스(DW)와 데이터 마트를 통해 분석 데이터를 가져와서 사용한다. 신규시스템이나 DW에 포함되지 못한 자료의 경우, 기존 운영시스템(Legacy)이나 스테이징 영역(staging area)과 ODS(Operation Data Store)에서 데이터를 가져와서 DW에서 가져 온 내용과 결합하여 활용할 수 있다 하지만 운영시스템에 직접 접근해 데이터를 활용하는 것은 매우 위험한 일으므로 거의 이루어지지 않고 있으며, 이테이징 영역(staging Area)의 데이터는 운영 시스템에서 임시로 저장된 데이터이기 때문에 가급적이면 클린징영역인 ODS에서 데이터의 전처리를 해서.. 공감수 0 댓글수 0 2022. 6. 23.
ADsP. PART.2 - 데이터 분석 기획 - 분석마스터 플랜 1.분석 마스터플랜 수립 16,17,20,22 출제 - 분석 마스터 플랜 프레임워크 1.분석과제 2.우선 순위 고려요소 전락적 중요도 ROI(투자자본수익률) 실행용이성 3. 적용 우선순위 결정 4. 적용범위/고려요소 업무 내재화 적용 수준 분석 데이터 적용 수준 기술 적용 수준 5. 분석 구현 로드맵 수립 2. 수행과제 도출 및 우선순위 평가 -우선순위 평가 방법 및 절차 분석과제 도출 -> 우선순위 평가 -> 우선순위 정련 과제 우선순위 분석과제 수행의 기준 수립 선/후 관계 분석을 통해 순위 조정 ROI(Return On Investment)관점에서의 빅데이터 4V 33회 출제 Volume 데이터의 크기/양 투자비용 요소 Variety 데이터 종류/유형 Velocity 데이터의 생성/처리 속도 Val.. 공감수 0 댓글수 0 2022. 6. 23.
ADsP. PART.2 - 데이터 분석 기획 - 데이터분석 기획의 이해 분석기획 분석기획이란? 실제 분석을 수행에 앞서 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업 어떤 목표(what)를 달성하기 위해 어떤 데이터를 가지고 어떤 방식(how)을 수행할지에 대한 일련의 계획을 수립하는 작업 성공적인 분석 결과 도출을 위한 중요 사전 작업 해당 문제영역에 대한 전문성 역량 및 통계학적 지식을 활용한 분석 역량과 분석 도구인 데이터 및 프로그래밍 기술 역량에 대한 균형 잡힌 시각을 가지고 방향성 및 계획을 수립해야 함 *************************분석 주제 유형 4가지******************************************** 분석 대상(what) 분석방법(h.. 공감수 0 댓글수 0 2022. 6. 20.
ADsP. PART.1 - 데이터의 이해 - 가치 창조를 위한 데이터 사이언스와 전락 인사이트 빅데이터의 열풍 -IT솔루션은 "공포 마케팅"이 통하는 영역 도입만 하면 모든 문제를 한번에 해소할 것처럼 강조하다 나중에는 합류하지 못하면 위험에 처할 지도 모른다는 공포 분위기 조성 거액의 투자를 하지만, 어떻게 활용하고 어떻게 가치를 뽑아내야 할지 첫번째 물음부터 다시 해야 하는 사태가 벌어짐 성공적인 공포 마케팅 운영 기업 페이스북 구글 데이터 분석과 함께 시작되고 분석이 내부 의사결정에 결정적 정보를 제공함 성공하지 못한 공포마케팅 운영기업 데이터 분석에 기초해 전략적 통찰을 얻고, 효과적인 의사결정을 내리고 성과를 만들어내는 체계가 없었음 빅데이터의 분석 빅데이터 분석, 'Big'이 핵심이 아니다 데이터의 양이 아닌 유형의 다양성과 관련이 있음 음성,텍스트,이미지,비디오 -> 다양한 정보원천의.. 공감수 0 댓글수 0 2022. 6. 20.
ADsP. PART.1 - 데이터의 이해 - 데이터의 가치와 미래 빅데이터이란? 1.빅데이터의 정의 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장,관리,분석할 수 있는 범위를 초과하는 규모의 데이터이다. 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집,발굴,분석을 지원하도록 고안된 차세대 기술 및 아키텍처이다. 데이터의 양(Volume)데이터 유형과 소스 측면의 다양성(Varirty),데이터 수집과 처리 측면에서 속도(Velocity)각 급격히 증가하면서 나타난 현상이다. 빅데이터 - 4V(RoI - Return On Inveesment,투자자본수익률 관점에서 보는 빅데이터) Volume(데이터의 양) 데이터의 크기,생성되는 모든 데이터를 수집 Variety(데이터의 다양성) 데이터의 댜양성,정형화된 데이터를 넘어.. 공감수 0 댓글수 0 2022. 6. 18.
ADsP. PART.1 - 데이터의 이해 - 데이터의 이해 1장 데이터의 이해 1.데이터와 정보 1.데이터의 유형 - 데이터의 정의 데이터는 개별 데이터 자체로는 의미가 중요하지 않은 객관적인 사실(fact) 추론,예측,전망,추정을 위한 근거(basis)로 기능하는 특성을 갖음 다름 객체와의 상호관계 속에서 가치를 갖음 - 데이어 유형 정성적 데이터 (qualitative data) 자료의 성질, 특징을 자세히 풀어 쓰는 방식 언어,문자로 기술(예:설문조사의 주관식 응답,SNS에 올린 글) 비정형 데이터 형태로 저장,분석에 시간과 비용이 필요함 정량적 데이터 (quantitative data) 수치,기호,도형으로 표시(예:지역별 온도,풍속,강우량) 데이터 양이 증가하더라도 저장,분석이 용이함 암묵지 VS 형식지 암묵지 학습과 체험을 통해 개인에게 습득(현장 작업.. 공감수 0 댓글수 0 2022. 5. 30.
정상시계열(Time series) 정상시계열(Time series) 시계열 자료 시간의 흐름에 따라 관측된 데이터 시계열 분석을 위해서는 정상성을 만족해야함 정상성(stationary) 시계열의 수준과 분산에 체계적인 변화가 없고, 주기적 변동이 없다는 것 미래는 확률적으로 과거와 동일하다는 것 정살시계열의 조건 평균은 모든 시점(시간 t)에 대해 일정하다 분산은 모든 시점(시간 t)에 대해 일정하다 공분산은 시점(시간 t)에 의존하지 않고, 단지 시차에만 의존한다. 정상시계열로 전환하는 방법 비정상시계열 자료는 정상성을 만족하도록 데이터를 정상시계열로 만든 후에 시계열 분석을 수행 평균이 일전하지 않는 경우 : 원계열에 자료 사용 계절성을 갖는 비정상시계열 : 계절차분 사용 분산이 일정하지 않는 경우 : 원계열에 자연로그(변환)사용 차.. 공감수 1 댓글수 0 2022. 5. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.