본문 바로가기
728x90

빅분기5

빅분기 필기 공부방법, 시험후기, 결과 공부방법 1차 시험이라서 족보가 없다. 즉 계산식이 많이 나올지 암기형이 나올지 이해를 묻는 질문이 나올지 알 수 없다. 보통 가장 처음에 보는 시험은 극단적일 가능성이 높다고 생각했다. 난이도가 매우 쉽거나 , 난이도가 너무 어렵거나 빅데이터 분야는 국가에서도 디지털 뉴딜의 일환으로 신경 쓰는 분야이기 때문에 첫 시험부터 너무 어렵게 내지 않을 거라 굳게 믿고 시험을 준비하였다. 암기보다는 흐름 하나하나 단어의 키워드를 외우기 보다는 전반적인 흐름을 이해하기 위해 책을 슥슥 보면서 빠르게 익숙해지는 방법으로 공부했다. 2번째로 반복할 때는 키워드만 적어보면서 흐름을 이해하기 위해 노력했다. 이해보다는 문제 빅데이터를 분석하는 수많은 방법론들이 나오는데 그 방법들의 원리를 이해하는 건 애초에 포기했다 (.. 2021. 4. 19.
빅분기 3-01. 분석 모형 설계 311. 분석 절차 수립 통계기반 분석 모형 - 기술통계 - 상관분석 (단순상관분석, 다중상관분석, 변수간의 상관분석) - 회귀분석 (단순회귀, 다중회귀, 다항회귀, 곡선회귀, 로지스틱회귀, 비선형회귀) - 분산분석 (ANOVA) - 주성분분석 (PCA) - 판별분석 데이터마이닝기반 분석 모형 - 분류모델 (통계적기법, 트리기반기법, 최적화기법, 기계학습) - 예측모델 (회귀분석, 의사결정나무, 시계열분석, 인공신경망) - 군집화모델 (계층적 방법, 비 계층적 방법) - 연관규칙모델 머신러닝기반 분석 모형 - 지도학습 (로지스틱회귀, 인공신경망 분석, 의사결정나무, 서포트벡터머신, 랜덤포레스트, 감성분석) - 비지도학습 - 강화학습 변수에 따른 분석 모형 311. 분석 환경 구축 분석 도구 선정 - R .. 2021. 4. 9.
빅분기 2-02. 데이터 탐색 221. 데이터 탐색 기초 1) 데이터 탐색 개요 탐색적 데이터 분석 (EDA) 의 4가지 특징 저항성 , 잔차 해석 , 자료 재표현 , 현시성 개별변수 탐색 방법 범주형데이터(질적데이터) - 명목척도와 순위척도 수치형데이터(양적데이터) - 등간척도와 비율척도 다차원 데이터 탐색 방법 범주형-범주형 : 시각화 바플롯 수치형-수치형 : 산점도,기울기,피어슨상관계수 범주형-수치형 : 그룹화, 시각화 박스플롯 2) 상관관계 분석 변수 사이의 상관관계 종류 : 양의 상관관계 , 음의 상관관계 , 상관관계 없음 상관관계 표현방법 산점도 공분산 (양값 , 음값) 상관관계 분석 종류 변수의 종류에 따라 변수의 속성에 따라 수치적데이터 -> 피어슨 상관계수 순서적데이터 -> 스피어만 순위 상관분석 명목적데이터 -> 카.. 2021. 4. 3.
빅분기 1-03. 데이터 수집 및 저장 계획 131. 데이터 수집 및 전환 데이터 수집 프로세스 수집데이터도출 -> 목록 작성 -> 데이터 소유기관 파악 및 협의 -> 데이터 유형 분류 및 확인 -> 수집 기술 선정 -> 수집 계획서 작성 -> 수집 주기 결정 -> 데이터 수집 실행 수집데이터대상 내부데이터 (서비스, 네트워크, 마케팅) 외부데이터 (소셜, 네트워크, 공공) 정형데이터 수집 방식 ETL : Extract Transform Load FTP : File trnasfer Protocol API DBToDB Rsync (Remote Sync) Sqoob 관계형 데이터베이스와 하둡 간 전송기술 비정형데이터 수집 방식 크롤링 RSS Open API 스크래파이 : 파이썬 기반 아파치 카프카 : 대용량 실시간 로그 처리 반정형데이터 수집 방식 센.. 2021. 3. 30.
빅분기 1-02. 데이터 분석 계획 121. 분석 방안 수립 분석 로드맵 설정 분석 로드맵 단계 데이터 분석체계 도입 데이터 분석 유효성 검증 데이터 분석 확산 및 고도화 분석 문제 정의 하향식 접근방식 문제탐색 , 문제 정의 , 해결방안 탐색 , 타당성검토 , 선택 상향식 접근방식 특징 비지도 학습 방법 사용 , 프로토타이핑 접근방법 대상별 분석 기획 유형 분석의 대상 (Known) + 분석의 방법 (Known) = 최적화 (Optimization) 분석의 대상 (Known) + 분석의 방법 (Unknown) = 솔루션 (Solution) 분석의 대상 (Unknown) + 분석의 방법 (Known) = 통찰 (Insight) 분석의 대상 (Unknown) + 분석의 방법 (Unknown) = 발견 (Discovery) 데이터 분석과제 추.. 2021. 3. 26.
728x90

티스토리툴바