(가) 오늘 오전 9시 기온 3℃, 어제 같은 시각 기온 8℃
(나) 오늘 아침은 어제 아침에 비해 5℃ 낮다
(다) 기온이 크게 떨어졌으니 두꺼운 외투를 입고 나가야겠다
(라) 기온이 급락하는 시기엔 감기 환자가 늘 것이므로 상비약을 미리 갖춘다
(다)는 (나)의 정보를 자신의 경험과 결합해 행동 판단으로 연결했으므로 지식(Knowledge)에 해당한다.
DIKW는 데이터(객관적 사실) → 정보(관계·의미 해석) → 지식(정보의 구조화·내면화) → 지혜(근본 원리를 새 상황에 적용하는 창의적 판단) 순이다.
- (가)는 비교·해석 전의 측정값이므로 데이터이다.
- (나)는 두 값의 차이를 해석한 정보이며 아직 지식은 아니다.
- (라)는 감기 증가를 추론해 대비하는 창의적 판단이므로 지혜이다.
변화되는 데이터(Operational Data)는 삽입·삭제·갱신으로 계속 바뀌면서도 현재의 정확한 데이터를 유지한다는 뜻이며, 과거 값 전부를 보존한다는 의미가 아니다.
데이터베이스의 4가지 특징은 통합된 데이터·저장된 데이터·공용 데이터·변화되는 데이터이다.
- 통합된 데이터는 같은 내용이 중복되지 않게 관리된 데이터이다.
- 저장된 데이터는 컴퓨터가 접근할 수 있는 저장 매체에 기록된다.
- 공용 데이터는 여러 사용자가 서로 다른 목적으로 함께 이용한다.
OLAP는 정보 위주의 분석 처리로, 사용자가 다차원 데이터를 드릴다운·롤업·슬라이스 등으로 대화식 분석하는 방식이다.
반면 OLTP는 주문·입금 같은 거래 단위 데이터를 실시간으로 갱신하는 데이터 위주의 처리이다.
- 단위 거래의 실시간 갱신은 OLTP의 특징이다.
- 정규화된 현재 데이터 중심 구조는 OLTP에 해당한다.
- 짧은 트랜잭션의 대량 동시 처리도 OLTP의 특징이다.
데이터가 생성·유통되는 빠르기와 이를 실시간으로 처리해야 하는 특성은 Velocity(속도)이다.
빅데이터의 기본 특성은 3V(Volume·Variety·Velocity)이며, 여기에 Value나 Veracity를 더해 4V로 설명하기도 한다.
- Volume은 데이터의 물리적 양이 방대하다는 특성이다.
- Variety는 정형·반정형·비정형 등 형태가 다양하다는 특성이다.
- Value는 분석을 통해 얻는 경제적 가치를 뜻한다.
예전에는 비용 문제로 분석을 포기했던 대량의 고객 상담 녹취와 텍스트 기록이, 저렴해진 클라우드 자원과 새로운 알고리즘 덕분에 지금은 손쉽게 분석 대상이 되었다.
과거엔 가치가 없다고 본 데이터가 새로운 분석 기술로 가치를 갖게 되었으므로 분석 기술의 발전에 해당한다.
빅데이터 가치 산정이 어려운 이유는 데이터 활용 방식의 다양화, 새로운 가치 창출, 분석 기술의 발전 세 가지로 정리된다.
- 활용 방식의 다양화는 재사용·재조합으로 누가 어디에 쓸지 알 수 없다는 뜻이다.
- 새로운 가치 창출은 기존에 없던 서비스·가치가 생긴다는 점을 말한다.
- 수집 비용 상승은 가치 산정 난제와 무관하며 실제로는 비용이 낮아졌다.
택배 회사가 수천 가지 배송 경로 조합 가운데 연료비가 가장 적게 드는 경로를 찾기 위해, 우수한 후보 경로끼리 교배·변이시키는 과정을 세대마다 반복하며 해를 점진적으로 개선하였다.
최적화 문제에서 해를 선택·교배·변이시키며 세대를 거쳐 진화시키는 방식은 유전 알고리즘(Genetic Algorithm)이다.
배송 경로 최적화, 응급실 의사 배치 등 최적화가 필요한 문제를 생물 진화를 모방해 푸는 기법이다.
- 연관 규칙 학습은 변인 간 동시 발생 관계를 찾는 기법이다.
- 유형 분석은 새 사례를 기존 범주로 분류하는 기법이다.
- 감정 분석은 글에 담긴 긍정·부정 의견을 판별하는 기법이다.
사생활 침해는 개인정보 제공자의 동의에 기대기보다 사용자 책임제로 전환해, 데이터를 쓰는 주체가 책임을 지게 하는 방향으로 통제한다.
책임 원칙 훼손은 결과 기반 책임 원칙 고수로, 데이터 오용은 알고리즘 접근 허용과 알고리즈미스트로 대응한다.
- 예측만으로 처벌하는 것은 오히려 책임 원칙 훼손의 사례이다.
- 데이터 오용의 통제는 동의가 아니라 알고리즘 접근 허용이다.
- 동의 절차 강화는 동의에서 책임으로라는 전환 방향과 반대이다.
인력 요소는 데이터 사이언티스트와 함께 알고리즘으로 피해를 본 사람을 구제하는 알고리즈미스트(Algorithmist)의 역할을 말한다.
세 요소는 모든 것의 데이터화(데이터), 진화하는 알고리즘·인공지능(기술), 데이터 사이언티스트·알고리즈미스트(인력)이다.
- 사물인터넷을 통한 데이터화는 데이터 요소이다.
- 스스로 학습하며 진화하는 알고리즘은 기술 요소이다.
- 인공지능의 판단 대행도 기술 요소에 해당한다.
분산 컴퓨팅·데이터 웨어하우징·고성능 컴퓨팅·신호 처리는 데이터 사이언스의 IT(데이터 관리) 영역이다.
데이터 사이언스는 IT, 분석(수학·통계·머신러닝), 비즈니스 분석(커뮤니케이션·프레젠테이션·시각화)의 세 영역이 겹친 학문이다.
- 분석 영역은 확률·패턴 인식·데이터 마이닝 등을 다룬다.
- 비즈니스 분석은 스토리텔링·시각화·발표 역량을 다룬다.
- 하드웨어 공학은 데이터 사이언스 구성 영역이 아니다.
복잡한 연결을 효과적·신뢰성 있게 관리하는 것이 관건인 현재와 미래의 패러다임은 에이전시(Agency) 단계이다.
데이터 가치 패러다임은 디지털화(Digitalization) → 연결(Connection) → 에이전시 순으로 변화해 왔다.
- 디지털화는 아날로그 세상을 디지털로 바꾸는 운영체제·소프트웨어 중심 단계이다.
- 연결은 디지털 정보가 서로 연결되어 검색 엔진 등이 가치를 만든 단계이다.
- 표준화 단계는 데이터 가치 패러다임에 속하지 않는다.
한 유통사가 ‘다음 분기 고객 이탈률을 낮춘다’는 과제는 분명히 정했지만, 이탈 징후를 어떤 데이터로 어떻게 잡아낼지는 아직 정하지 못했다.
분석 대상(What)은 알지만 방법(How)을 모르는 상황이므로 해법을 찾아내는 솔루션 유형으로 접근한다.
분석 기획의 방향성은 대상과 방법을 아는지 모르는지의 2×2로 나뉜다.
- 최적화는 대상과 방법을 모두 알고 성과를 끌어올리는 경우다.
- 통찰은 방법은 알지만 무엇을 분석할지 모를 때 기존 역량으로 대상을 찾는 경우다.
- 발견은 대상도 방법도 모른 채 새로운 문제 자체를 찾아 나서는 경우다.
KDD의 전처리 단계는 선택된 데이터셋에서 잡음·이상값·결측값을 식별하고 제거하거나 의미 있게 대체하는 정제 작업을 한다.
KDD는 데이터셋 선택 → 전처리 → 변환 → 데이터 마이닝 → 해석·평가의 5단계로 진행된다.
- 변수 선택과 차원 축소는 변환 단계의 작업이다.
- 목표 데이터셋 선정은 첫 단계인 데이터셋 선택에 해당한다.
- 패턴 해석과 평가는 마지막 단계의 작업이다.
CRISP-DM의 데이터 준비 단계에서는 분석용 데이터셋을 선택하고 정제·통합·포맷팅한다.
단계는 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개이며, 단계 간 피드백으로 반복 수행된다.
- 단계 사이를 오가는 피드백이 있어 단방향 구조가 아니다.
- 모델링 다음은 평가 단계이고 전개는 그 뒤에 온다.
- 최상위 레벨은 단계(Phase)이며 일반화 태스크는 두 번째이다.
비즈니스 문제를 분석 가능한 데이터 문제로 변환하는 단계는 문제 정의(Problem Definition)이다.
하향식 접근은 문제 탐색 → 문제 정의 → 해결방안 탐색 → 타당성 검토의 4단계로 진행된다.
- 문제 탐색은 비즈니스 모델 등으로 문제 후보를 폭넓게 찾는 단계이다.
- 해결방안 탐색은 분석 역량과 기법을 바탕으로 수행 방안을 찾는 단계이다.
- 타당성 검토는 경제적·데이터·기술적 타당성을 평가하는 단계이다.
지원 인프라 영역은 분석을 수행하는 시스템과 이를 운영·관리하는 인력의 관점에서 분석 기회를 찾는다.
비즈니스 모델 캔버스 기반 문제 탐색은 업무·제품·고객·규제와 감사·지원 인프라의 5개 영역으로 구성된다.
- 생산·전달 과정의 규제와 보안은 규제와 감사 영역이다.
- 고객 이탈 원인 파악은 고객 영역의 탐색 대상이다.
- 신제품 개발 방향 도출은 제품 영역에 해당한다.
분석 복잡도 속성은 정확도를 높일수록 모형이 복잡해지므로 해석이 가능하면서도 정확도를 확보하는 최적 모형을 찾아야 한다는 점을 말한다.
분석 과제의 주요 속성은 데이터 크기·데이터 복잡성·속도·분석 복잡도·정확도와 정밀도이다.
- 속도는 배치형과 실시간형 요구를 구분해 설계해야 한다는 속성이다.
- 반복 측정 시 편차가 작은 정도는 정확도가 아닌 정밀도이다.
- 비정형·이기종 데이터일수록 데이터 복잡성이 커진다.
| 과제 | 전략적 중요도·목표 가치 | 투자 비용·분석 수준 |
|---|---|---|
| 고객 이탈 예측 | 높음(현재 핵심 KPI) | 낮음 |
| 물류센터 수요 예측 | 낮음(중장기 과제) | 높음 |
| 추천 알고리즘 고도화 | 높음(현재 핵심 KPI) | 높음 |
| 재고 회전율 분석 | 낮음(중장기 과제) | 낮음 |
전략적 중요도·목표 가치는 시급성, 투자 비용·분석 수준은 난이도의 평가 요소이므로, 시급성이 미래이고 난이도가 어려운 물류센터 수요 예측이 가장 나중이다.
시급성과 난이도 중 어느 쪽을 우선하든 현재·쉬움 사분면이 가장 먼저, 미래·어려움 사분면이 가장 나중에 온다.
- 고객 이탈 예측은 현재·쉬움이라 가장 먼저 추진한다.
- 추천 알고리즘 고도화는 현재·어려움으로 중간 순위이다.
- 재고 회전율 분석은 미래·쉬움으로 중간 순위이다.
적용 범위 및 방식은 업무 내재화 적용 수준, 분석 데이터 적용 수준, 기술 적용 수준을 고려해 결정한다.
나머지는 과제의 우선순위를 정할 때 고려하는 요소로, 전략적 중요도·비즈니스 성과 및 ROI·실행 용이성이 이에 해당한다.
- 전략적 중요도는 우선순위 고려 요소이다.
- 비즈니스 성과 및 ROI도 우선순위 고려 요소이다.
- 실행 용이성 역시 우선순위 평가 기준이다.
구성 요소 중 데이터(Data)는 분석 대상 데이터의 품질과 관리를 위한 데이터 거버넌스 체계 수립을 다룬다.
분석 거버넌스 체계는 조직·과제 기획 및 운영 프로세스·시스템·데이터·분석 교육 및 마인드 육성의 5가지로 구성된다.
- 분석 교육과 변화 관리는 인력(Human Resource) 요소이다.
- 분석 전담 조직 구성은 조직 요소에 해당한다.
- 분석 관련 IT 설비 구축은 시스템 요소에 해당한다.
• 비즈니스 부문: 전사 성과를 실시간으로 분석하고 분석 규칙과 이벤트를 관리한다
• 조직·역량 부문: 전사 모든 부서가 분석을 수행하며 분석 COE 조직을 운영한다
• IT 부문: 빅데이터 관리 환경과 시뮬레이션·최적화, 비주얼 분석 환경을 갖추었다
전사 성과 실시간 분석, 모든 부서의 분석 수행과 분석 COE, 빅데이터 관리 환경은 확산 단계의 특징이다.
IT 부문의 시뮬레이션·최적화 환경은 확산 단계의 요소이며, 최적화 단계는 외부 환경 분석과 비즈니스 모델 진화, 분석 협업 환경이 특징이다.
- 도입 단계는 일부 부서의 실적 분석과 DW·OLAP 환경 수준이다.
- 활용 단계는 전문 부서가 결과를 업무에 적용하는 수준이다.
- 최적화 단계는 경영진 분석 활용과 데이터 사이언스 그룹이 특징이다.
가설 없이 대용량 데이터에서 패턴과 규칙을 탐색하는 접근은 데이터 마이닝(Data Mining)이다.
통계 분석이 가설 설정 후 검증하는 확증적 접근이라면 데이터 마이닝은 발견 지향의 탐색적 접근이다.
- 실험 계획법: 처리 효과 비교를 위해 실험 조건을 미리 설계하는 방법
- 모수 가설 검정: 미리 세운 귀무가설을 표본으로 검증하는 절차
- 기술 통계 요약: 평균·분산 등으로 자료를 서술하는 방법
> rm(list = ls()) > a <- 10 > b <- c(1, 2) > f <- function(x) x + a > rm(a) > ls()
a 만 삭제되고 벡터 b 와 함수 f 가 남으므로 ls() 는 "b" "f" 를 출력한다.
R 에서 함수도 객체이므로 작업공간 목록에 포함되며, 첫 줄 rm(list = ls()) 는 기존 객체를 모두 지운다.
- b 만 출력: 함수 f 도 객체임을 놓친 결과
- a·b·f 출력: rm(a) 로 a 가 이미 삭제되었음
- character(0): 작업공간이 완전히 빈 경우의 출력
> v <- c(1, TRUE, NA)
> m <- matrix(1:6, nrow = 2)
> d <- data.frame(n = 1:2, s = c("a", "b"))
> l <- list(1, "a", TRUE)matrix 는 기본적으로 열 우선으로 채우므로 3열은 5, 6 이 되어 m[2, 3] 은 6 이다.
벡터는 한 가지 자료형만 담아 강제 형변환이 일어나고, 데이터프레임은 열마다 자료형이 달라도 된다.
- v: 숫자와 논리값이 섞여 numeric 으로 변환됨
- d: n 은 정수형, s 는 문자형으로 서로 다름
- l: 원소 세 개를 담은 리스트라 길이는 3
> f <- factor(c("10", "5", "20", "5"))
> levels(f)
> as.numeric(f)[1] "10" "20" "5" [1] 1 3 2 3
문자로 바꾼 뒤 숫자로 바꾸는 as.numeric(as.character(f)) 가 10, 5, 20, 5 를 돌려준다.
출력의 as.numeric(f) 줄처럼 factor 를 바로 숫자로 바꾸면 값이 아니라 수준 코드(1 3 2 3)가 나온다.
- levels(f) 변환: 수준 3개(10, 20, 5)만 반환되어 길이가 다름
- table 정수화: 수준별 빈도 1 1 2 가 나옴
- c(f) 정수화: 수준 코드 1 3 2 3 이 그대로 나옴
> wide <- data.frame(id = 1:4, math = c(80, 75, 90, 60),
> eng = c(70, 85, 65, 95), sci = c(88, 72, 91, 79))
> long <- reshape(wide, direction = "long", varying = c("math", "eng", "sci"),
> v.names = "score", timevar = "subject",
> times = c("math", "eng", "sci"), idvar = "id")
> head(long, 3)id subject score 1.math 1 math 80 2.math 2 math 75 3.math 3 math 90
id 4개마다 과목 3개가 한 행씩 되므로 long 은 12행 3열이며, 넓은 형태를 긴 형태로 바꾼 wide → long 변환이다.
출력 머리글에서 열이 id·subject·score 3개임을 확인할 수 있고, reshape2 의 melt 도 같은 방향의 변환이다.
- 4행 4열: 변환 전 wide 의 크기
- 12행 4열: 측정변수를 하나의 score 열로 모아 열은 3개
- 3행 12열: 행과 열을 뒤바꾼 전치 결과와 혼동
| 관측 번호 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| x | 4 | 6 | NA | 10 | NA | 8 |
관측값 평균 7 로 두 결측을 채우면 편차제곱합은 20 그대로이고 n 이 6 이 되어 표본분산은 4 이다.
로, 평균 대치는 분산을 과소추정하는 단점이 있다.
- 3.33: 편차제곱합을 n−1 이 아닌 n(6)으로 나눈 값
- 5: 편차제곱합 20을 관측값 개수 4로 나눈 값
- 6.67: 결측을 제거한 관측값 4개의 표본분산
무작위 시작점 이후 일정 간격으로 뽑는 방법은 계통추출(Systematic Sampling)이다.
목록에 주기성이 있으면 간격과 맞물려 표본이 편향될 수 있어 주의한다.
- 군집추출: 집단을 무작위로 골라 그 집단 전체를 조사
- 층화추출: 서로 이질적인 층으로 나눈 뒤 층마다 무작위 추출
- 단순임의추출: 모든 원소가 같은 확률로 뽑히도록 무작위 추출
| 실제 상태 | 귀무가설 기각 | 귀무가설 채택 | 계 |
|---|---|---|---|
| 귀무가설 참 | 3 | 57 | 60 |
| 대립가설 참 | 30 | 10 | 40 |
대립가설이 참인 40번 중 귀무가설을 채택한 10번이 제2종 오류이므로 제2종 오류율은 0.25이다.
로, 오류율은 실제 상태별 합계를 분모로 한다.
- 0.03: 제1종 오류 3회를 전체 100으로 나눈 값
- 0.30: 검정력 30회를 전체 100으로 나눈 값
- 0.10: 제2종 오류 10회를 전체 100으로 나눈 값
> t.test(len ~ supp, data = ToothGrowth, var.equal = TRUE)
Two Sample t-test
data: len by supp
t = 1.9153, df = 58, p-value = 0.06039
alternative hypothesis: true difference in means between group OJ and group VC is not equal to 0
95 percent confidence interval:
-0.1670064 7.5670064
sample estimates:
mean in group OJ mean in group VC
20.66333 16.96333 등분산을 가정한 독립 2표본 t검정이므로 자유도는 30+30−2 로 출력의 df 값인 58이다.
출력의 p-value 가 0.05 를 넘으므로 유의수준 0.05 에서 귀무가설을 기각하지 못한다.
- 대응표본: paired 인자 없이 두 독립 집단을 비교함
- 평균 차 유의: p-value 가 0.05 이상이라 유의하지 않음
- 귀무가설: 두 모평균의 차가 0 이라는 것이 귀무가설
순위를 이용해 단조 관계를 재는 상관계수는 스피어만 순위상관계수(Spearman)이다.
피어슨 상관계수는 등간·비율척도 자료의 선형 관계를 측정하며, R 에서는 cor.test 의 method 인자로 둘을 고른다.
- 공분산: 단위에 따라 크기가 달라져 강도 비교가 어려움
- 결정계수: 회귀모형이 설명하는 변동의 비율
- 피어슨 적률상관계수: 원값의 선형 관계를 측정
> fit <- lm(mpg ~ wt + hp, data = mtcars) > summary(fit)
Call:
lm(formula = mpg ~ wt + hp, data = mtcars)
Residuals:
Min 1Q Median 3Q Max
-3.941 -1.600 -0.182 1.050 5.854
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 37.22727 1.59879 23.285 < 2e-16 ***
wt -3.87783 0.63273 -6.129 1.12e-06 ***
hp -0.03177 0.00903 -3.519 0.00145 **
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2.593 on 29 degrees of freedom
Multiple R-squared: 0.8268, Adjusted R-squared: 0.8148
F-statistic: 69.21 on 2 and 29 DF, p-value: 9.109e-12wt 의 Estimate 가 약 −3.88 이므로 hp 를 고정하면 wt 가 1 늘 때 mpg 는 약 3.88 줄어든다.
다중회귀 계수는 다른 변수를 통제한 편회귀계수이며, Adjusted R-squared 는 변수 수를 벌점으로 반영해 Multiple R-squared 를 넘지 않는다.
- hp: Pr(>|t|) 가 0.05 미만이라 유의함
- 수정결정계수: 0.8148 로 결정계수 0.8268 에 못 미침
- F 자유도: 설명변수 2개, n=32 이므로 2와 29
| 시점 t | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| 잔차 et | 2 | 1 | −1 | −2 |
통계량이 0.6 으로 0 에 가까우므로 오차에 양의 자기상관이 의심되어 독립성 가정이 흔들린다.
이며, 2 부근이면 독립, 4 에 가까우면 음의 자기상관으로 본다.
- 0.3: 분모에 2를 더 곱한 잘못된 계산
- 0.6·음의 자기상관: 0 쪽은 양의 자기상관을 뜻함
- 1.67: 분자와 분모를 뒤바꾼 값
분산팽창요인 VIF(Variance Inflation Factor)가 10 을 넘으면 다중공선성이 심하다고 보는 것이 통상 기준이다.
변수 선택에서 AIC 는 작을수록 적합도와 간결성의 균형이 좋은 모형이다.
- 후진제거법: 모든 변수를 넣은 모형에서 출발함
- AIC: 값이 작을수록 선호되는 기준
- 단계적 방법: 추가 후 기여가 줄어든 변수는 다시 제거함
평균과 분산이 일정한 B 가 정상 시계열이며, C 는 로그 변환 후 차분해야 정상화된다.
로그 변환이 수준에 비례하는 분산을 안정시키고, 이어지는 차분이 추세를 없애 평균을 일정하게 만든다.
- D: 계절 주기로 평균이 변해 정상 시계열이 아님
- 이동평균만 적용: 평활일 뿐 분산과 추세가 남음
- A: 추세가 있어 비정상이며 로그만으로 추세 제거 불가
주기가 일정하지 않으면서 수년 단위로 반복되는 경기 변동은 순환요인이다.
계절요인은 요일·월·분기처럼 고정된 주기로 반복된다는 점에서 순환요인과 구분된다.
- 추세요인: 장기적으로 한 방향으로 증가하거나 감소하는 흐름
- 계절요인: 1년 이내의 고정 주기로 반복되는 변동
- 불규칙요인: 위 요인으로 설명되지 않는 우연한 변동
ㄱ. 개체 간 거리(비유사성)를 최대한 보존하도록 저차원 공간에 개체를 배치한다.
ㄴ. 스트레스(Stress) 값이 클수록 적합도가 좋다.
ㄷ. 계량적 MDS 는 구간·비율척도, 비계량적 MDS 는 순서척도 자료에 쓴다.
ㄹ. R 에서 계량적 MDS 는 cmdscale 함수로 수행할 수 있다.
거리 보존 배치, 척도에 따른 계량·비계량 구분, cmdscale 사용이 모두 옳아 ㄱ, ㄷ, ㄹ 이 정답이다.
스트레스는 원래 거리와 배치 거리의 불일치 정도라 0 에 가까울수록 적합도가 좋다.
- ㄴ 포함: 스트레스가 클수록 적합도가 나쁨
- ㄹ 누락: cmdscale 은 stats 패키지의 고전적 계량 MDS 함수
- ㄱ 누락: 거리 보존은 MDS 의 기본 원리
> pc <- prcomp(iris[, 1:4], scale. = TRUE) > summary(pc)
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 1.7084 0.9560 0.38309 0.14393
Proportion of Variance 0.7296 0.2285 0.03669 0.00518
Cumulative Proportion 0.7296 0.9581 0.99482 1.00000Cumulative Proportion 행에서 PC1은 약 73%, PC2까지 약 96%이므로 누적 기여율 85% 기준이면 주성분 2개를 고른다.
고유값은 Standard deviation의 제곱이라 PC1 약 2.92, PC2 약 0.91이다. 고유값 1 이상(카이저) 기준이면 1개만 남는다.
- PC1 단독 기여율은 Proportion of Variance 행의 약 73%이고 96%는 PC2까지의 누적값이다.
- scale. = TRUE 이므로 변수를 표준화(상관행렬 기반)해 분석했다.
- 고유값 1 이상인 주성분은 PC1 하나뿐이다.
rotation 은 각 주성분을 원변수의 선형결합으로 나타낼 때의 계수(적재값)를 담은 행렬이다.
적재값의 부호와 크기로 각 주성분이 어떤 변수의 영향을 크게 받는지 해석한다.
- 관측치별 주성분 점수: prcomp 결과의 x 에 저장됨
- 주성분별 표준편차: sdev 에 저장되며 제곱하면 고유값
- 설명 분산의 비율: summary 의 Proportion of Variance 줄
| 실제 | 예측 | |
|---|---|---|
| 양성 | 음성 | |
| 양성 | 30 | 10 |
| 음성 | 20 | 140 |
실제 음성 160건 중 음성으로 맞힌 140건의 비율인 특이도는 0.875이다.
로, F1 은 조화평균이다.
- 정밀도 0.75: 재현율과 혼동한 값으로 정밀도는 0.6
- F1 0.675: 산술평균이며 조화평균은 약 0.667
- 정확도 0.70: TN 만 전체로 나눈 값으로 실제 0.85
상위 10% 반응률 15% 를 기본 반응률 5% 로 나눈 향상도는 3.0, 전체 반응 고객 중 잡아낸 반응 검출률은 30% 이다.
이다.
- 향상도 0.3·검출률 15%: 반응률과 비율을 뒤바꿔 계산
- 검출률 15%: 구간 반응률을 검출률로 혼동
- 향상도 1.5: 기본 반응률을 10% 로 잘못 둔 값
복원추출로 훈련 데이터를 만드는 방법은 부트스트랩이며, 뽑히지 않은 OOB(Out-Of-Bag) 데이터로 검증한다.
n 이 클 때 한 개체가 끝까지 뽑히지 않을 확률은 약 0.368 로 수렴한다.
- 홀드아웃: 비복원으로 훈련과 시험 데이터를 한 번 나눔
- k-겹 교차검증: k 개로 나눠 하나씩 돌아가며 검증
- 층화 분할: 목표변수 비율을 유지하며 나누는 방식
> fit <- glm(am ~ wt, data = mtcars, family = binomial) > summary(fit)
Call:
glm(formula = am ~ wt, family = binomial, data = mtcars)
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) 12.040 4.510 2.670 0.00759 **
wt -4.024 1.436 -2.801 0.00509 **
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 43.230 on 31 degrees of freedom
Residual deviance: 19.176 on 30 degrees of freedom
AIC: 23.176
Number of Fisher Scoring iterations: 6로지스틱 회귀 계수는 로그 오즈의 변화량이므로 wt 가 1 늘면 수동일 오즈가 exp(계수)배가 된다.
wt 의 Estimate 가 음수라 오즈비는 1 미만이며, 계수는 최대우도법으로 추정한다.
- 확률 증가량: 계수는 확률이 아닌 로그 오즈의 변화량
- 최소제곱법: glm 은 반복 재가중으로 최대우도 추정
- deviance: Residual deviance 가 Null deviance 보다 작음
나이브 베이즈는 클래스가 주어졌을 때 설명변수들이 서로 독립이라는 조건부 독립을 가정한다.
SVM 은 마진 최대화로 경계를 정하고, k-NN 은 거리 기반이라 변수 척도를 맞춰야 한다.
- k-NN 의 k: 작을수록 잡음에 민감해 과적합되기 쉬움
- SVM: 서포트 벡터와의 마진을 최대화함
- k-NN 표준화: 단위 큰 변수가 거리를 지배해 표준화 권장
CHAID 는 범주형 목표변수일 때 카이제곱 통계량의 p값이 가장 작은 변수로 분리한다.
알고리즘별로 CART 는 지니 지수, C4.5 는 정보이득비를 기준으로 쓴다.
- 지니 지수 감소량: CART 의 범주형 목표 분리 기준
- 정보이득비: C4.5 의 엔트로피 기반 분리 기준
- 분산 감소량: 연속형 목표변수일 때의 기준
랜덤포레스트는 배깅에 더해 분할마다 설명변수 일부를 무작위로 골라 나무 간 상관을 낮춘다.
배깅은 부트스트랩 표본 모형을 평균해 분산을 줄이고, 부스팅은 순차 학습으로 편향을 줄인다.
- 오분류 가중치: 부스팅의 특징
- 독립·병렬 학습: 배깅의 특징이며 부스팅은 순차적
- 편향 감소: 배깅은 주로 분산을 줄임
여러 출력값을 지수 변환 후 정규화해 합이 1 인 확률로 만드는 함수는 소프트맥스(Softmax)이다.
이진 분류 출력층에는 0~1 값을 내는 시그모이드를 주로 쓴다.
- 렐루: 음수는 0, 양수는 그대로 내보내 은닉층에 주로 사용
- 시그모이드: 노드별로 0~1 값을 내지만 합이 1 이 되지 않음
- 계단 함수: 임계값 기준으로 0 또는 1 만 출력
c 가 {a, b} 에 높이 3, 마지막 병합이 높이 8 이므로 최대거리를 쓰는 완전연결법이고, 높이 5 에서 자르면 {a, b, c}·{d, e} 의 2개 군집이다.
병합 높이는 단일연결이면 2 와 4, 평균연결이면 2.5 와 약 6.17 이 된다.
- 단일연결법: 최소거리라 c 병합 높이가 2 여야 함
- 평균연결법: 병합 높이가 2.5 와 약 6.17 이어야 함
- 3개: 높이 3 의 병합은 5 아래라 이미 합쳐짐
두 번째 갱신에서 {0, 2, 4} 와 {10, 12, 14} 로 나뉜 뒤 배정이 바뀌지 않으므로 최종 중심은 (2, 12) 이다.
로, k-평균은 초기 중심에 따라 경로가 달라진다.
- (1, 10): 첫 갱신 직후의 중간값
- (2, 10): 한 군집만 갱신하고 멈춘 값
- (3, 11): 배정 없이 구간을 임의로 나눈 값
| 거래 | 품목 | 거래 | 품목 |
|---|---|---|---|
| 1 | 우유, 빵 | 6 | 빵, 계란 |
| 2 | 우유, 빵, 버터 | 7 | 버터, 계란 |
| 3 | 우유, 빵, 계란 | 8 | 계란 |
| 4 | 우유, 계란 | 9 | 버터 |
| 5 | 우유, 버터 | 10 | 계란, 버터 |
우유 5건, 빵 4건, 둘 다 3건이므로 지지도 0.3, 신뢰도 0.6, 향상도 1.5 이다.
로, 향상도가 1 보다 커 양의 연관이 있다.
- 신뢰도 0.75: 빵 → 우유 방향으로 계산한 값
- 지지도 0.5: 우유 단독 비율을 쓴 값
- 향상도 0.67: 분자와 분모를 뒤바꾼 값
ㄱ. 어떤 항목집합이 빈발하면 그 부분집합도 모두 빈발하다.
ㄴ. 최소 지지도에 못 미친 항목집합의 상위집합은 후보에서 제외한다.
ㄷ. FP-Growth 는 후보 항목집합을 반복 생성하므로 Apriori 에 비해 데이터 스캔이 많다.
ㄹ. 최소 지지도를 높이면 빈발 항목집합의 수는 줄거나 같다.
Apriori 원리와 가지치기, 최소 지지도와 빈발집합 수의 관계가 옳아 ㄱ, ㄴ, ㄹ 이 정답이다.
FP-Growth 는 FP-트리로 압축해 후보 생성 없이 빈발 항목집합을 찾으며 데이터를 두 번만 스캔한다.
- ㄷ 포함: 후보를 반복 생성하는 쪽은 Apriori
- ㄱ 누락: 빈발집합의 부분집합은 항상 빈발함
- ㄴ 누락: 비빈발집합의 상위집합 제거가 가지치기의 핵심