영업팀과 고객지원팀이 각자 문서로 정리해 둔 응대 매뉴얼과 FAQ를 모아, 중복을 정리하고 하나의 통합 응대 가이드북으로 새로 엮었다.
이미 문서화된 형식지끼리 모아 새로운 형식지로 엮는 것은 연결화(Combination)이다.
지식 전환은 공통화→표출화→연결화→내면화로 순환하며, 연결화는 형식지→형식지 전환이다.
- 공통화: 경험·관찰을 통해 암묵지를 암묵지로 공유하는 단계
- 표출화: 개인의 암묵지를 문서·매뉴얼 같은 형식지로 드러내는 단계
- 내면화: 형식지를 학습·실행해 개인의 암묵지로 체화하는 단계
데이터베이스를 생성·관리하고 여러 사용자의 접근을 제어하는 소프트웨어는 DBMS(Database Management System)이다.
데이터베이스는 통합·저장·공용·변화되는 데이터의 집합 자체이고, DBMS 는 이를 다루는 관리 시스템이라는 점에서 구분된다.
- SQL: DBMS 에 질의·조작 명령을 내리는 언어로 소프트웨어 자체가 아님
- ERP: 기업 자원을 통합 관리하는 업무 시스템
- OLAP: 다차원 데이터를 대화식으로 분석하는 기술
DW 에 적재된 데이터는 읽기 위주로 보존되는 비휘발성을 가지므로 수시로 갱신·삭제된다는 설명은 틀렸다.
DW 의 4대 특징은 주제 지향성·통합성·시계열성·비휘발성이며, DM 은 DW 의 일부를 특정 부서나 주제 영역용으로 분리한 것이다.
- 주제 중심 구성: 업무 처리 단위가 아닌 분석 주제별로 데이터를 모으는 주제 지향성
- 원천 데이터 통합: 여러 시스템의 데이터를 일관된 형식으로 맞추는 통합성
- 특정 부서용 저장소: 데이터 마트의 정의에 부합
저장 장치 가격 하락, 인터넷·모바일 확산, 클라우드 컴퓨팅 보급은 빅데이터 출현의 기술 발전 측면 배경이다.
출현 배경은 흔히 산업계·학계·기술 발전의 세 측면으로 나누며, 각 측면이 데이터의 양적 증가를 질적 변화로 이끌었다.
- 고객 데이터 축적에 따른 가치 발견: 산업계 측면의 배경
- 거대 데이터 연구 확산: 학계 측면의 배경
- 표본 조사 관행 강화: 빅데이터는 오히려 전수 데이터 활용을 확산시킴
(가) 수집 전에 목적을 정해 필요한 항목만 골라 저장하던 방식에서 벗어나, 일단 다양한 데이터를 쌓아 두고 나중에 목적에 맞게 가공·조합한다.
(나) 데이터 일부에 오류가 섞여 있어도 데이터가 충분히 많으면 개별 오류의 영향이 희석되어 정확한 경향을 얻는다.
(다) 왜 그런지 원인은 밝히지 않은 채, 함께 구매되는 패턴만으로 상품을 추천한다.
(가)는 사전처리→사후처리, (나)는 질→양, (다)는 인과관계→상관관계로의 변화에 해당한다.
빅데이터는 표본조사에서 전수조사로의 변화도 가져왔지만, 상자의 사례 중 표본과 모집단 문제를 다룬 것은 없다.
- 전수조사: 표본 대신 전체를 분석하는 변화로, 저장·가공 시점을 다룬 (가)와 무관
- 질: 오류가 섞여도 양으로 극복한다는 (나)는 질보다 양이 중요해진 변화이며, 표본조사 역시 변화 이전의 방식
- 인과관계: 원인을 밝히지 않고 패턴만 쓰는 (다)는 상관관계 중심으로의 변화
신규 고객을 미리 정한 등급 집단으로 나누는 것은 유형분석(Classification) 사례이며, 연관규칙 학습은 함께 발생하는 항목 간 관계를 찾는 기법이다.
연관규칙 학습의 대표 사례는 커피를 산 고객이 빵도 함께 사는지 찾는 장바구니 분석이다.
- 회귀분석: 독립변수가 종속변수에 미치는 영향 분석에 부합
- 유전 알고리즘: 진화 원리로 최적해를 점진적으로 찾는 최적화 사례에 부합
- 감정 분석: 텍스트에 담긴 긍정·부정 의견 판별에 부합
한 도시가 범죄 예측 모형의 위험 점수만을 근거로, 아직 아무 범행도 저지르지 않은 시민의 출입을 제한하고 처벌 대상 명단에 올렸다.
예측만으로 아직 하지 않은 행동을 처벌하는 것은 책임 원칙 훼손이며, 통제 방안은 실제 행동 결과에 대해서만 책임을 묻는 결과 기반 책임 원칙의 고수이다.
예측 분석이 행동의 결과로 책임을 묻는 민주 사회의 원칙을 무너뜨릴 수 있다는 우려이다.
- 사생활 침해의 통제: 개인정보 제공자 동의 대신 사용자 책임을 강화하는 방안
- 데이터 오용의 통제: 알고리즘 접근을 허용해 부당 피해를 구제하는 방안
- 책임 원칙 훼손에 알고리즘 접근 허용을 짝지으면 통제 방안이 어긋남
(가) 스마트워치가 사용자의 심박수를 쉬지 않고 기록한다.
(나) 추천 모형이 새 구매 기록을 반영해 스스로 갱신된다.
(다) 알고리즘 판단으로 불이익을 본 고객을 전문가가 분석해 구제한다.
모든 것의 데이터화는 데이터, 스스로 학습·진화하는 알고리즘은 기술, 알고리즘 피해를 구제하는 알고리즈미스트는 인력 요소다.
빅데이터 활용 3요소는 데이터(사물인터넷·데이터화), 기술(진화하는 알고리즘·인공지능), 인력(데이터 사이언티스트·알고리즈미스트)으로 정리된다.
- 센서가 측정값을 쌓는 것은 기술이 아니라 데이터 요소의 사례다.
- 스스로 갱신되는 모형은 인력이 아니라 기술 요소다.
- 피해 구제 전문가는 데이터가 아니라 인력 요소다.
업계 내부 문제에 머물지 않고 사업 환경 변화와 새로운 기회를 찾는 것이 전략 도출을 위한 가치 기반 분석이다.
신용 점수·재고 보충·공급사슬 최적화처럼 해당 업계의 당면 문제를 다루는 분석은 일차원적 분석에 해당한다.
- 신용 점수 산정: 금융업의 대표적 일차원적 분석
- 재고 보충 예측: 소매업 운영 효율화를 위한 일차원적 분석
- 공급사슬 최적화: 제조업 내부 운영을 다루는 일차원적 분석
빅데이터 관련 이론적 지식과 분석 기술에 대한 숙련도는 하드 스킬에 해당한다.
소프트 스킬은 통찰력 있는 분석(창의적 사고·호기심·논리적 비판), 설득력 있는 전달(스토리텔링·시각화), 다분야 간 협력(커뮤니케이션)으로 구성된다.
- 스토리텔링: 설득력 있는 전달에 속하는 소프트 스킬
- 다분야 간 협력과 소통: 커뮤니케이션 역량으로 소프트 스킬
- 창의적 사고와 호기심: 통찰력 있는 분석에 속하는 소프트 스킬
장기 마스터플랜 접근은 과제를 근본적으로 정의하는 Problem Definition 방식이며, Problem Solving 은 과제 중심 접근의 방식이다.
당면 과제를 빠르게 해결하는 과제 중심 접근과 지속적 분석 내재화를 노리는 마스터플랜 접근을 균형 있게 조합하는 것이 바람직하다.
- Speed & Test: 빠른 실행과 검증을 노리는 과제 중심의 1차 목표
- Quick-Win: 단기간에 성과를 내는 과제 중심의 과제 유형
- Accuracy & Deploy: 정확한 분석과 전사 배포를 노리는 마스터플랜의 1차 목표
(가) 수집한 원천 데이터의 누락·오류 등 데이터 품질을 확인한다.
(나) 모델의 성능을 검증할 테스트 계획을 설계한다.
(다) 운영 환경에 적용한 모델의 모니터링·유지보수 계획을 세운다.
데이터 품질 확인은 데이터 이해, 테스트 계획 설계는 모델링, 모니터링·유지보수 계획은 전개 단계의 태스크이다.
CRISP-DM 은 업무 이해→데이터 이해→데이터 준비→모델링→평가→전개의 6단계로, 단계 간 피드백으로 되돌아갈 수 있다.
- 데이터 준비: 분석용 데이터셋 선택·정제·통합·포맷팅 단계로 품질 확인과 구분
- 평가: 분석 결과와 모델링 과정이 업무 목적에 맞는지 평가하는 단계
- 업무 이해: 업무 목적 파악과 프로젝트 계획 수립 단계
나선형 모델은 반복(iteration)을 거듭하며 매 주기마다 위험 분석을 수행해 점증적으로 시스템을 완성하는 모델이다.
처음 시도하는 프로젝트에 적용하기 쉽지만 관리 체계가 없으면 반복이 늘어 복잡도가 커질 수 있다.
- 순차 진행하고 되돌아가지 않는 것은 폭포수 모델의 특징이다.
- 시제품으로 요구를 확인하는 방식은 프로토타입 모델이다.
- 계층·태스크·스텝으로 전개하는 것은 방법론의 계층 구조이지 개발 모델 유형이 아니다.
분석 시스템과 이를 운영·관리하는 인력 측면의 기회를 찾는 영역은 지원 인프라이다.
비즈니스 모델 캔버스는 업무·제품·고객 단위로 문제를 찾고, 이를 관리하는 규제와 감사·지원 인프라 영역까지 포함해 5개 영역으로 기회를 발굴한다.
- 업무: 제품·서비스를 생산하는 내부 프로세스 관련 과제
- 제품: 생산·제공하는 제품과 서비스 개선 관련 과제
- 규제와 감사: 생산 과정과 결과물의 품질·규제 준수 관리 관련 과제
디자인 사고는 가능한 옵션을 넓게 도출하는 발산(Diverge)을 상향식으로, 도출한 옵션을 분석·검증하는 수렴(Converge)을 하향식으로 보고 두 과정을 반복한다.
상향식 접근은 문제 정의 없이 데이터 자체를 관찰해 인사이트를 찾으므로 주로 비지도 학습을 활용한다.
- 정의된 문제의 해법 탐색: 문제에서 출발하는 하향식 접근의 특징
- 지도 학습 위주: 상향식은 레이블 없는 비지도 학습이 중심
- 문제 정의 선확정: 하향식 접근의 절차적 특징
반복 측정 결과의 편차가 작은 정도, 곧 안정성 측면의 속성은 정밀도(Precision)이다.
정확도는 모델과 실제 값의 차이가 작은 정도로 활용 측면에서 중요하며, 정확도와 정밀도는 트레이드오프(Trade-off) 관계인 경우가 많다.
- 정확도: 실제 값과의 차이를 보는 활용 측면 속성
- 재현율: 실제 양성 중 양성으로 맞힌 비율을 뜻하는 분류 평가 지표
- 신뢰도: 연관규칙에서 조건부 확률을 뜻하는 지표
| 구분 | 검토 내용 |
|---|---|
| (가) | 분석 결과를 영업 시스템에 자동 반영할지, 담당자가 참고하는 보고서로만 제공할지 정한다. |
| (나) | 내부 거래 데이터만 사용할지, 외부 SNS·공공 데이터까지 범위를 넓힐지 정한다. |
| (다) | 기존 통계 도구로 수행할지, 분산 처리·머신러닝 같은 신규 분석 기술을 도입할지 정한다. |
(가)는 업무 내재화 적용 수준, (나)는 분석 데이터 적용 수준, (다)는 기술 적용 수준에 해당한다.
적용 범위·방식은 이 세 요소로 정하고, 전략적 중요도·비즈니스 성과·실행 용이성은 과제 우선순위를 정할 때의 고려 요소이다.
- 실행 용이성: 투자·기술 측면의 실행 가능성을 보는 우선순위 요소로 데이터 범위 결정과 무관
- 전략적 중요도: 전략 목표와의 관련성을 보는 우선순위 요소
- 비즈니스 성과: ROI 를 보는 우선순위 요소로 기술 도입 범위 결정과 무관
난이도는 데이터 획득·저장·가공 비용과 분석 적용 범위 같은 투자비용 요소로 판단하며, 이는 4V 중 크기·다양성·속도에 대응한다.
반면 시급성은 전략적 중요도와 목표 가치(현재 또는 미래)로 판단하며 비즈니스 효과(Value)에 대응한다.
- 전략적 중요도: 시급성 판단의 핵심 기준
- 목표 가치의 달성 시점: 현재·미래 중 언제 가치가 필요한지 보는 시급성 기준
- 비즈니스 효과: 4V 중 가치에 해당하며 시급성과 연결
전사 차원의 분석 관리·공유와 분석 CoE(Center of Excellence) 운영이 나타나는 단계는 확산 단계이다.
성숙도는 도입→활용→확산→최적화 순으로 높아지며, 비즈니스·조직 및 역량·IT 부문별로 평가한다.
- 도입: 분석을 시작해 환경과 시스템을 구축하는 단계
- 활용: 분석 결과를 실제 업무에 적용하는 단계
- 최적화: 분석을 진화·혁신시켜 성과를 높이는 단계
현재 기업에서 활용하는 분석 업무와 기법은 부족하지만, 조직·인력·분석 인프라 등 준비도가 높아 바로 분석을 도입할 수 있는 상태이다.
준비도는 높지만 성숙도가 낮은 유형은 도입형으로, 갖춰진 기반 위에서 분석 업무를 바로 도입할 수 있다.
진단 결과는 준비도와 성숙도를 두 축으로 하는 사분면으로 나뉜다.
- 준비형: 준비도와 성숙도가 모두 낮아 사전 준비가 필요한 유형
- 정착형: 준비도는 낮지만 성숙도가 높아 일부 분석이 이미 쓰이는 유형
- 확산형: 준비도와 성숙도가 모두 높아 지속적 확산이 필요한 유형
모형의 실제 가치는 학습에 쓰지 않은 새 데이터에서의 성능, 즉 일반화 성능으로 판단하므로 검증·시험 데이터로 평가한다.
학습 데이터 성능은 모형이 자료를 외운 정도까지 반영해 실제보다 좋게 나오기 쉽다.
- 학습 데이터 성능만 보면 과적합 모형을 고를 위험이 크다.
- 설명변수를 늘리면 오히려 과적합·다중공선성으로 성능이 나빠질 수 있다.
- 평가 지표는 분류·예측 등 분석 목적에 맞춰 골라야 한다.
> paste0(c("x", "y"), 1:4, collapse = ",")paste0 은 길이가 짧은 벡터를 재사용(recycling)해 원소끼리 붙이고, collapse 를 주면 결과를 하나의 문자열로 합친다.
c("x","y") 가 x,y,x,y 로 반복되어 x1·y2·x3·y4 가 만들어진 뒤 쉼표로 이어져 길이 1인 문자열이 된다.
- x 를 두 번씩 반복하는 방식으로 재사용하지 않는다.
- collapse 가 있으므로 길이 4인 문자 벡터로 출력되지 않는다.
- 각 벡터를 먼저 합친 뒤 붙이는 동작이 아니다.
> f <- factor(c("10", "5", "20", "5"))
> as.numeric(f)factor 에 as.numeric 을 적용하면 원래 값이 아니라 수준(level)의 정수 코드가 반환된다.
문자열 수준은 사전순으로 "10","20","5" 가 되어 10→1, 5→3, 20→2 로 바뀌므로 결과는 1 3 2 3 이다.
- 원래 숫자를 얻으려면 as.numeric(as.character(f)) 를 써야 한다.
- 수준을 숫자 크기순(5,10,20)으로 정렬하지 않는다.
- 수준 순서는 등장 순서가 아니라 정렬 순서로 정해진다.
> m <- matrix(1:6, nrow = 2) > a <- apply(m, 1, sum) > l <- lapply(1:3, function(i) i^2) > s <- sapply(1:3, function(i) c(i, i^2)) > a > class(l) > s
[1] 9 12
[1] "list"
[,1] [,2] [,3]
[1,] 1 2 3
[2,] 1 4 9sapply 는 각 결과가 길이 2로 같으면 이를 열로 묶어 행렬로 단순화하므로 s 는 2행 3열 행렬이다.
출력의 a 줄은 9 12(행 합 2개), class(l) 줄은 "list", s 는 [1,] 1 2 3 / [2,] 1 4 9 로 읽힌다.
- apply 의 MARGIN=1 은 행 방향이라 a 의 길이는 행 수와 같은 2이다.
- lapply 는 항상 리스트를 반환한다.
- sapply 는 단순화할 수 있으면 리스트로 두지 않는다.
> r <- aggregate(mpg ~ cyl, data = mtcars, FUN = mean) > r > class(r)
cyl mpg 1 4 26.66364 2 6 19.74286 3 8 15.10000 [1] "data.frame"
aggregate 는 그룹 변수 값을 정렬한 순서로 요약하므로 결과 행이 cyl 오름차순(4, 6, 8)으로 나온다.
출력은 cyl 별 평균 mpg 3행이며 class(r) 줄은 "data.frame" 이다.
- 결과는 행렬이 아니라 데이터 프레임이다.
- 그룹별 요약이므로 행 수는 그룹 수인 3이다.
- FUN = mean 이므로 합계가 아니라 평균을 구한다.
요약값: 제1사분위수 40, 제3사분위수 60, 평균 52, 표준편차 10
판정할 관측값: 15, 25, 85, 95
IQR 울타리는 10~90, 3σ 구간은 22~82이므로 두 기준이 엇갈리는 값은 15와 85로 2개이다.
, 울타리 , 3σ 구간
- 25 는 두 기준 모두에서 정상이다.
- 95 는 두 기준 모두에서 이상값이므로 세지 않는다.
- 15 와 85 를 모두 세야 하므로 1개가 아니다.
ㄱ. 섭씨온도(℃)
ㄴ. 월 소득(원)
ㄷ. 고객 만족도 등급(1~5)
ㄹ. 체중(kg)
비율척도는 절대 0이 존재해 "두 배" 같은 비율 비교가 가능한 척도로, 월 소득과 체중이 해당한다.
0원·0kg 은 실제로 양이 없음을 뜻하므로 사칙연산이 모두 의미를 가진다.
- 섭씨온도는 0℃ 가 임의 기준이라 간격만 의미 있는 구간척도이다.
- 만족도 등급은 순서만 의미 있는 순서척도이다.
- 섭씨온도나 만족도 등급이 포함된 조합은 비율척도만으로 이뤄지지 않는다.
X ~ 이항분포 B(n = 20, p = 0.3)
이항분포의 기댓값은 np, 분산은 np(1−p)이고 선형변환에서 분산은 상수항과 무관하게 계수의 제곱배가 된다.
,
- 분산에 계수를 제곱하지 않으면 8.4 가 된다.
- 기댓값에서 상수 3을 빼지 않으면 12 가 된다.
- 분산에서 상수 3을 빼는 것은 잘못이다.
| 구분 | A | B | 합계 |
|---|---|---|---|
| 남 | 30 | 20 | 50 |
| 여 | 20 | 30 | 50 |
| 합계 | 50 | 50 | 100 |
두 범주형 변수의 관련성은 카이제곱 독립성 검정으로 보며, 통계량은 4, 자유도는 (r−1)(c−1)=1이다.
기대도수는 모두 ,
- 자유도를 칸 수에서 1을 뺀 3으로 두면 틀린다.
- 16 은 통계량 4를 다시 제곱한 값으로 공식에 맞지 않는다.
- 1 은 편차 제곱합을 기대도수 대신 전체 표본 수로 나눈 값이다.
> cor.test(mtcars$mpg, mtcars$wt)
Pearson's product-moment correlation
data: mtcars$mpg and mtcars$wt
t = -9.559, df = 30, p-value = 1.294e-10
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
-0.9338264 -0.7440872
sample estimates:
cor
-0.8676594 출력의 95 percent confidence interval 줄의 하한·상한이 모두 음수이므로 신뢰구간이 0을 포함하지 않고, 상관이 유의하다.
sample estimates 의 cor 가 음수이고 p-value 가 0.05보다 매우 작아 강한 음의 선형관계로 해석한다.
- 상관계수 부호가 음수이므로 양의 관계가 아니다.
- 피어슨 상관 검정의 자유도는 n−2 인 30이다.
- p값이 유의수준보다 작으므로 귀무가설을 기각한다.
왜도가 양수이면 큰 값 쪽으로 오른쪽 꼬리가 길게 늘어진 분포이다.
꼬리 쪽 큰 값이 평균을 끌어올려 대체로 평균 > 중앙값 관계가 나타난다.
- 오른쪽 꼬리 분포에서는 평균이 중앙값보다 크다.
- 첨도는 뾰족한 정도로 왜도의 부호와 별개이다.
- 대칭 분포의 왜도는 0이다.
> fit <- lm(mpg ~ wt, data = mtcars) > shapiro.test(residuals(fit))
Shapiro-Wilk normality test data: residuals(fit) W = 0.94508, p-value = 0.1044
출력의 p-value 가 0.05보다 크므로 "잔차가 정규분포를 따른다"는 귀무가설을 기각하지 못해 정규성 가정은 받아들일 만하다.
Shapiro-Wilk 검정은 정규성 진단용이며, 출력 W 줄의 W 와 p-value 를 함께 읽는다.
- 등분산성은 잔차 대 적합값 산점도나 별도 검정으로 확인한다.
- 잔차의 자기상관(독립성)은 Durbin-Watson 검정으로 본다.
- W 는 1에 가까울수록 정규분포에 가깝다.
| 변수 | X1 | X2 | X3 | X4 |
|---|---|---|---|---|
| 결정계수 | 0.50 | 0.90 | 0.75 | 0.95 |
VIF 는 1/(1−R²) 이므로 X3 은 4이고, 관례 기준 10보다 작아 심각한 다중공선성은 아니다.
(X2 는 10, X4 는 20으로 기준 이상)
- 1.33 은 결정계수의 역수를 잘못 취한 값이다.
- VIF 4 는 기준 10에 못 미친다.
- 0.25 는 1−R² 인 공차(Tolerance)이다.
총제곱합(SST) = 200, 오차제곱합(SSE) = 50
결정계수는 1 − SSE/SST 이므로 0.75이다.
- 0.25 는 SSE/SST 로 설명되지 않는 비율이다.
- SSR 은 SST 에서 SSE 를 뺀 150이다.
- 설명변수를 추가하면 결정계수는 줄지 않으므로 수정 결정계수로 비교한다.
B 는 수준이 일정하게 유지되면서 같은 주기로 오르내리므로 추세 없는 계절변동 계열이다.
A 는 하락 추세, C 는 시간이 갈수록 변동 폭이 커지는 이분산, D 는 상승 추세와 계절변동이 겹친 계열이다.
- A 에는 주기적 반복 없이 하락 추세만 보인다.
- C 는 분산이 커지므로 로그 변환 등이 필요한 비정상 계열이다.
- D 에는 뚜렷한 상승 추세와 주기 변동이 있다.
· 자기상관함수(ACF)는 시차가 커지며 점차 0으로 줄어든다.
· 부분자기상관함수(PACF)는 시차 2 이후 급격히 0이 된다.
ACF 가 서서히 감소하고 PACF 가 시차 p 이후 절단되면 AR(p) 모형이므로 AR(2) 가 적합하다.
반대로 ACF 가 시차 q 이후 절단되고 PACF 가 서서히 줄면 MA(q) 로 식별한다.
- MA(2) 라면 ACF 가 시차 2 이후 절단되어야 한다.
- 백색잡음은 모든 시차에서 ACF 가 0 근처이다.
- 확률보행은 비정상 계열로 ACF 가 매우 느리게 감소한다.
> p <- prcomp(USArrests, scale. = TRUE) > summary(p) > round(p$rotation, 3)
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 1.5749 0.9949 0.59713 0.41645
Proportion of Variance 0.6201 0.2474 0.08914 0.04336
Cumulative Proportion 0.6201 0.8675 0.95664 1.00000
PC1 PC2 PC3 PC4
Murder -0.536 -0.418 0.341 0.649
Assault -0.583 -0.188 0.268 -0.743
UrbanPop -0.278 0.873 0.378 0.134
Rape -0.543 0.167 -0.818 0.089summary 출력의 Proportion of Variance 줄에서 PC1 이 약 0.62이므로 분산의 절반 이상을 설명한다.
Cumulative Proportion 의 PC2 값은 약 0.87이고, rotation 의 PC1 열에서 UrbanPop 의 절댓값이 가장 작다.
- 두 주성분 누적 기여율은 80%를 넘는다.
- PC1 에서는 Assault·Rape·Murder 적재값이 UrbanPop 보다 크다.
- 주성분은 변수 수와 같은 4개까지 만들어진다.
고유값이 1보다 큰 주성분만 남기는 카이저 기준을 적용하면 고유값 약 3.2, 1.1 인 주성분 2개를 택한다.
제1주성분 기여율은 로 64%이다.
- 32% 는 고유값 합을 10으로 잘못 나눈 값이다.
- 단위가 다른 변수는 상관행렬(표준화)로 분석하는 것이 적절하다.
- 주성분은 서로 직교하여 상관이 0이다.
| 등급 | 1 | 2 | 3 | 4 | 5~10 |
|---|---|---|---|---|---|
| 반응 고객 수 | 30 | 20 | 15 | 10 | 25 |
향상도는 등급 반응률 ÷ 전체 반응률이므로 1등급은 30% ÷ 10% = 3.0이다.
, 상위 20% 누적 , 포착률
- 상위 20%의 누적 향상도는 2.5이다.
- 상위 20%는 전체 반응의 50%를 포착한다.
- 잘 만든 모형은 상위 등급일수록 향상도가 크다.
· 전체 데이터 1,000건 중 20%를 시험(Test) 데이터로 먼저 떼어 둔다.
· 나머지 데이터로 4-fold 교차검증(k-fold Cross Validation)을 수행한다.
시험 데이터를 뺀 800건을 4등분해 매번 3개 폴드(600건)로 훈련, 1개 폴드(200건)로 검증하며 이를 4회 반복한다.
, 적합 횟수 = k = 4
- 800건은 교차검증에 쓰는 전체 데이터 크기이다.
- k-fold 의 적합 횟수는 k 와 같으므로 5회가 아니다.
- 750건은 시험 데이터를 떼지 않고 계산한 값이다.
과적합은 모형이 훈련 데이터의 잡음까지 학습해 훈련 오차는 작지만 검증 오차는 큰 상태로, 일반화 오차가 커진다.
모형 복잡도를 줄이거나 규제·가지치기·조기 종료로 완화한다.
- 두 오차가 모두 크면 과소적합이다.
- 지나치게 단순한 모형은 과소적합을 일으킨다.
- 학습 데이터를 늘리면 과적합이 대체로 완화된다.
> library(class)
> X <- scale(mtcars[, c("mpg", "hp", "wt")])
> y <- factor(mtcars$am, labels = c("auto", "manual"))
> set.seed(123)
> idx <- sample(1:32, 22)
> pred <- knn(X[idx, ], X[-idx, ], y[idx], k = 3)
> table(pred, actual = y[-idx])actual pred auto manual auto 7 1 manual 1 1
출력 표의 대각 합(auto-auto, manual-manual)을 전체 테스트 수로 나누면 정확도는 8/10 = 0.8이다.
훈련에 22개를 쓰고 나머지 10개가 테스트이며, k-NN 은 거리 기반이라 scale 로 표준화한 뒤 적용한다.
- 22개는 훈련 데이터 수이고 테스트는 10개이다.
- pred 가 manual 인 행에서 실제 manual 은 절반이므로 정밀도는 0.5이다.
- k 를 키우면 이웃이 많아져 경계가 완만해진다.
actual pred no yes no 50 10 yes 5 35
행이 예측, 열이 실제이므로 특이도는 실제 no 55건 중 no 로 맞힌 50건, 즉 50/55이다.
정확도 , 정밀도 , 재현율 로 행·열 방향을 구분해야 한다.
- 정확도는 0.85이다.
- 35/45 는 실제 yes 를 분모로 한 재현율이다.
- 35/40 은 예측 yes 를 분모로 한 정밀도이다.
나무를 충분히 성장시킨 뒤, 검증 오차를 줄이지 못하는 하위 마디를 잘라내 모형을 단순화한다.
성장한 나무에서 불필요한 가지를 제거해 과적합을 줄이는 과정은 가지치기(Pruning)이다.
R 의 rpart 에서는 복잡도 모수 cp 를 기준으로 prune 함수를 적용한다.
- 배깅은 부트스트랩 표본의 여러 모형을 결합하는 앙상블이다.
- 부스팅은 오분류 관측치에 가중치를 주며 순차 학습한다.
- 정규화는 변수 척도를 맞추는 전처리이다.
랜덤포레스트는 수많은 나무의 결과를 결합하므로 단일 나무보다 해석이 어렵다.
대신 변수 중요도로 각 변수의 기여를 요약해 해석을 보완한다.
- 부트스트랩 표본으로 나무를 키우는 것은 배깅 원리이다.
- 분기마다 후보 변수를 무작위로 골라 나무 간 상관을 낮춘다.
- 학습에 빠진 OOB 표본으로 별도 검증 없이 오차를 추정한다.
ㄱ. 역전파는 출력층 오차를 입력층 방향으로 전달해 가중치를 갱신한다.
ㄴ. 시그모이드 활성화 함수를 깊게 쌓으면 기울기 소실이 생기기 쉽다.
ㄷ. 학습률이 클수록 항상 더 빨리 최적해에 수렴한다.
ㄹ. 은닉층과 노드를 늘리면 과적합 위험이 줄어든다.
역전파는 오차를 거꾸로 전달하며 경사하강법으로 가중치를 갱신하고, 시그모이드는 미분값이 작아 층이 깊으면 기울기 소실이 생긴다.
따라서 옳은 설명은 ㄱ과 ㄴ이다.
- 학습률이 너무 크면 최적해 주변에서 발산하거나 진동할 수 있다.
- 은닉층·노드를 늘리면 모형이 복잡해져 과적합 위험이 커진다.
- ㄷ 과 ㄹ 이 포함된 조합은 모두 틀린다.
k-평균은 임의의 초기 중심값에서 출발하므로 시작점에 따라 최종 군집이 달라질 수 있다.
그래서 여러 초기값으로 반복 수행(nstart)하거나 군집 수 k 를 엘보 방법 등으로 미리 정한다.
- k-평균은 군집 수 k 를 사전에 지정해야 한다.
- 평균을 중심으로 쓰므로 이상값에 민감하다.
- 중심 재계산 때마다 개체가 다른 군집으로 재배정될 수 있다.
| 구분 | 키(cm) | 몸무게(kg) |
|---|---|---|
| A | 165 | 58 |
| B | 180 | 66 |
| 표준편차 | 5 | 2 |
표준화한 차이는 키 15/5 = 3, 몸무게 8/2 = 4이므로 유클리드 거리 5, 맨해튼 거리 7이다.
- 17과 23은 표준화하지 않은 원자료로 계산한 값이다.
- 유클리드와 맨해튼 거리의 순서를 바꾸면 틀린다.
- 25 는 유클리드 거리를 제곱한 값이다.
| 거래 | 품목 |
|---|---|
| T1 | 빵, 우유, 계란 |
| T2 | 빵, 우유 |
| T3 | 우유, 버터 |
| T4 | 빵, 계란, 버터 |
| T5 | 빵, 우유, 버터 |
최소 지지도 40%는 5건 중 2건 이상이므로 빈발 2-항목집합은 {빵,우유}·{빵,계란}·{빵,버터}·{우유,버터}의 4개이다.
{우유,계란}·{계란,버터}는 1건뿐이라 이를 포함한 3-항목 후보는 Apriori 원리로 지지도를 세지 않고 제거된다.
- {우유, 계란}은 T1 한 건으로 지지도 20%이다.
- {빵, 우유, 계란}은 부분집합이 빈발하지 않아 후보에서 빠진다.
- {빵, 우유, 버터}는 T5 한 건뿐이라 빈발하지 않다.
향상도(Lift)가 1이면 A 구매가 B 구매 확률을 바꾸지 않으므로 두 품목은 서로 독립이다.
향상도가 1을 넘으면 양의 관계, 1 미만이면 음의 관계로 해석한다.
- 향상도 1 미만은 음의 관계를 뜻한다.
- 신뢰도는 분모가 조건 품목의 지지도라 A→B 와 B→A 가 다를 수 있다.
- 순차패턴은 구매 시점의 선후를 반영한 연관 규칙이다.