(가) 20년 경력 제빵사가 손끝 감각으로 판단하던 반죽 상태를 인터뷰로 풀어 수분·온도 기준표로 문서화했다.
(나) 신입 제빵사가 그 기준표를 보며 반복 실습한 끝에 표를 보지 않고도 반죽 상태를 판단하게 되었다.
몸에 밴 감각을 문서로 옮긴 (가)는 암묵지를 형식지로 바꾸는 표출화(Externalization), 문서를 익혀 다시 몸에 체화한 (나)는 형식지를 암묵지로 바꾸는 내면화(Internalization)이다.
지식은 공통화→표출화→연결화→내면화를 거치며 개인과 조직 사이를 순환한다.
- 공통화는 문서 없이 함께 일하며 암묵지를 나누는 것이라 (가)와 다르다.
- 연결화는 형식지끼리 결합하는 것이라 몸에 익히는 (나)와 다르다.
- (가)를 연결화로, (나)를 공통화로 본 짝은 전환 방향이 모두 틀렸다.
응용 프로그램마다 전용 파일을 따로 두는 것은 파일 처리 방식의 특징으로, 같은 데이터가 여러 곳에 중복·불일치하는 원인이 된다.
DBMS 는 데이터를 통합해 한곳에서 관리하므로 중복을 줄이고 여러 사용자가 함께 쓸 수 있다.
- 통합 저장으로 중복을 최소화하는 것은 DBMS 의 장점이다.
- 데이터 구조가 바뀌어도 프로그램을 덜 고치는 데이터 독립성이 확보된다.
- 동시성 제어로 여러 사용자의 접근을 일관되게 처리한다.
조달·생산·물류·판매로 이어지는 흐름을 기업 간에 연결해 재고와 납기를 줄이는 것은 SCM(Supply Chain Management)이다.
SCM 은 협력사와 정보를 실시간 공유해 공급망 전체의 효율을 높이는 데 초점이 있다.
- ERP 는 회계·인사·생산 등 기업 내부 자원을 통합 관리한다.
- CRM 은 고객 정보를 모아 관계 유지와 마케팅에 쓴다.
- KMS 는 조직의 지식·노하우를 축적하고 공유하는 시스템이다.
(가) 고객 데이터가 대량으로 쌓이면서 그 안에 숨은 가치를 찾아 활용하려는 시도가 늘었다.
(나) 유전체 분석·천체 관측처럼 거대한 데이터를 다루는 연구가 늘어 관련 아키텍처와 통계 도구가 발전했다.
(다) 저장장치 가격이 크게 떨어지고 클라우드 컴퓨팅이 보편화되었다.
기업의 데이터 축적과 가치 탐색은 산업계, 거대 데이터를 다루는 과학 연구는 학계, 저장 비용 하락과 클라우드 보급은 기술 발전 관점의 배경이다.
세 관점이 함께 작용해 데이터의 양이 질적 변화로 이어지는 양질 전환이 일어났다.
- (가)와 (나)를 바꾼 짝은 주체가 기업인지 연구계인지를 뒤집었다.
- (나)를 기술로 본 짝은 연구 수요라는 출발점을 놓쳤다.
- (다)를 산업계로 본 짝은 저장·컴퓨팅 기술 변화를 잘못 분류했다.
C마트는 예전에는 일부 점포의 일부 기간 영수증만 뽑아 고객 구매 행태를 추정했다. 지금은 모든 점포의 전 기간 거래 기록을 그대로 분석해, 추출 조사에서는 드러나지 않던 소수 고객층의 구매 패턴까지 찾아낸다.
일부를 뽑아 전체를 추정하던 방식에서 모든 기록을 분석하는 방식으로 바뀐 것은 표본조사에서 전수조사로의 변화이다.
데이터 수집·처리 비용이 낮아지면서 전수 분석으로 표본에서 놓치던 세부 패턴까지 볼 수 있게 되었다.
- 사후처리는 필요한 정보만 미리 골라 모으지 않고 일단 모은 뒤 조합하는 변화이다.
- 질에서 양으로는 데이터가 많으면 일부 오류가 결과에 미치는 영향이 줄어든다는 변화이다.
- 상관관계로의 변화는 원인 규명보다 상관 패턴 활용을 중시하는 것이다.
후기 문장에서 긍정·부정 표현을 판별하는 것은 감정 분석(Sentiment Analysis)이고, 소셜 네트워크 분석은 사람 사이의 관계망에서 영향력자 등을 찾는 기법이다.
두 기법 모두 SNS 데이터를 쓰지만 분석 대상이 문장의 감정인지 관계 구조인지가 다르다.
- 함께 구매되는 상품 조합 찾기는 연관규칙 학습의 대표 사례이다.
- 과거 이력으로 학습해 다음 선호를 예측하는 것은 기계학습이다.
- 독립변수 변화에 따른 종속변수의 변화량 추정은 회귀분석이다.
일어나지 않은 행동을 예측만으로 처벌하는 것은 책임 원칙 훼손이며, 통제 방안은 실제 행동 결과로만 책임을 묻는 결과 기반 책임 원칙의 고수이다.
예측은 판단의 참고일 뿐, 그 자체가 제재의 근거가 되어서는 안 된다는 것이 핵심이다.
- 알고리즘 접근 허용은 데이터 오용에 대한 통제 방안이라 짝이 맞지 않는다.
- 사생활 침해와 동의에서 책임으로는 서로 짝이지만 이 사례의 쟁점이 아니다.
- 데이터 오용에 결과 기반 책임 원칙을 붙인 것은 위기 요인과 통제가 어긋난다.
데이터와 기술은 갖췄고 결과를 해석해 의사결정으로 잇는 사람이 없으므로, 인력 요소 중 데이터 사이언티스트를 확보해야 한다.
데이터 사이언티스트는 분석 역량과 함께 비즈니스 이해·소통 능력으로 통찰을 전달하는 역할을 맡는다.
- 데이터는 이미 풍부하므로 사물인터넷 데이터 확대는 부족한 부분이 아니다.
- 분석 플랫폼과 인공지능 도구를 갖춰 기술 보강도 핵심이 아니다.
- 알고리즈미스트는 알고리즘으로 피해를 본 사람을 구제하는 역할이라 상황과 다르다.
부서별 업무 개선에 머문 일차원적 분석으로는 환경 변화에 대응하기 어려우므로, 사업 성과와 경쟁 환경에서 핵심 질문을 찾는 전략적 인사이트 중심 분석으로 나아가야 한다.
분석의 가치는 양이나 도구가 아니라 비즈니스 핵심 문제와 얼마나 연결되는가에서 나온다.
- 같은 수준의 분석을 늘려도 전략적 시각이 생기지는 않는다.
- 도구 교체는 분석 효율을 높일 뿐 질문의 수준을 바꾸지 못한다.
- 일차원적 분석도 출발점으로 가치가 있어 모두 버릴 대상은 아니다.
(가) 머신러닝·통계 모델링 기법의 숙련
(나) 분석 결과를 시각화해 이야기로 전달하는 능력
(다) 다분야 전문가와의 협력과 소통
(라) 빅데이터 관련 기법과 이론에 대한 지식
(마) 문제를 새로운 관점으로 보는 창의적 사고
하드 스킬은 빅데이터에 대한 이론적 지식과 분석 기술의 숙련이므로 (가)와 (라)가 해당한다.
시각화·스토리텔링, 협력·소통, 창의적 사고는 통찰을 끌어내고 전달하는 소프트 스킬이다.
- (나)의 스토리텔링은 설득력 있는 전달 능력이라 소프트 스킬이다.
- (다)와 (마)는 둘 다 소프트 스킬이라 하드 스킬이 하나도 없다.
- (마)의 창의적 사고는 소프트 스킬이라 (라)와 묶을 수 없다.
· 6개월 안에 해지율 감소 성과를 보여야 한다.
· 분석 대상과 풀어야 할 문제가 이미 명확하다.
· 빠르게 실행해 눈에 보이는 성과(Quick-Win)를 먼저 얻으려 한다.
당면 문제를 빠르게 풀어 단기 성과를 내려는 상황이므로 과제 중심 접근이 맞고, 1차 목표는 신속한 실행과 검증(Speed & Test)이다.
과제 중심 접근은 Quick-Win 과 Problem Solving 이, 장기 마스터 플랜은 Accuracy & Deploy·지속적 분석 내재화와 Problem Definition 이 특징이다.
- 정확한 결과와 배포(Accuracy & Deploy)는 장기 마스터 플랜 접근의 1차 목표이다.
- 마스터 플랜은 중장기 관점이라 6개월 단기 성과 상황과 맞지 않는다.
- 마스터 플랜과 정확한 결과·배포 짝은 맞지만 이 상황의 접근이 아니다.
형식지가 된 경험과 양식을 단계·태스크·산출물 구조의 방법론 문서로 엮는 것은 체계화이다.
방법론은 개인의 암묵지를 형식지로 바꾸는 형식화, 이를 문서로 정리하는 체계화, 문서를 학습해 다시 암묵지로 익히는 내재화를 거쳐 만들어진다.
- 형식화는 개인 경험을 말과 글로 꺼내는 앞 단계로, 인터뷰 자체가 이에 가깝다.
- 내재화는 완성된 방법론을 구성원이 학습해 체화하는 뒤 단계이다.
- 공통화는 지식 전환 방식의 하나로 방법론 생성 단계가 아니다.
(가) 잡음·이상값·결측값을 찾아 정제한다.
(나) 분석 목적에 맞는 변수를 고르고 차원을 축소한다.
(다) 분석 목표에 맞는 데이터셋을 선택한다.
(라) 분류·군집 등의 기법을 적용해 패턴을 추출한다.
(마) 추출한 패턴을 해석·평가해 지식으로 활용한다.
KDD 는 데이터셋 선택→전처리(정제)→변환(변수 선택·차원 축소)→데이터 마이닝→해석·평가 순서로 진행한다.
정제로 품질을 확보한 뒤에 분석 목적에 맞게 변수를 줄이고 형태를 바꾸는 변환을 수행한다.
- 변수 선택·차원 축소를 정제보다 먼저 두면 전처리와 변환의 순서가 뒤바뀐다.
- 대상 데이터를 고르기 전에 정제부터 할 수는 없다.
- 변환은 마이닝을 위한 준비이므로 기법 적용 뒤에 올 수 없다.
데이터 확보 가능성과 분석 시스템·역량으로 구현할 수 있는지를 따지는 것은 하향식 접근 타당성 검토 단계의 데이터 및 기술적 타당성 검토이다.
타당성 검토를 통과한 대안은 분석 과제로 정의되고, 이후 마스터 플랜에서 우선순위 평가를 받는다.
- 경제적 타당성은 비용 대비 편익을 따지는 것이라 이 사례와 다르다.
- 문제 탐색은 해결 방안을 찾기 전 문제를 넓게 살피는 첫 단계이다.
- 타당성 검토는 과제 발굴 과정이므로 우선순위 평가보다 앞선다.
시스템을 새로 도입해야 하고 분석 역량도 없으므로 외부에 맡기는 전문 업체 소싱(Sourcing)이 적절하다.
해결방안 탐색은 분석 기법·시스템(기존/신규)과 분석 역량(확보/미확보)의 조합으로 방안을 정한다.
- 기존 시스템 개선 활용은 기존 시스템으로 되고 역량도 있을 때의 방안이다.
- 교육·채용은 기존 시스템으로 되지만 역량이 없을 때의 방안이다.
- 시스템 고도화는 신규 시스템이 필요하지만 역량은 갖췄을 때의 방안이다.
실제값과의 차이가 작은 A는 정확도(Accuracy)가, 반복 결과가 서로 가까운 B는 정밀도(Precision)가 높다.
정확도는 활용 측면, 정밀도는 안정성 측면의 지표이며 둘은 트레이드오프 관계인 경우가 많다.
- 두 지표를 서로 바꾼 평가는 정의를 거꾸로 적용한 것이다.
- A는 흩어짐이 커 정밀도에서는 B보다 낮다.
- B는 늘 실제값보다 크게 예측해 편향이 있으므로 정확도가 낮다.
| 과제 | 전략적 중요도(0.5) | 비즈니스 성과/ROI(0.3) | 실행 용이성(0.2) |
|---|---|---|---|
| P | 5 | 4 | 2 |
| Q | 4 | 4 | 4 |
| R | 3 | 5 | 4 |
가중 점수는 P 4.1, Q 4.0, R 3.8 이므로 P가 1위이며, 우선순위는 전략적 중요도·비즈니스 성과/ROI·실행 용이성을 함께 고려해 정한다.
, ,
- Q와 R의 차이는 0.4가 아니라 0.2이다.
- R은 1.5+1.5+0.8로 4.0이 아니라 3.8점이다.
- 단순 합계는 Q·R이 12로 1위라 가중 1위 P와 다르다.
분석 결과를 업무 프로세스에 얼마나 깊이 녹여 쓸지를 정하는 것은 업무 내재화 적용 수준이다.
적용 범위·방식은 업무 내재화, 분석 데이터 적용, 기술 적용 수준의 세 요소로 검토한다.
- 분석 데이터 적용 수준은 내부·외부 데이터 등 활용 데이터의 범위를 정한다.
- 기술 적용 수준은 분석 기술의 도입 범위와 방식을 정한다.
- 실행 용이성은 적용 범위·방식이 아니라 우선순위 고려 요소이다.
(가) 데이터 명명 규칙을 정하고 데이터 사전을 구축한다 — 데이터 표준화
(나) 표준 준수 여부를 주기적으로 점검·모니터링한다 — 표준화 활동
(다) 메타데이터 관리 원칙을 세우고 데이터 생명 주기를 관리한다 — 데이터 저장소 관리
(라) 데이터 관리자의 역할과 담당 조직을 지정한다 — 구성 요소 중 조직
명명 규칙·사전 구축은 데이터 표준화, 준수 점검은 표준화 활동, 관리자·담당 조직 지정은 구성 요소 중 조직에 해당하므로 (가), (나), (라)가 옳다.
메타데이터 관리 원칙 수립과 생명 주기 관리는 데이터 관리 체계이고, 저장소 관리는 메타데이터·표준을 담는 저장소와 워크플로를 관리하는 것이다.
- (다)를 포함한 조합은 관리 체계를 저장소 관리로 잘못 연결했다.
- (라)를 뺀 조합은 원칙·조직·프로세스 중 조직 연결을 놓쳤다.
- (가)를 뺀 조합은 표준화의 대표 활동을 빠뜨렸다.
과제 수행 단계는 팀 구성→분석 과제 실행→과제 진행 관리→결과 공유·개선 순서로 진행된다.
그 앞의 과제 발굴 단계는 아이디어 발굴→과제 후보 제안→과제 확정이며, 결과물은 분석 과제 풀로 관리해 다음 기획에 활용한다.
- 과제 실행은 팀을 꾸린 뒤에 이루어진다.
- 진행 관리는 실행 중 일정·품질을 관리하는 단계이다.
- 결과 공유·개선은 수행 단계의 마지막 활동이다.
• 두 모형의 시험 데이터 정확도는 모두 0.91 이다.
• 새로 수집한 데이터에 적용해도 두 모형 모두 성능 저하가 거의 없다.
• 모형 A 는 입력변수 15개, 모형 B 는 4개를 사용해 수집·운영 비용이 B 쪽이 훨씬 적다.
정확도와 일반화 성능이 같다면 더 적은 입력변수로 같은 성과를 내는 모형을 고르게 되므로, 근거는 효율성이다.
모형 평가는 일반화 가능성·효율성·예측과 분류의 정확성을 함께 본다. 세 조건 가운데 두 모형이 갈리는 것은 변수 수와 비용뿐이다.
- 일반화 가능성: 새 데이터에서 두 모형 모두 안정적이라 차이가 없다
- 예측의 정확성: 시험 정확도가 0.91 로 같아 근거가 되지 못한다
- 표본의 대표성: 표본 설계의 문제로 모형 평가 기준이 아니다
> f <- tempfile(fileext = ".csv")
> df <- data.frame(id = 1:3, g = c("a", "b", "c"))
> write.csv(df, f)
> d1 <- read.csv(f)
> d2 <- read.table(f, sep = ",")
> c(ncol(d1), nrow(d2))write.csv 는 기본으로 행 이름까지 저장하므로 read.csv 로 읽으면 X 열이 더해져 3열이 되고, read.table 은 header = FALSE 가 기본이라 제목 줄까지 데이터로 읽어 4행이 된다.
행 이름 저장을 막으려면 write.csv(df, f, row.names = FALSE) 로 쓰고, read.table 에는 header = TRUE 를 지정한다.
- 2 3: 행 이름 열과 제목 줄이 모두 빠졌다고 본 값
- 3 3: read.table 도 첫 줄을 열 이름으로 쓴다고 본 값
- 2 4: write.csv 가 행 이름을 저장하지 않는다고 본 값
> tg <- head(ToothGrowth, 4) > m <- as.matrix(tg) > typeof(m) > dim(m) > l <- as.list(tg) > length(l) > class(l$supp)
[1] "character" [1] 4 3 [1] 3 [1] "factor"
typeof(m) 출력이 "character" 이므로, 숫자 열과 factor 열이 섞인 데이터프레임을 as.matrix 로 바꾸면 모든 원소가 문자형으로 통일된다.
행렬은 한 가지 자료형만 담는 동질적 구조이고, 데이터프레임과 리스트는 원소마다 자료형이 다른 이질적 구조이다.
- len 열: 행렬 안에서는 한 열만 숫자형을 유지할 수 없다
- l 의 길이: length(l) 출력 3 은 행 수 4가 아니라 열 수이다
- supp: class(l$supp) 출력이 factor 로 그대로 남는다
> f <- factor(c("10", "9", "100", "9"))
> as.numeric(f)
> sub <- subset(InsectSprays, spray %in% c("A", "B"))
> nlevels(sub$spray)
> nlevels(droplevels(sub$spray))factor 의 수준은 문자 정렬 순서("10" "100" "9")로 매겨지므로 as.numeric 은 수준 코드 1 3 2 3 을 돌려주고, 부분집합을 뽑아도 수준은 6개 그대로이며 droplevels 를 거쳐야 2개가 된다.
원래 숫자를 얻으려면 as.numeric(as.character(f)) 처럼 문자로 먼저 바꾼다. 쓰지 않는 수준은 table 결과에도 0 칸으로 남는다.
- 10 9 100 9: 수준 코드가 아니라 원래 값이 나온다고 본 경우
- 2와 2: subset 만으로 빈 수준이 지워진다고 본 경우
- 1 2 3 2: 등장 순서대로 수준을 매긴다고 본 경우
> cnt <- aggregate(mpg ~ cyl, data = mtcars, FUN = length)
> names(cnt)[2] <- "n"
> ref <- data.frame(cyl = c(4, 6, 10), type = c("small", "mid", "huge"))
> m1 <- merge(cnt, ref)
> m2 <- merge(cnt, ref, all.x = TRUE)
> m1
> m2cyl n type 1 4 11 small 2 6 7 mid cyl n type 1 4 11 small 2 6 7 mid 3 8 14 <NA>
merge 의 기본값은 양쪽에 모두 있는 키만 남기는 내부 결합(INNER JOIN)이라 m1 에는 cyl 4·6 두 행만 남는다.
all.x = TRUE 는 SQL 의 LEFT JOIN 에 해당해 왼쪽 cnt 의 행을 모두 남기고, 짝이 없는 type 은 NA 로 채운다.
- RIGHT JOIN: 오른쪽 ref 를 모두 남기는 결합은 all.y = TRUE 이다
- cyl 8 행: ref 에 짝이 없어 type 이 NA 로 출력된다
- cyl 10 행: 왼쪽 cnt 에 없는 키라 m2 에 들어가지 않는다
상자그림에서는 울타리(Q1−1.5IQR, Q3+1.5IQR) 밖의 관측값만 개별 점으로 찍히며, 그림에서는 C 의 7과 D 의 12 두 값뿐이다.
C 는 Q1 1, Q3 3 으로 위 울타리가 6이라 7이 밖에 있고, D 는 상자가 좁아 12가 멀리 벗어난다. 수염은 울타리 안의 가장 먼 관측값까지만 그린다.
- 평균±3σ: ESD 기준이며 상자그림은 사분위수로 판정한다
- 수염 끝: 울타리 값이 아니라 울타리 안 실제 관측값이다
- 가로선: 평균이 아니라 중앙값을 나타낸다
| 지역 | X | Y | Z | 합계 |
|---|---|---|---|---|
| 인원(명) | 1,200 | 600 | 200 | 2,000 |
비례 배분은 층 크기 비율대로 표본을 나누므로 Y 는 30명이고, 계통추출 간격은 모집단 크기를 표본 크기로 나눈 20이다.
,
- 33명: 세 층에 똑같이 나눈 균등 배분으로 계산한 값
- 0.05: 간격이 아니라 표본추출 비율 n/N 이다
- 60명: X 지역(1,200명)의 비례 배분 표본 수이다
우편번호는 숫자로 적혀 있어도 지역을 구분하는 이름표일 뿐 크기나 간격에 의미가 없어 명목척도이다.
비율척도는 절대 0이 있어 두 값의 비율을 말할 수 있는 척도로 무게·길이·소득 등이 해당한다.
- 혈액형: 순서 없이 범주만 구분하는 명목척도이다
- 학점 등급: 순서는 있지만 등급 간 간격이 같지 않은 순서척도이다
- 서기 연도: 간격은 같지만 0년이 '없음'을 뜻하지 않는 구간척도이다
> ac <- droplevels(subset(InsectSprays, spray %in% c("A", "C")))
> shapiro.test(InsectSprays$count)
> tapply(ac$count, ac$spray, median)
> wilcox.test(count ~ spray, data = ac, exact = FALSE)Shapiro-Wilk normality test data: InsectSprays$count W = 0.9216, p-value = 0.0002525 A C 14.0 1.5 Wilcoxon rank sum test with continuity correction data: count by spray W = 143.5, p-value = 3.836e-05 alternative hypothesis: true location shift is not equal to 0
shapiro.test 출력의 p-value = 0.0002525 가 0.05 에 못 미치므로 정규분포라는 귀무가설을 기각한다.
그래서 t 검정 대신 순위를 쓰는 윌콕슨 순위합 검정을 적용했고, p-value = 3.836e-05 로 두 살충제의 분포 위치가 다르다고 판단한다.
- 평균 비교: 윌콕슨은 관측값의 순위로 위치(중앙값) 차이를 본다
- 위치가 같다: p값이 0.05 미만이라 차이가 없다는 귀무가설을 기각한다
- 정규성 전제: 분포 가정이 필요 없는 비모수 검정이다
95% 신뢰구간은 같은 방법으로 표본을 반복해 구간을 만들 때 그중 약 95%가 모평균을 포함한다는 뜻이다.
모평균은 고정된 값이고 구간이 표본에 따라 달라지는 확률변수이다. 구간 폭은 신뢰수준이 높을수록 넓고 표본이 클수록 좁다.
- 표본평균: 구간의 중심이 표본평균이라 항상 구간 안에 있다
- 99%로 상향: 임곗값이 커져 구간은 넓어진다
- 표본 크기 증가: 표준오차가 줄어 구간은 좁아진다
• 귀무가설 μ = 50, 대립가설 μ > 50, 모표준편차 10, 표본 크기 25
• 기각역: 표본평균이 54 이상
• 실제 모평균은 μ = 56 이라고 가정
• 표준정규 누적확률 Φ(1) = 0.8413, Φ(2) = 0.9772
표준오차가 2이므로 α 는 μ=50 일 때 표본평균이 54 이상일 확률 0.0228, 검정력은 μ=56 일 때 54 이상일 확률 0.8413이다.
, ,
- 0.1587: 대립가설이 참인데 기각하지 못하는 제2종 오류 확률 β 이다
- 0.0456: 단측 검정을 양측처럼 2배 한 값이다
- 0.9772: 귀무가설이 참일 때 기각하지 않을 확률 1−α 이다
그림에서 p = 0.5 가 되는 x 는 6이고 이때 로짓이 0이므로 β0 = −3이다. 기울기 0.5 는 x 가 1 늘 때 오즈가 약 1.65배가 됨을 뜻한다.
, 오즈비
- β0 = 3: 이항할 때 부호를 바꾸지 않아 생긴 값이다
- β0 = −6: p=0.5 인 x 값을 그대로 절편으로 읽은 값이다
- 0.5배: 회귀계수 자체를 오즈 배수로 잘못 읽은 값이다
L1 벌점을 쓰는 라쏘 회귀(Lasso)는 벌점이 커지면 일부 계수를 정확히 0으로 만들어 변수 선택이 함께 이루어진다.
릿지(Ridge)는 계수 제곱합인 L2 벌점으로 계수를 0에 가깝게 줄일 뿐 0으로 만들지 않으며, 두 벌점을 섞은 것이 엘라스틱넷이다.
- 릿지 회귀: L2 벌점이라 계수가 정확히 0이 되지 않는다
- 단계적 선택: 벌점이 아니라 AIC 등으로 변수를 넣고 뺀다
- 다항 회귀: 설명변수의 거듭제곱 항으로 곡선 관계를 적합한다
> fit <- lm(len ~ dose + supp, data = ToothGrowth) > summary(fit)
Call:
lm(formula = len ~ dose + supp, data = ToothGrowth)
Residuals:
Min 1Q Median 3Q Max
-6.600 -3.700 0.373 2.116 8.800
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 9.2725 1.2824 7.231 1.31e-09 ***
dose 9.7636 0.8768 11.135 6.31e-16 ***
suppVC -3.7000 1.0936 -3.383 0.0013 **
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 4.236 on 57 degrees of freedom
Multiple R-squared: 0.7038, Adjusted R-squared: 0.6934
F-statistic: 67.72 on 2 and 57 DF, p-value: 8.716e-16dose 행의 Pr(>|t|) 값 6.31e-16 이 0.05 에 못 미치므로 dose 의 회귀계수는 유의하다.
범주형 supp 은 첫 수준 OJ 를 기준으로 한 가변수 suppVC 로 들어가며, 계수 −3.70 은 같은 dose 에서 VC 의 len 이 OJ 에 비해 3.7 작다는 뜻이다.
- VC 가 크다: suppVC 계수가 음수이므로 반대이다
- 기준 범주: 계수 행에 suppVC 만 있으니 기준은 OJ 이다
- 자유도: Residual standard error 줄의 57 degrees of freedom 이 잔차 자유도이다
정상성은 평균과 분산이 시점에 관계없이 일정하고, 자기공분산이 시점이 아니라 시차(lag)에만 의존하는 성질이다.
추세가 있으면 차분, 분산이 커지면 로그 변환으로 정상성에 가깝게 만든 뒤 모형을 적합한다.
- 시작 시점: 시점에 따라 공분산이 바뀌면 비정상 시계열이다
- 평균 수준: 정상 시계열에서 평균은 일정한 상수일 뿐이다
- 관측 개수: 자료 길이는 공분산의 정의와 관계가 없다
계절 변동 폭이 추세 수준에 비례해 커지면 성분을 곱으로 결합한 승법 모형이 맞다.
가법 모형 는 계절 폭이 일정할 때, 승법 모형 는 폭이 수준과 함께 커질 때 쓰며 로그를 취하면 가법 형태가 된다.
- 가법 분해 모형: 계절 진폭이 시간에 걸쳐 일정할 때 쓴다
- 백색잡음 모형: 평균 0·자기상관 없는 순수 불규칙 과정이다
- 확률보행 모형: 직전 값에 잡음이 더해지는 비정상 과정이다
스크리 플롯은 주성분 번호별 고유값을 이은 그래프로, 기울기가 급하다가 완만해지는 꺾임점(elbow) 앞까지의 주성분을 택한다.
꺾임점 뒤의 주성분은 설명하는 분산이 작아 추가 이득이 적다. 누적 기여율·고유값 1 기준과 함께 판단하기도 한다.
- 고유값 0: 고유값이 0이 되는 일은 드물고 개수 결정 기준도 아니다
- 적재값 부호: 부호는 해석 방향일 뿐 개수 결정과 무관하다
- 상관계수 최댓값: PCA 의 입력 정보일 뿐 개수 기준이 아니다
> pc <- princomp(mtcars[, c("mpg", "hp", "wt", "qsec")], cor = TRUE)
> summary(pc)
> loadings(pc)Importance of components:
Comp.1 Comp.2 Comp.3 Comp.4
Standard deviation 1.687557 0.9619487 0.36876840 0.30135797
Proportion of Variance 0.711962 0.2313363 0.03399753 0.02270416
Cumulative Proportion 0.711962 0.9432983 0.97729584 1.00000000
Loadings:
Comp.1 Comp.2 Comp.3 Comp.4
mpg 0.551 0.269 0.525 0.591
hp -0.554 0.210 0.763 -0.257
wt -0.492 -0.537 0.685
qsec 0.384 -0.772 0.376 -0.341
Comp.1 Comp.2 Comp.3 Comp.4
SS loadings 1.00 1.00 1.00 1.00
Proportion Var 0.25 0.25 0.25 0.25
Cumulative Var 0.25 0.50 0.75 1.00Loadings 의 Comp.1 열에서 mpg 는 0.551, hp 는 −0.554 로 부호가 반대이므로 제1주성분은 연비와 마력이 서로 반대 방향인 축이다.
주성분 2개의 누적 기여율은 Cumulative Proportion 의 Comp.2 값 0.943 이고, 고유값은 Standard deviation 의 제곱이다.
- 0.71: Comp.1 하나의 기여율이며 두 개 누적은 0.943 이다
- 1.69: 표준편차이며 고유값은 이다
- wt 의 빈칸: 절댓값 0.1 미만이라 출력을 생략한 것일 뿐 0이 아니다
로지스틱 회귀, k-평균 군집, 의사결정나무, Apriori 연관규칙, k-최근접 이웃(k-NN), 자기조직화 지도(SOM), 서포트 벡터 머신, 랜덤포레스트
목표변수(라벨)를 학습에 쓰는 지도 학습은 로지스틱 회귀·의사결정나무·k-NN·SVM·랜덤포레스트 5개, 라벨 없이 구조를 찾는 비지도 학습은 k-평균·Apriori·SOM 3개이다.
k-NN 은 이웃의 정답 라벨로 분류하므로 지도 학습이고, SOM 은 신경망 구조이지만 라벨 없이 군집을 만드는 비지도 학습이다. 로 목록 전체와 맞는다.
- 4개, 4개: k-NN 을 군집 기법처럼 보고 비지도로 센 값
- 6개, 2개: 신경망인 SOM 을 지도 학습으로 센 값
- 3개, 5개: 지도와 비지도의 개수를 뒤바꾼 값
실제 음성 중 음성으로 맞힌 비율은 특이도(Specificity)로 TN/(TN+FP) 이다.
재현율(민감도)은 실제 양성을, 정밀도는 양성 예측을 분모로 삼아 기준 집단이 다르다.
- 재현율: 실제 양성 중 양성으로 맞힌 비율 TP/(TP+FN) 이다
- 정밀도: 양성으로 예측한 것 중 실제 양성의 비율이다
- 정확도: 전체 관측치 중 맞게 분류한 비율이다
| 임곗값 | 양성으로 예측한 실제 양성 수 | 양성으로 예측한 실제 음성 수 |
|---|---|---|
| 0.8 | 4 | 1 |
| 0.5 | 8 | 3 |
| 0.3 | 10 | 7 |
ROC 곡선의 x 축은 1−특이도(FPR), y 축은 민감도(TPR)이므로 임곗값 0.5 의 점은 (3/10, 8/10) 이다.
, . 임곗값을 낮출수록 두 값이 함께 커져 점이 오른쪽 위로 움직인다.
- (0.80, 0.30): x 축과 y 축을 뒤바꾼 좌표
- (0.70, 0.80): x 에 FPR 대신 특이도 7/10 을 넣은 값
- (0.30, 0.73): y 에 재현율 대신 정밀도 8/11 을 넣은 값
커널 함수로 고차원 공간의 내적을 직접 계산해, 실제로 변환하지 않고도 비선형 경계를 만드는 방법이 커널 트릭이다.
SVM 은 두 클래스 사이 마진을 최대화하는 초평면을 찾으며, 가우시안(RBF)·다항 커널이 자주 쓰인다.
- 라플라스 스무딩: 나이브 베이즈에서 빈도 0 문제를 막는 보정이다
- 비용 복잡도 가지치기: 의사결정나무의 과적합을 줄이는 방법이다
- 부트스트랩 집계: 여러 모형을 결합하는 배깅 앙상블이다
> fit <- glm(am ~ wt, data = mtcars, family = binomial) > pred <- ifelse(fitted(fit) > 0.5, 1, 0) > table(pred = pred, actual = mtcars$am)
actual pred 0 1 0 18 2 1 1 11
출력은 행이 예측(pred), 열이 실제(actual)이므로 특이도는 실제 0 열 기준 18/19, 정밀도는 예측 1 행 기준 11/12 이다.
특이도 , 정밀도
- 18/20, 11/13: 행과 열을 바꿔 음성 예측도와 재현율을 구한 값
- 11/13, 18/19: 재현율을 특이도 자리에, 특이도를 정밀도 자리에 둔 값
- 18/20, 11/12: 특이도 분모를 예측 0 행의 합으로 잡은 값
cp 는 분할로 얻는 적합도 개선이 그 값에 못 미치면 분할하지 않게 하는 정지 기준이라, 값을 키울수록 나무가 작아진다.
사후 가지치기는 printcp 의 교차검증 오차 xerror 가 작은 cp 를 골라 prune(fit, cp = 값) 으로 한다.
- cp 0: 개선 기준이 없어져 오히려 나무가 가장 크게 자란다
- rel error: 훈련 오차라 분할할수록 줄어 과적합 쪽 cp 를 고르게 된다
- 범주 수: cp 는 복잡도 벌점 계수로 범주 수와 관계없다
변수 값을 뒤섞어 OOB 정확도가 크게 떨어질수록 그 변수가 중요하다고 보는 지표가 MeanDecreaseAccuracy이다.
MeanDecreaseGini 는 그 변수로 분할할 때 줄어든 지니 불순도의 합을 나무 전체에서 평균한 값이다.
- MeanDecreaseGini: 뒤섞기가 아니라 분할 시 불순도 감소로 계산한다
- OOB 오차율: 모형 전체의 성능 추정치로 변수별 지표가 아니다
- 향상도: 연관규칙·이익도표의 지표로 변수 중요도가 아니다
검증 오차가 다시 커지는 것은 훈련 데이터의 잡음까지 외우는 과적합 신호이므로, 검증 오차가 가장 작을 때 멈추는 조기 종료(Early Stopping)가 적절하다.
그 밖에 은닉 노드 축소나 가중치 감소(Weight Decay) 같은 규제로도 모형 복잡도를 낮춘다.
- 에포크 증가: 검증 오차가 더 커져 과적합이 심해진다
- 은닉층·노드 추가: 모형 복잡도가 커져 과적합 위험이 늘어난다
- 학습률 상향: 수렴이 불안정해질 뿐 과적합 해결책이 아니다
| A | B | C | D | |
|---|---|---|---|---|
| A | 0 | |||
| B | 2 | 0 | ||
| C | 6 | 4 | 0 | |
| D | 10 | 9 | 5 | 0 |
단일연결은 군집 간 최단 거리, 완전연결은 최장 거리를 쓰므로 두 번째 병합은 각각 {A,B}와 C, C와 D 이다.
단일연결 , 완전연결
- 순서를 바꾼 짝: 단일과 완전의 거리 규칙을 뒤바꿔 적용한 결과
- 둘 다 {A,B}와 C: 완전연결에서도 최단 거리 4를 쓴 경우
- 둘 다 C와 D: 단일연결에서도 최장 거리 6을 쓴 경우
ㄱ. 군집 수 k 를 분석 전에 정해야 한다.
ㄴ. 한 번 배정된 관측치도 반복 과정에서 다른 군집으로 옮겨 갈 수 있다.
ㄷ. 군집 중심을 평균으로 계산하므로 이상값에 둔감하다.
ㄹ. 엘보(Elbow) 방법은 k 에 따른 군집 내 제곱합의 감소가 완만해지는 지점을 고른다.
k 사전 지정, 반복 중 재배정, 엘보 방법 설명은 옳고 평균 중심은 극단값에 끌려가 이상값에 민감하므로 답은 ㄱ, ㄴ, ㄹ이다.
k-평균은 배정과 중심 갱신을 반복해 소속이 바뀔 수 있으며, 이상값이 많으면 실제 관측치를 중심으로 쓰는 k-메도이드(PAM)가 대안이다.
- ㄱ, ㄷ: 틀린 ㄷ을 넣고 옳은 ㄴ·ㄹ을 뺐다
- ㄴ, ㄷ, ㄹ: k 를 미리 정해야 한다는 옳은 ㄱ을 뺐다
- ㄱ, ㄴ, ㄷ, ㄹ: 이상값 민감성을 반대로 기술한 ㄷ까지 넣었다
전체 거래 중 품목 A 가 포함된 비율은 0.4, B 가 포함된 비율은 0.5, A 와 B 가 함께 포함된 비율은 0.3 이다.
향상도는 신뢰도를 B 의 지지도로 나눈 값으로 1.5이며, 1에 비해 크므로 A 와 B 는 함께 구매되는 양의 연관이 있다.
, . 향상도는 방향과 무관해 B→A 도 1.5 이다.
- 60%: A→B 신뢰도는 0.75 이며 0.6 은 B→A 신뢰도이다
- B→A 향상도: 로 A→B 와 같다
- 지지도 0.2: 두 비율을 곱한 독립 가정 값이며 실제 지지도는 0.3 이다
| 거래 | 품목 |
|---|---|
| T1 | 빵, 우유, 잼 |
| T2 | 우유, 커피 |
| T3 | 빵, 커피, 우유 |
| T4 | 커피, 콜라 |
| T5 | 잼, 우유 |
| T6 | 우유, 빵, 커피 |
FP-Growth 는 먼저 3건 미만인 잼(2)·콜라(1)를 지우고 남은 품목을 지지도 내림차순(우유 5, 커피 4, 빵 3)으로 정렬해 넣으므로 T1 은 우유-빵, T3 는 우유-커피-빵이다.
공통 접두 경로를 공유해 거래를 압축하므로 Apriori 와 달리 후보 집합을 생성하지 않는다.
- 우유-빵-잼: 최소 지지도에 못 미치는 잼을 지우지 않았다
- 빵-우유: 빈도 오름차순으로 정렬해 순서가 뒤집혔다
- 커피-우유-빵: 우유(5)가 커피(4)에 비해 빈도가 높아 앞에 와야 한다