(가) 매장 출입 센서가 기록한 '14시 방문객 132명'은 해석 이전의 객관적 사실이다.
(나) 지난 3년간의 기온·판매량 기록을 근거로 다음 주 아이스크림 발주량을 추정했다.
(다) 설문의 '매우 만족' 응답처럼 수치가 아닌 기록도 데이터가 될 수 있다.
(라) 혈압 측정 기록을 근거로 환자의 향후 뇌졸중 위험을 전망했다.
데이터의 당위적 특성은 추론·예측·전망·추정을 위한 근거(Basis)로 쓰이는 성질이므로 발주량 추정과 뇌졸중 위험 전망이 해당한다.
반면 존재적 특성은 데이터가 객관적 사실(Fact) 그 자체라는 성질로, 가공 이전의 기록을 가리킨다.
- 방문객 수 기록: 객관적 사실 자체이므로 존재적 특성이다.
- 설문 응답 기록: 정성 데이터의 예시일 뿐 근거로 활용한 사례가 아니다.
- 존재적 사례나 정성 데이터 예시를 섞은 조합은 모두 틀렸다.
열 값과 레코드 위치를 정렬해 두고 검색 속도를 높이는 구조는 인덱스이다.
인덱스는 조회를 빠르게 하는 대신 삽입·수정 때 갱신 부담과 저장 공간이 늘어나는 비용이 있다.
- 메타데이터: 데이터의 구조·의미·출처 등을 설명하는 데이터에 관한 데이터이다.
- 뷰: 기본 테이블에서 유도한 가상 테이블로 검색 구조가 아니다.
- 트랜잭션: 전부 수행되거나 전부 취소되는 하나의 논리적 작업 단위이다.
(가) 도로의 차량 흐름을 실시간 수집해 신호 주기와 우회 경로 정보를 제공한다 — ITS
(나) 수출입 신고·통관 서류를 표준화된 전자문서로 기관 간에 교환한다 — EDI
(다) 통신 회선을 빌려 정보의 축적·변환 기능을 덧붙여 제공하는 망 서비스 — LBS
(라) 지도 좌표에 인구·상권 속성 정보를 결합해 점포 입지를 분석한다 — CALS
교통 흐름 수집·제공은 지능형 교통 시스템(ITS), 표준 전자문서 교환은 전자문서교환(EDI)이므로 앞의 두 연결만 옳다.
정보 축적·변환 기능을 덧붙인 통신망은 부가가치통신망(VAN), 좌표에 속성을 결합한 공간 분석은 지리정보시스템(GIS)이다.
- LBS는 위치 기반 서비스로, 통신망 사업 형태인 VAN과 다르다.
- CALS는 제품 수명 주기 정보를 공유하는 물류·조달 정보화 체계이다.
- 잘못 연결된 망 서비스나 입지 분석 사례를 포함한 조합은 틀렸다.
데이터에 더해 저장·처리·분석 기술과 아키텍처까지 포함했으므로 중간 범위의 정의에 해당한다.
좁은 범위는 규모·다양성·속도(3V) 같은 데이터 자체의 특성만 보고, 넓은 범위는 이를 다룰 인재와 조직의 변화까지 포함한다.
- 데이터 자체에 한정한 정의는 기술·아키텍처를 언급하지 않는다.
- 인재·조직 변화까지 포함하려면 데이터 사이언티스트와 조직 문화 변화가 들어가야 한다.
- 빅데이터는 다양성(Variety)이 핵심이라 정형 데이터에 한정하지 않는다.
정부는 빅데이터로 환경 탐색·상황 분석·미래 대응을 하며, 재난을 미리 감지해 정책을 세우는 것은 미래 사회 대응 능력 강화에 해당한다.
빅데이터의 영향은 주체에 따라 기업·정부·개인으로 나누어 정리하며, 사례의 주체와 효과를 함께 맞춰 보아야 한다.
- 생산성 향상과 원가 절감: 기업이 얻는 효과이다.
- 맞춤형 소비 기회: 개인이 목적에 따라 활용해 얻는 효과이다.
- 혁신 수단 확보: 경쟁력을 높이려는 기업의 효과이다.
(가) 택배 차량 수십 대의 배송 경로 후보를 교배·변이시키며 세대를 거듭해 최적 경로를 찾는다 — 유전 알고리즘
(나) 상품 후기 문장에서 긍정·부정 표현을 판별해 신제품 반응을 파악한다 — 감정 분석
(다) 사용자 간 팔로우 관계를 분석해 영향력이 큰 사용자를 찾는다 — 유형분석
(라) 광고비와 기온이 아이스크림 매출에 미치는 영향의 크기를 추정한다 — 회귀분석
경로 후보를 교배·변이시키는 것은 유전 알고리즘, 후기 문장의 긍·부정 판별은 감정 분석, 변수 영향 크기 추정은 회귀분석이므로 세 연결이 옳다.
사용자 간 관계로 영향력자를 찾는 것은 소셜 네트워크 분석이다.
- 유형분석은 새 사례를 기존 범주로 분류할 때 쓰므로 관계망 분석과 다르다.
- 관계망 사례를 포함한 조합은 모두 틀렸다.
- 회귀분석 사례를 빠뜨린 조합은 옳은 연결 하나를 놓친다.
잘못된 지표로 학습된 알고리즘이 부당한 불이익을 준 것은 데이터 오용이며, 통제 방안은 피해자가 판단 근거를 확인할 수 있게 하는 알고리즘 접근 허용이다.
이때 알고리즘을 해석해 피해자를 대변하고 구제하는 전문 인력이 알고리즈미스트(Algorithmist)이다.
- 결과 기반 책임: 예측만으로 처벌하는 책임 원칙 훼손의 통제 방안이다.
- 책임 원칙 훼손: 일어나지 않은 행동을 예측해 불이익을 주는 위험이다.
- 동의에서 책임으로: 사생활 침해에 대한 통제 방안이다.
분석의 양이 아니라 비즈니스 핵심 가치와 시장 변화를 짚는 전략적 통찰이 경쟁력을 좌우한다는 것이 교훈이다.
업무 효율화 중심의 일차원적 분석은 아무리 쌓여도 사업 방향을 바꾸는 전략으로 이어지지 않는다.
- 리포트 종류 확대: 분석량을 늘리는 것이라 근본 원인을 짚지 못한다.
- 부서별 효율화 분석: 일차원적 분석의 한계를 그대로 반복한다.
- 저장 인프라 확충: 데이터 처리 역량이 문제의 원인이 아니었다.
스토리텔링·커뮤니케이션·설득력·협력처럼 사람과 소통하는 능력은 소프트 스킬(Soft Skill)에 속한다.
가트너는 데이터 관리, 분석 모델링, 비즈니스 분석, 소프트 스킬을 역량으로 제시했으며 스토리텔링은 분석 결과를 행동으로 잇는 핵심이다.
- 데이터 관리: 데이터를 수집·저장·가공하는 기술 역량이다.
- 분석 모델링: 통계·기계학습 모형을 세우는 역량이다.
- 비즈니스 분석: 업무를 이해하고 분석 과제로 연결하는 역량이다.
복잡해진 연결을 사람 대신 효과적으로 관리해 주는 능력이 가치가 되는 단계는 에이전시(Agency)이다.
가치 패러다임은 아날로그를 디지털로 바꾸는 디지털화(Digitalization)에서 정보를 잇는 연결(Connection)을 거쳐 에이전시로 이동한다.
- 디지털화: 운영체제·워드프로세서처럼 디지털화 자체가 가치이던 단계이다.
- 연결: 검색 엔진처럼 디지털 정보를 연결해 주는 것이 가치이던 단계이다.
- 자동화: 가치 패러다임의 세 단계에 포함되지 않는다.
분석 기획에서는 비용 대비 효과, 현업의 이해와 사용 용이성, 조직 역량 같은 장애 요소를 미리 고려해야 하므로 정확도만으로 적용이 보장된다는 판단은 틀렸다.
기획 시 고려 요소는 가용 데이터, 적절한 유스케이스, 분석 수행의 장애 요소 세 가지이다.
- 정형·비정형 여부 확인: 데이터 유형에 따라 기술과 방법이 달라지므로 가용 데이터 고려에 해당한다.
- 유사 사례 참고: 기존 유스케이스를 활용하는 적절한 판단이다.
- 교육·변화 관리 계획: 일회성 분석을 넘어 장애 요소를 줄이는 방안이다.
주기를 반복하며 점진적으로 확장하고 주기마다 위험 분석을 거치는 것은 나선형 모델이며, 관리 체계가 없으면 반복 과정의 복잡도가 커질 수 있다.
방법론은 절차, 방법, 도구와 기법, 템플릿과 산출물로 구성되며 상황에 맞추어 폭포수·프로토타입·나선형 모델을 고른다.
- 폭포수 모델: 단계를 순차 진행하며 되돌아가려면 비용이 커 반복 확장에 맞지 않는다.
- 프로토타입 모델: 요구가 불명확할 때 시제품으로 빠르게 확인한다.
- 나선형 모델의 핵심이 위험 분석이므로 이를 생략한다는 설명은 틀렸다.
필요 데이터 정의, 데이터 스토어 설계, 데이터 수집 및 정합성 점검은 데이터 준비 단계의 태스크이다.
빅데이터 분석 방법론은 단계(Phase)·태스크(Task)·스텝(Step)의 계층으로 구성되며 분석 기획→데이터 준비→데이터 분석→시스템 구현→평가 및 전개의 5단계로 진행된다.
- 분석 기획: 비즈니스 이해와 범위 설정, 프로젝트 계획과 위험 계획을 수립한다.
- 데이터 분석: 분석용 데이터 준비, 탐색적 분석, 모델링과 모델 평가를 한다.
- 평가 및 전개: 모델 발전 계획 수립과 프로젝트 평가 보고를 한다.
문제를 먼저 정하지 않고 데이터에서 패턴을 찾아 과제를 도출하는 것은 상향식 접근(Bottom-up)이며, 정답 레이블 없이 군집을 찾으므로 비지도 학습을 활용한 것이다.
상향식 접근은 디자인 사고의 발산(Diverge) 단계에 해당하고, 하향식 접근은 수렴(Converge) 단계에 해당한다.
- 하향식 접근: 문제를 먼저 정의하고 해결 방안을 찾는 방식이다.
- 문제가 명확할 때는 하향식이 적합하고, 상향식은 문제 정의가 어려울 때 쓴다.
- 수렴 단계: 하향식 접근에 대응하는 단계이다.
다른 상품·서비스로 같은 욕구를 충족시켜 기존 수요를 빼앗을 수 있는 대상은 대체재(Substitute) 영역이다.
경쟁자 확대 관점은 대체재, 경쟁자, 신규 진입자 영역으로 나누어 위협과 기회를 탐색한다.
- 신규 진입자: 같은 시장에 새로 들어오려는 잠재 사업자이다.
- 경쟁자: 같은 상품·서비스를 제공하는 기존 사업자이다.
- 영향자: 시장 니즈 탐색 관점에서 의사결정에 영향을 주는 주주·투자자·협회 등이다.
(가) 결과물이 보고서인지 시스템인지에 따라 작업 규모가 크게 달라지므로 결과물 형태를 초기에 명확히 한다.
(나) 개념 검증(PoC)을 외부 업체에 맡기거나 데이터를 외부에서 구매할 때 제안요청서(RFP)와 계약을 관리한다.
(다) 데이터 확보와 탐색이 예상보다 길어지기 쉬우므로 정해진 기간 안에서 반복하는 타임박싱(Time Boxing)으로 관리한다.
(라) 데이터 미확보·보안·라이선스 문제를 사전에 식별하고 대응 방안을 마련한다.
결과물 형태에 따른 작업 규모는 범위, 외부 위탁·구매 계약은 조달, 타임박싱은 시간, 데이터 미확보 등 위험 대응은 리스크 관리에 해당한다.
분석 프로젝트는 데이터 특성상 범위가 자주 바뀌고 일정이 지연되기 쉬워 일반 프로젝트에 비해 이 영역들의 관리가 중요하다.
- 원가: 외부 데이터 구매 비용 등 예산을 다루며 계약 절차 관리와 구분된다.
- 품질: 품질 통제와 품질 보증으로 결과물 수준을 관리한다.
- 자원·통합: 인력 확보나 전체 프로세스 연계를 다루므로 해당하지 않는다.
| 과제 | 시급성 | 난이도 |
|---|---|---|
| P 고객 이탈 예측 | 현재 | 어려움 |
| Q 재고 리포트 자동화 | 현재 | 쉬움 |
| R 신사업 수요 예측 | 미래 | 어려움 |
| S 내부 문서 자동 분류 | 미래 | 쉬움 |
현재 시급하지만 어려운 P(Ⅰ사분면)는 데이터 양·범위 등을 조정해 난이도를 낮추면 가장 우선인 Ⅲ사분면(Q 영역)으로 옮겨 추진할 수 있다.
가장 먼저 추진할 과제는 시급하고 쉬운 Q(Ⅲ사분면)이고, 가장 나중은 미래 과제이면서 어려운 R(Ⅱ사분면)이다.
- P는 어려워 바로 적용하기 힘들므로 첫 순위가 아니다.
- 쉬운 S는 시급성이 낮을 뿐 가장 후순위인 R보다 앞선다.
- 시급성은 비즈니스 효과(Value), 난이도가 투자비용(3V) 요소이다.
로드맵은 우선순위 평가 결과에 적용 범위·방식(업무 내재화·분석 데이터·기술 적용 수준)을 함께 고려해 정하므로, 1위 과제도 뒤 단계에 놓일 수 있다.
분석 마스터 플랜은 정보전략계획(ISP)처럼 과제를 도출하고 우선순위를 평가해 단기·중장기 로드맵을 세우는 계획이다.
- 우선순위만으로 단계를 기계적으로 정하지 않는다.
- 로드맵은 우선순위 평가와 범위·방식 검토 뒤에 확정한다.
- ISP는 정보시스템 전반의 계획이라 분석 과제 중심 계획을 대신하지 못한다.
준비도는 높고 성숙도는 낮아 바로 분석을 도입할 수 있는 기업은 도입형이다.
준비도와 성숙도를 두 축으로 준비형(모두 낮음), 정착형(준비도 낮음·성숙도 높음), 도입형, 확산형(모두 높음)으로 나눈다.
- 준비형: 분석을 위한 사전 준비가 필요한 유형이다.
- 정착형: 준비도는 낮지만 제한적으로 분석을 쓰고 있어 정착이 우선이다.
- 확산형: 구성 요소를 모두 갖추고 지속적 확산이 필요한 유형이다.
· 분석 전담 조직의 인력을 각 현업 부서에 배치해 분석 업무를 수행한다.
· 전사 차원의 우선순위에 따라 분석을 진행하고 결과를 현업에 신속히 적용할 수 있다.
· 부서 분석 업무와 역할 분담이 명확하지 않으면 업무 과다와 이원화가 생길 수 있다.
전담 조직 인력을 현업 부서에 배치하고 전사 우선순위로 분석해 신속히 적용하는 구조는 분산형이다.
분산형은 베스트 프랙티스 공유가 쉽지만, 역할 분담이 불명확하면 업무가 이원화될 수 있다.
- 집중형: 별도 전담 조직이 전사 분석을 맡아 현업 부서와 업무가 이중화될 수 있다.
- 기능형: 별도 분석 조직 없이 각 부서가 자체 분석해 전사 관점의 핵심 분석이 어렵다.
- 위탁형: 분석 조직 구조의 세 유형에 포함되지 않는다.
원자료를 로그·제곱근·역수 등으로 변환하여 분포의 대칭성, 변수 간 관계의 선형성, 분산의 안정성을 높이고 해석을 쉽게 한다.
변수를 변환해 분석과 해석을 쉽게 만드는 원칙은 재표현(Re-expression)이다.
EDA 는 저항성·잔차 해석·재표현·현시성의 네 주제로 자료를 먼저 들여다보며, 로그 변환으로 치우친 분포를 대칭에 가깝게 만드는 것이 재표현의 전형이다.
- 저항성: 일부 이상값에 크게 흔들리지 않는 성질(중앙값 등)
- 잔차 해석: 적합 후 남은 잔차를 살펴 패턴을 찾는 일
- 현시성: 그래프 등으로 자료 구조를 시각적으로 드러내는 일
> a <- 10; b <- c(1, 2); f <- function(n) n * 2 > rm(list = setdiff(ls(), "f")) > length(ls()) > f(3)
ls() 로 얻은 객체 이름 중 "f" 만 빼고 지우므로 작업공간에는 함수 f 하나가 남아 길이는 1, f(3) 은 6이다.
setdiff(ls(), "f") 는 "a", "b" 를 돌려주고, rm(list = …) 은 그 이름의 객체만 삭제한다. 함수도 객체이므로 ls() 목록에 포함된다.
- 0, 6: f 까지 지워졌다고 본 값(f 는 삭제 대상에서 제외)
- 3, 6: rm 이 실행되지 않았다고 본 값
- 0, 오류: 함수가 지워졌다고 본 경우로 f 는 남아 호출된다
> x <- c(3, NA, 7) > mean(x) > mean(x, na.rm = TRUE) > sum(is.na(x)) > length(x)
is.na(x)는 결측 위치만 TRUE인 논리 벡터이고 TRUE는 합산 시 1로 계산되므로 sum(is.na(x))는 1이다.
NA가 포함된 벡터의 mean은 NA를 반환하며, na.rm = TRUE를 주어야 결측을 제외한 평균 5가 나온다.
- mean(x)는 결측 때문에 5가 아니라 NA를 돌려준다.
- length는 NA도 원소로 세므로 3이다.
- na.rm = TRUE를 주면 NA가 아니라 (3+7)/2 = 5가 나온다.
> td <- as.data.frame(Titanic) > str(td) > td[3, "Freq"] > head(td[["Sex"]], 3) > class(td["Freq"])
'data.frame': 32 obs. of 5 variables: $ Class : Factor w/ 4 levels "1st","2nd","3rd",..: 1 2 3 4 1 2 3 4 1 2 ... $ Sex : Factor w/ 2 levels "Male","Female": 1 1 1 1 2 2 2 2 1 1 ... $ Age : Factor w/ 2 levels "Child","Adult": 1 1 1 1 1 1 1 1 2 2 ... $ Survived: Factor w/ 2 levels "No","Yes": 1 1 1 1 1 1 1 1 1 1 ... $ Freq : num 0 0 35 0 0 0 17 0 118 154 ... [1] 35 [1] Male Male Male Levels: Male Female [1] "data.frame"
str 출력 첫 줄 32 obs. of 5 variables 로 td 가 32행 5열 데이터프레임임을 알 수 있다.
단일 대괄호 td["Freq"] 는 열 하나짜리 데이터프레임을, 이중 대괄호 td[["Sex"]] 는 열 자체(factor 벡터)를 꺼낸다.
- td["Freq"]: class 출력이 data.frame 이므로 벡터가 아니다
- td[["Sex"]]: Levels 줄이 붙은 factor 벡터로 출력된다
- Class: str 의 Factor w/ 4 levels 줄에서 수준은 4개이다
> aggregate(weight ~ group, data = PlantGrowth, FUN = mean) > table(PlantGrowth$weight > 5, PlantGrowth$group)
group weight
1 ctrl 5.032
2 trt1 4.661
3 trt2 5.526
ctrl trt1 trt2
FALSE 4 8 1
TRUE 6 2 9aggregate 출력의 weight 열에서 trt2(5.526)가 가장 커 평균이 가장 큰 집단은 trt2이다.
table 출력은 행이 weight > 5 의 FALSE/TRUE, 열이 집단이므로 TRUE 행이 5 초과 개수이다.
- trt1 과 ctrl: trt1 평균 4.661 이 ctrl 5.032 보다 작다
- ctrl 5 초과: TRUE 행 ctrl 은 6이며 4는 FALSE 행 값이다
- 관측치 수: 각 열의 FALSE+TRUE 합이 모두 10으로 같다
다음은 women 자료의 구조와 요약 통계를 R 로 확인한 결과이다.
> str(women) 'data.frame': 15 obs. of 2 variables: $ height: num 58 59 60 61 62 63 64 65 66 67 ... $ weight: num 115 117 120 123 126 129 132 135 139 142 ... > summary(women$weight) Min. 1st Qu. Median Mean 3rd Qu. Max. 115.0 124.5 135.0 136.7 148.0 164.0
IQR 은 3사분위수에서 1사분위수를 뺀 23.5이고, 평균이 중앙값보다 커 오른쪽 꼬리가 긴 분포로 판단한다.
, 평균 136.7 이 중앙값 135.0 보다 크므로 양의 왜도 쪽이다.
- 49.0: 최댓값−최솟값인 범위를 구한 값
- 왼쪽 꼬리: 평균이 중앙값보다 작을 때의 판단이다
- 11.75: IQR 을 2로 나눈 사분편차를 구한 값
· 일정한 시간·면적 안에서 드물게 일어나는 사건의 발생 횟수를 나타낸다.
· 확률변수는 0, 1, 2, … 의 음이 아닌 정수 값을 갖는다.
· 기댓값과 분산이 같은 하나의 모수로 결정된다.
단위 구간의 드문 사건 발생 횟수를 다루고 평균과 분산이 모두 λ인 분포는 포아송분포이다.
이항분포에서 시행 횟수가 크고 성공 확률이 작으면 포아송분포로 근사되며, 콜센터 시간당 문의 건수 등이 대표 예이다.
- 이항분포: 시행 횟수 n 이 정해져 있고 분산 np(1−p) 가 평균보다 작다
- 초기하분포: 유한 모집단에서 비복원추출할 때의 성공 횟수 분포
- 지수분포: 사건 사이 대기 시간을 다루는 연속형 분포이다
학생 5명의 두 시험 점수이다.
| 학생 | 가 | 나 | 다 | 라 | 마 |
|---|---|---|---|---|---|
| X | 10 | 20 | 30 | 40 | 50 |
| Y | 12 | 8 | 15 | 30 | 21 |
각 변수를 순위로 바꾼 뒤 순위 차 제곱합을 공식에 넣으면 스피어만 상관계수는 0.80이다.
X 순위 1,2,3,4,5, Y 순위 2,1,3,5,4 이므로 , .
- 0.20: 1에서 빼지 않고 분수 부분만 계산한 값
- 0.76: 분모를 으로 잘못 둔 값
- 0.90: 순위 차 제곱합을 2로 잘못 센 값
> x <- faithful$eruptions > c(mean = mean(x), median = median(x), sd = sd(x)) > skew <- mean((x - mean(x))^3) / sd(x)^3 > round(skew, 3)
mean median sd 3.487783 4.000000 1.141371 [1] -0.414
마지막 줄 왜도가 음수(-0.414)이고 평균(3.488)이 중앙값(4.000)보다 작으므로 왼쪽 꼬리가 긴 분포이다.
3차 표준화 적률인 왜도는 0이면 대칭, 음수면 작은 값 쪽으로 꼬리가 늘어진 형태를 뜻한다.
- 양수 왜도: 출력값이 음수이므로 맞지 않는다
- 표준편차: sd 1.141 은 mean 3.488 보다 작다
- 중앙값: median 4.000 이 평균보다 크다
정규성 가정이 맞는 경우에는 모수 검정의 검정력이 더 높으므로 비모수 검정이 늘 검정력이 높다는 설명은 틀리다.
비모수 검정은 분포 가정이 약한 대신 정보를 순위로 줄여 쓰므로, 가정이 충족되면 t 검정 등보다 효율이 떨어진다.
- shapiro.test: 귀무가설이 정규성이라 p-value 가 작으면 정규성을 기각한다
- Q-Q 도: 표본 분위수가 이론 분위수 직선을 따르면 정규에 가깝다
- 윌콕슨 검정: 부호와 순위를 이용하는 대표 비모수 검정이다
> fit <- lm(Volume ~ Girth + Height, data = trees) > step(fit, direction = "backward")
Start: AIC=86.94
Volume ~ Girth + Height
Df Sum of Sq RSS AIC
<none> 421.9 86.936
- Height 1 102.4 524.3 91.671
- Girth 1 4783.0 5204.9 162.824
Call:
lm(formula = Volume ~ Girth + Height, data = trees)
Coefficients:
(Intercept) Girth Height
-57.9877 4.7082 0.3393 <none> 행의 AIC(86.94)가 어느 변수를 뺀 행보다도 작으므로 변수를 제거하지 않고 종료된다.
후진 제거는 전체 모형에서 시작해 한 변수씩 뺀 모형의 AIC 를 비교하고, 더 낮아지는 경우가 없으면 멈춘다.
- Height 제거: AIC 가 91.67 로 오히려 높아진다
- Girth 제거: AIC 162.82 로 가장 크게 나빠진다
- AIC 는 작을수록 적합도와 간결성의 균형이 좋은 모형이다
독립변수 4개인 다중회귀모형을 관측치 21개로 적합한 결과이다.
| 요인 | 제곱합 |
|---|---|
| 회귀(SSR) | 160 |
| 전체(SST) | 200 |
SSE=200−160=40 을 오차 자유도로, SST 를 전체 자유도로 나눠 비교하면 수정 결정계수는 0.75이다.
.
- 0.74: 전체 자유도를 n=21 로 잘못 둔 값
- 0.76: 오차 자유도를 n−p=17 로 잘못 둔 값
- 0.80: 자유도 보정 없는 결정계수 이다
glm(y ~ x, family = binomial) 로 적합한 로지스틱 회귀에서 x 의 계수 추정값이 0.693 이고, 이다.
로지스틱 회귀계수 β 의 지수 는 오즈비이므로 x 가 1 증가할 때 오즈가 약 2배가 된다.
모형은 로그오즈가 x 에 선형인 형태라, 계수는 로그오즈의 증가량이고 확률 자체의 변화는 기준 확률에 따라 달라진다.
- 확률 2배: 확률은 시그모이드로 변환돼 일정 배수로 변하지 않는다
- 로그오즈 2배: 로그오즈는 배수가 아니라 0.693 만큼 더해진다
- 확률 0.693 증가: 계수를 확률 증가량으로 오해한 해석이다
· ACF: 시차가 커질수록 지수적으로 서서히 감소한다.
· PACF: 시차 1, 2 에서 유의하고 시차 3 이후 0 근처로 절단된다.
ACF 는 서서히 감소하고 PACF 가 시차 2 뒤에 절단되므로 AR(2) 모형이 적절하다.
AR(p) 는 PACF 가 p 이후 절단, MA(q) 는 ACF 가 q 이후 절단되는 것으로 식별한다.
- MA(2): ACF 가 시차 2 뒤에 절단될 때 고른다
- ARMA(1,1): ACF·PACF 가 모두 서서히 감소할 때 고려한다
- ARIMA(0,1,2): 차분이 필요한 비정상 계열에 쓰는 모형이다
평균 수준과 변동 폭이 시간에 관계없이 일정한 B 가 정상 시계열이다.
정상성은 평균·분산이 일정하고 자기공분산이 시차에만 의존하는 성질로, 그래프에서는 추세 없이 일정한 띠 안에서 오르내린다.
- A: 평균이 계속 증가하는 추세가 있어 차분이 필요하다
- C: 평균은 일정하나 진폭이 커져 분산이 일정하지 않다
- D: 수준이 떠도는 확률보행으로 평균이 일정하지 않다
개체 간 비유사성이 순서 정보만 의미 있는 경우에는 순위를 보존하는 비계량적 MDS 를 쓴다.
MDS 는 개체 간 거리를 저차원 좌표로 나타내는 기법이며, 적합 정도는 스트레스로 평가해 0에 가까울수록 좋다.
- 스트레스: 값이 작을수록 원래 거리를 잘 재현한다
- 고차원 확장: 보통 2~3차원의 저차원 공간에 배치한다
- cmdscale: 고전적(계량적) MDS 함수이며 비계량은 isoMDS 등이다
> pc <- prcomp(trees, scale. = TRUE) > summary(pc) > round(pc$rotation, 3)
Importance of components:
PC1 PC2 PC3
Standard deviation 1.5525 0.7494 0.16758
Proportion of Variance 0.8034 0.1872 0.00936
Cumulative Proportion 0.8034 0.9906 1.00000
PC1 PC2 PC3
Girth 0.609 0.410 0.679
Height 0.489 -0.868 0.086
Volume 0.625 0.280 -0.729summary 출력의 Proportion of Variance 에서 PC1 이 0.8034 이므로 제1주성분만으로 분산의 80% 이상을 설명한다.
scale. = TRUE 는 변수를 표준화하므로 상관행렬을 분해한 것과 같고, 변수가 3개라 주성분도 3개가 나온다.
- 공분산행렬: 표준화 옵션을 썼으므로 상관행렬 기준이다
- 주성분 수: 출력에 PC1~PC3 의 3개가 있다
- PC3: Standard deviation 0.168 로 가장 작다
요인분석의 요인은 대등한 잠재 개념으로 해석되며 순서가 정해지지 않으므로 이 설명이 틀리다.
순서가 있는 것은 주성분으로, 제1주성분이 분산을 가장 많이 설명하고 뒤로 갈수록 설명력이 줄어든다.
- 선형결합: 주성분은 원변수에 계수를 곱해 더한 새 변수이다
- 공통요인: 요인분석은 관측변수 뒤의 잠재요인을 찾는다
- 무상관: 주성분끼리는 서로 직교해 상관이 0이다
관측치 1,000개로 분류 모형을 평가하려고 다음 방법을 검토한다.
| 방법 | 설정 |
|---|---|
| 홀드아웃 | 훈련 : 시험 = 7 : 3 |
| k-fold 교차검증 | k = 5 |
| LOOCV | 한 개씩 남겨 검증 |
| 부트스트랩 | 1,000개 복원추출 |
5-fold 는 자료를 5등분해 한 부분(200개)을 검증에 쓰므로 매회 훈련 자료는 800개이다.
LOOCV 는 n 회 적합하는 k=n 교차검증이고, 부트스트랩에서 한 번도 뽑히지 않을 확률은 이다.
- 홀드아웃: 7:3 이면 시험 자료는 300개이다
- LOOCV: 1,000번 적합하므로 계산량이 가장 많다
- 부트스트랩: 미추출은 약 36.8%, 63.2% 는 추출 비율이다
훈련 자료의 평균제곱오차(MSE)가 1.2 인 회귀 모형을 시험 자료 5개에 적용한 결과이다.
| 관측치 | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| 실제값 | 10 | 12 | 7 | 9 | 14 |
| 예측값 | 8 | 15 | 7 | 11 | 13 |
시험 MSE 는 3.6 으로 훈련 MSE 1.2 의 3배이므로 일반화 성능이 떨어지는 과적합이 의심된다.
오차 2, −3, 0, −2, 1 에서 이다.
- 과소적합: 훈련 오차부터 커서 훈련·시험 모두 나쁠 때의 판단이다
- 1.6: 오차 절댓값 평균인 MAE 를 구한 값
- 1.9: MSE 의 제곱근인 RMSE 를 구한 값
(가)는 정답 라벨이 붙은 두 클래스를 마진이 있는 경계로 가르므로 지도 학습의 SVM, (나)는 라벨 없는 점을 중심 기준으로 묶으므로 비지도 학습의 k-평균이다.
목표변수(라벨)의 유무가 지도와 비지도를 가르는 기준이다.
- 순서를 바꾼 짝: (가)는 라벨이 있어 비지도로 볼 수 없다
- Apriori: 연관규칙을 찾는 비지도 기법이라 (가)와 맞지 않는다
- SOM·랜덤포레스트: (가)를 비지도, (나)를 지도로 뒤바꿔 짝지었다
> actual <- ifelse(faithful$eruptions > 3, "long", "short") > pred <- ifelse(faithful$waiting > 70, "long", "short") > table(pred, actual)
actual pred long short long 164 1 short 11 96
재현율은 실제 양성 중 양성으로 예측한 비율로, 출력의 actual 열 long 기준 164/(164+11) ≈ 0.937 이다.
table(pred, actual) 은 행이 예측, 열이 실제이므로 이다.
- 0.994: 예측 long 행 기준 164/165 인 정밀도
- 0.956: 대각합 260/272 인 정확도
- 0.990: 실제 short 중 96/97 인 특이도
로지스틱 회귀는 종속변수가 이진 범주형이어서 오차의 정규성을 가정하지 않으며, 회귀계수는 관측 자료가 나올 가능도를 최대로 하는 ( )으로 추정한다.
로지스틱 회귀계수는 가능도를 최대화하는 최대우도법으로 추정한다.
선형 회귀와 달리 닫힌 해가 없어 반복 계산으로 구하며, R 의 glm 출력에 나오는 잔차 이탈도도 이 가능도에 기반한다.
- 최소제곱법: 잔차 제곱합을 최소화하는 선형 회귀의 추정법
- 적률추정법: 표본 적률을 모집단 적률에 맞추는 방법
- 능형회귀법: 계수에 제곱 벌점을 주는 정규화 회귀이다
의사결정나무는 훈련 자료가 조금만 바뀌어도 상위 분리가 달라져 구조가 크게 변하는 불안정성이 단점이므로 이 설명이 틀리다.
이 불안정성을 줄이려고 여러 나무를 결합하는 배깅·랜덤포레스트 같은 앙상블을 쓴다.
- 해석 용이: if-then 규칙으로 읽을 수 있는 것이 장점이다
- 비선형: 분할 반복으로 비선형·상호작용을 반영한다
- 경계 오차: 연속 변수를 구간으로 끊어 경계 근처 예측이 거칠다
AdaBoost 는 직전 모형이 틀린 관측치에 더 집중하도록 오분류 관측치의 가중치를 높인다.
이렇게 순차적으로 만든 약한 분류기들을 성능에 따른 가중치로 결합하는 것이 부스팅이다.
- 정분류만 사용: 오히려 맞힌 관측치의 비중이 줄어든다
- 같은 비율 재추출: 균등 복원추출을 쓰는 배깅의 방식이다
- 변수 무작위 선택: 랜덤포레스트의 분기 방식이다
nnet 은 초기 가중치를 무작위로 정하고 국소 최적해에 수렴할 수 있어 초기값에 따라 결과가 달라진다.
그래서 set.seed 로 재현성을 확보하거나 여러 초기값으로 적합해 비교하며, 입력 표준화는 수렴을 돕는다.
- 표준화: 척도가 다른 입력이 가중치 학습을 왜곡하지 않게 한다
- 무작위 초기값: rang 범위 안에서 무작위로 시작한다
- size: 은닉층 노드 수를 정하는 필수 인자이다
P(0,0) 기준 맨해튼 거리는 B 가 5로 가장 짧고, 유클리드 거리는 A 가 약 4.24 로 가장 짧아 답은 B, A 이다.
맨해튼은 로 A·C·D 6, B 5 이고, 유클리드는 로 A 4.24, C 4.47, B 5, D 5.10 이다.
- A, B: 두 거리의 최근접 점을 서로 바꾼 것이다
- B, C: C 의 유클리드 거리 4.47 은 A 보다 길다
- C, A: C 의 맨해튼 거리는 6으로 B 보다 길다
세 군집으로 나눈 결과에서 관측치 i 와 다른 점들 사이의 거리이다.
| 대상 | 점들과의 거리 |
|---|---|
| 같은 군집(Ⅰ)의 다른 점 | 2, 3, 1 |
| 군집 Ⅱ 의 점 | 4, 6, 5 |
| 군집 Ⅲ 의 점 | 8, 9, 10 |
a 는 같은 군집 평균 거리 2, b 는 가장 가까운 다른 군집(Ⅱ)의 평균 거리 5이므로 실루엣 계수는 0.60 이다.
이며, 1에 가까울수록 군집이 잘 분리된 것이다.
- 0.40: 를 계산한 값
- 0.78: b 로 가장 먼 군집 Ⅲ 의 평균 9를 쓴 값
- 1.50: 분모를 큰 값이 아닌 작은 값 a 로 나눈 값
전체 거래 100건에서 품목(집합)별 포함 거래 수를 집계했다.
| 품목 | A | B | C | D | {A, B} | {A, C} | {A, D} |
|---|---|---|---|---|---|---|---|
| 거래 수 | 40 | 50 | 25 | 60 | 20 | 20 | 18 |
A→B 의 향상도는 0.2/(0.4×0.5)=1 이므로 두 품목은 서로 독립이다.
향상도 가 1보다 크면 양, 작으면 음의 연관이며, A→D 는 이다.
- A→C 신뢰도: 20/40=0.5 이며 0.8 은 C→A 의 신뢰도이다
- A→D: 향상도 0.75 로 1보다 작아 음의 연관이다
- A→C 지지도: 20/100=0.2 이며 0.25 는 C 단독 지지도이다
lhs 와 rhs 가 함께 들어 있는 거래의 비율은 support(지지도) 열이다.
inspect() 는 규칙마다 support·confidence·coverage·lift·count 를 보여 주며, count 는 그 비율에 해당하는 거래 건수이다.
- confidence: lhs 를 포함한 거래 중 rhs 도 포함한 비율
- lift: 신뢰도를 rhs 의 단독 지지도로 나눈 값
- coverage: lhs 만 기준으로 한 지지도이다