(가) 회원별로 쌓인 주문 일시·도서 코드 원기록 — 데이터
(나) 회원 K의 최근 3개월 구매 중 소설 비중이 70%라는 집계 결과 — 지식
(다) 소설 비중이 높은 회원일수록 신간 소설 알림에 잘 반응한다는 규칙을 정리해 마케팅 기준으로 삼음 — 지식
(라) 장르 선호 변화가 앞으로 출판 시장의 흐름을 바꾼다는 통찰로 전자책 사업 진출을 결정함 — 정보
가공 전 원기록은 데이터, 데이터 사이의 패턴을 구조화해 행동 기준으로 삼은 것은 지식이므로 (가)와 (다)의 연결이 옳다.
(나)는 데이터를 집계해 의미를 부여한 정보이고, (라)는 지식에 통찰을 더해 미래 방향을 판단한 지혜이다.
- (나)를 넣은 조합: 단순 집계 결과를 지식으로 잘못 표시했다.
- (라)를 넣은 조합: 통찰에 기반한 판단을 정보로 잘못 표시했다.
- (나)·(라) 조합: 두 진술 모두 단계 표시가 틀렸다.
원격지에서 조작할 수 있다는 원격 조작성은 기계 가독성·검색 가능성과 함께 정보의 축적·전달 측면 특징이다.
정보 이용 측면의 특징은 다양한 요구에 맞는 정보를 신속하고 경제적으로 찾아 얻을 수 있다는 점이다.
- 검색 가능성: 축적·전달 측면의 특징으로 옳다.
- 추가·갱신의 용이성: 체계적 축적과 함께 관리 측면 특징이다.
- 사회 기반 구조: 사회 전 부문 효율을 높이는 경제·산업 측면 특징이다.
(가) 다수 사용자의 짧은 입력·수정 작업을 동시에 처리하며 건별 응답이 빨라야 한다.
(나) 중복을 줄인 정규화 구조에 현재 시점의 상세 데이터를 보관한다.
(다) 요약·이력 데이터를 여러 차원으로 조회하며 드릴다운·슬라이싱을 수행한다.
(라) 대량 조회 위주이므로 응답에 수 초 이상 걸려도 분석 목적상 허용된다.
OLTP는 주문·입출금처럼 짧은 트랜잭션을 다수 사용자가 동시에 갱신하는 처리로, 정규화된 현재 상세 데이터를 다룬다.
요약·이력 데이터를 다차원으로 탐색하고 대량 조회 응답 지연을 허용하는 것은 OLAP의 특성이다.
- (다)를 넣은 조합: 드릴다운·슬라이싱은 다차원 분석인 OLAP 기능이다.
- (라)를 넣은 조합: 조회 위주·응답 지연 허용은 OLAP 특성이다.
- (다)·(라) 조합: OLAP 특성만 모은 것이다.
정형·반정형·비정형 등 데이터의 형태와 출처가 여러 가지인 성질은 다양성(Variety)이다.
로그(반정형), 이미지(비정형), SNS 글(비정형)을 함께 다루는 상황이 대표적인 Variety 사례이다.
- 규모: 데이터의 양이 매우 크다는 속성이다.
- 속도: 데이터가 빠르게 생성·처리되어야 한다는 속성이다.
- 정확성: 데이터의 신뢰도·품질에 관한 속성이다.
데이터가 재사용·재조합되고 다목적으로 쓰이면서 누가 언제 어디에 활용할지 알 수 없게 된 것은 데이터 활용 방식 요인이다.
원래 목적과 다른 용도(도로 파손 탐지·상권 분석)로 재사용된 점이 핵심 단서이다.
- 새로운 가치 창출: 기존에 없던 가치를 만들어 측정이 어렵다는 요인이다.
- 분석 기술의 발전: 지금 가치 없던 데이터가 새 기술로 가치를 갖게 되는 요인이다.
- 수집 비용의 하락: 가치 산정을 어렵게 하는 요인으로 분류되지 않는다.
문장에 담긴 의견의 긍정·부정을 판별하는 기법은 감정 분석(Sentiment Analysis)이다.
리뷰·SNS 글처럼 사용자가 쓴 텍스트에서 평판을 측정할 때 쓰인다.
- 소셜 네트워크 분석: 사람 사이 관계와 영향력을 파악하는 기법이다.
- 회귀 분석: 독립변수가 종속변수에 주는 영향을 추정하는 기법이다.
- 유전 알고리즘: 진화를 모방해 최적해를 찾는 기법이다.
(가) 데이터를 수집 목적과 다른 2차·3차 용도로 활용하는 일이 늘면서 사생활 침해 위험이 커졌다.
(나) 정보 제공자가 활용 시마다 개별 동의하는 절차를 강화하는 것이 근본적 통제 방안이다.
(다) 개인정보를 사용하는 주체가 활용 결과에 책임지도록 하는 방향으로 통제가 바뀌어야 한다.
(라) 익명화 기술을 적용하면 사생활 침해 위험을 완전히 제거할 수 있다.
사생활 침해는 데이터의 목적 외 활용 증가에서 커지며, 통제는 제공자 동의에서 사용자 책임으로 바뀌어야 하므로 (가)와 (다)가 옳다.
2차 활용 범위를 미리 알 수 없어 건별 동의는 비효율적이고, 익명화는 위험을 낮출 뿐 재식별 가능성을 없애지 못한다.
- (나)를 넣은 조합: 동의 강화는 위기에 대응하는 근본 방안이 아니다.
- (라)를 넣은 조합: 익명화로 위험을 완전히 없앨 수는 없다.
- (나)·(라) 조합: 틀린 진술만 모은 것이다.
빅데이터 활용 3요소 중 기술 요소는 데이터로부터 스스로 학습하는 진화하는 알고리즘·인공지능 방향으로 발전한다.
3요소는 데이터(자원)·기술·인력이며, 각 요소의 미래 모습을 구분해야 한다.
- 모든 것의 데이터화: 데이터(자원) 요소의 발전 방향이다.
- 데이터 사이언티스트 양성: 인력 요소에 해당한다.
- 알고리즈미스트의 등장: 알고리즘을 해석·감독하는 인력 요소이다.
데이터 사이언스는 분석에 그치지 않고 결과를 서비스로 구현하고 의사결정자에게 전달하는 과정까지 포괄한다.
정형뿐 아니라 텍스트·이미지 같은 비정형 데이터도 다루므로 데이터 마이닝이나 통계학보다 범위가 넓다.
- 정형 데이터만: 비정형 데이터까지 대상으로 삼는다.
- 통계 이론만: IT·비즈니스 분석 역량이 결합된 융합 학문이다.
- 범위가 좁다: 데이터 마이닝보다 넓은 개념이다.
인문학 열풍의 외부 요인은 비즈니스 중심이 제품 생산에서 서비스로 이동한 것, 단순 세계화에서 복잡한 세계화로 바뀐 것 등이다.
또한 경제·산업의 논리가 생산 중심에서 시장 창조로 바뀐 것도 외부 요인이다.
- 단순 세계화로: 실제 변화 방향(단순→복잡)을 거꾸로 적었다.
- 생산 중심으로: 시장 창조로 바뀐 방향을 거꾸로 적었다.
- 제품 생산 중심으로: 서비스로 이동한 방향을 거꾸로 적었다.
· 회귀·분류 모형을 직접 설계하고 검증 결과를 해석할 수 있다.
· SQL·파이썬으로 데이터를 추출·가공하고 분석 환경을 구성할 수 있다.
· 보험 상품 구조와 손해율 산정 업무는 이번 과제에서 처음 접한다.
분석 기획자에게는 수학·통계 지식, 정보기술, 해당 비즈니스에 대한 이해와 전문성의 세 영역이 고르게 요구되며, 이 담당자는 보험 업무 이해가 빠져 있으므로 도메인 지식을 보완해야 한다.
모형 설계·해석은 수학·통계 영역, 데이터 추출·환경 구성은 정보기술 영역으로 이미 갖춰져 있다.
- 수학·통계학적 지식: 모형 설계·검증 해석으로 확인된다.
- 정보기술(IT) 역량: SQL·파이썬 가공 능력으로 확인된다.
- 대용량 저장 인프라: 분석가 역량 3영역에 해당하지 않는다.
(가) 단계(Phase)는 완료 시 산출물이 나오며, 기준선(Baseline)으로 설정되어 버전 관리로 통제된다.
(나) 태스크(Task)는 단계를 구성하는 단위 활동으로, 물리적·논리적 단위로서 품질 검토의 대상이 된다.
(다) 스텝(Step)은 WBS의 워크 패키지에 해당하며 입력자료·처리 및 도구·출력자료로 구성된다.
(라) 여러 단계가 모여 하나의 태스크를 이루고, 여러 태스크가 모여 하나의 스텝을 이룬다.
방법론은 단계 → 태스크 → 스텝 순으로 쪼개지는 3계층이며, 단계는 기준선, 태스크는 품질 검토 단위, 스텝은 워크 패키지이므로 (가)~(다)가 옳다.
즉 여러 스텝이 태스크를, 여러 태스크가 단계를 구성한다.
- (가)·(라) 조합: 계층을 거꾸로 적은 (라)를 넣고 (나)·(다)를 뺐다.
- (나)·(다)·(라) 조합: 틀린 (라)를 넣고 옳은 (가)를 뺐다.
- (다)·(라) 조합: 옳은 (가)·(나)를 빠뜨렸다.
(가) 숙련 분석가가 머릿속에 지닌 노하우를 문서와 체크리스트로 적어 낸다.
(나) 여러 문서를 정리·통합해 전사 표준 분석 절차와 템플릿으로 만든다.
(다) 신입 분석가가 표준 절차를 반복 적용하면서 자신의 노하우로 체득한다.
개인의 암묵지를 문서화하는 것은 형식화, 형식지를 표준 절차로 정리하는 것은 체계화, 방법론을 다시 개인의 암묵지로 체득하는 것은 내재화이다.
방법론은 암묵지 → 형식지 → 방법론 → 암묵지로 순환하며 발전한다.
- 체계화가 먼저인 배열: 문서화보다 표준화를 앞에 둬 틀렸다.
- 내재화가 둘째인 배열: 표준 절차 수립을 체득으로 잘못 보았다.
- 내재화가 첫째인 배열: 순서를 거꾸로 배열했다.
사회(Social)·기술(Technological)·경제(Economic)·환경(Environmental)·정치(Political) 영역을 살피는 것은 거시적 관점의 STEEP 분석이다.
메가트렌드 변화에서 분석 기회를 폭넓게 찾을 때 활용한다.
- 경쟁자 확대 관점: 대체재·신규 진입자 등 경쟁 환경을 살핀다.
- 시장 니즈 탐색 관점: 고객·채널·영향자의 요구를 살핀다.
- 역량의 재해석 관점: 내부 역량과 파트너 네트워크를 살핀다.
(가) 분석 시스템 구축·유지보수 비용 대비 기대되는 추가 매출
(나) 분석에 필요한 데이터가 존재하고 확보할 수 있는지 여부
(다) 분석 인력의 역량과 분석 시스템 환경의 적합성
(라) 예상되는 비용 절감 효과를 재무 지표로 환산한 값
데이터 존재 여부, 분석 시스템 환경, 분석 역량을 따지는 것이 데이터 및 기술적 타당성 검토이므로 (나)와 (다)가 해당한다.
비용 대비 편익(추가 매출·비용 절감)을 재무적으로 따지는 것은 경제적 타당성 검토이다.
- (가)를 넣은 조합: 비용 대비 매출은 경제적 타당성 항목이다.
- (라)를 넣은 조합: 비용 절감의 재무 환산은 경제적 타당성 항목이다.
- (가)·(라) 조합: 경제적 타당성 항목만 모은 것이다.
비정형 데이터나 서로 다른 시스템의 데이터를 통합해야 할 때 고려하는 속성은 데이터 복잡성(Data Complexity)이다.
이 경우 초기 데이터 확보·통합과 해당 데이터에 맞는 모델 선정을 사전에 검토해야 한다.
- 데이터 크기: 데이터의 양이 매우 큰 경우의 관리 속성이다.
- 속도: 실시간·배치 등 처리 시간 요구에 관한 속성이다.
- 분석 복잡도: 정확도와 해석 가능성 사이 균형에 관한 속성이다.
| 단계 | 추진 목표 | 주요 추진 과제 |
|---|---|---|
| 1단계 | 데이터 분석 체계 도입 | 분석 기회 발굴, 분석 과제 정의, 거버넌스 설계 |
| 2단계 | 데이터 분석 유효성 검증 | 시범 과제 수행, 데이터 수집 체계 구축 |
| 3단계 | 데이터 분석 확산 및 고도화 | 업무 프로세스 내재화, 분석 시스템 고도화 |
2단계에서 시범 과제로 유효성을 검증한 뒤 3단계에서 전사로 확산·고도화하는 단계적 구성이다.
분석 마스터플랜은 정보전략계획(ISP) 방법론을 활용해 수립하며, 로드맵은 우선순위 평가 결과와 적용 범위·방식을 함께 고려해 정한다.
- 업무 내재화: 표에서 3단계(확산 및 고도화) 과제이다.
- ISP와 무관: 분석 마스터플랜은 ISP 절차를 활용한다.
- 우선순위와 무관: 로드맵은 우선순위 결과를 반영해 정한다.
업무의 시급성은 전략적 필요성과 함께 전략적 중요도 기준의 세부 항목이다.
실행 용이성은 투자 용이성과 기술 용이성으로 평가한다.
- 전략적 필요성: 전략적 중요도의 세부 항목으로 옳다.
- 투자 대비 효과: 비즈니스 성과·ROI 기준의 세부 항목이다.
- 기술 적용 수준: 실행 용이성 중 기술 용이성에 해당한다.
해당 업무 부서가 직접 분석을 수행하는 형태는 기능 중심 조직 구조이다.
별도 분석 조직이 없어 전사적 핵심 분석이 어렵고, 특정 부서 업무에 국한된 분석에 머물기 쉽다.
- 집중형: 전담 분석 조직이 전사 분석 업무를 맡는 구조이다.
- 분산된 조직: 전문 인력을 현업 부서에 배치해 분석하는 구조이다.
- 외부 위탁형: 분석 조직 구조 유형에 속하지 않는다.
구축 후 표준 준수를 점검·모니터링하고 지속적으로 개선하는 것은 표준화 활동이다.
데이터 표준화는 표준 용어 설정, 명명 규칙, 메타데이터·데이터 사전 구축 등 표준을 처음 정하는 작업이다.
- 데이터 표준화: 표준 자체를 정의하는 작업으로 사후 점검과 다르다.
- 관리 체계: 메타데이터·사전의 관리 원칙과 역할을 정한다.
- 저장소 관리: 메타데이터·표준 저장소를 구성·운영한다.
배송 차량 수·도로 사정·주문량 제약을 반영해 비용이 가장 적게 드는 배차 계획을 계산하고, 무엇을 해야 하는지 행동 대안을 제시한다.
제약 조건 아래 최선의 의사결정안을 계산해 제시하는 것은 처방 분석(Prescriptive)으로, 최적화 분석이라고도 한다.
분석 유형은 무슨 일이 있었는지, 왜 일어났는지, 앞으로 어떻게 될지, 무엇을 해야 하는지로 질문이 깊어질수록 기술→진단→예측→처방으로 나뉜다.
- 기술 분석: 과거 실적을 요약해 무슨 일이 있었는지 보여 준다
- 진단 분석: 결과가 나타난 원인을 찾는 데 초점을 둔다
- 예측 분석: 미래 값을 추정하지만 행동 대안을 고르지는 않는다
> x <- 1:6 > y <- c(1, 10) > x * y > 1:5 + 1:2 > 7 %/% 2 + 7 %% 2
짧은 벡터 y 가 길이 6에 맞게 1, 10, 1, 10, 1, 10 으로 재사용(recycling)되므로 x * y 는 1 20 3 40 5 60 이다.
길이가 배수가 아니면 경고만 내고 2 4 4 6 6 을 계산하며, %/% 는 몫 3, %% 는 나머지 1 을 돌려준다.
- 결과 길이: 긴 벡터에 맞춰 6이 된다
- 1:5 + 1:2: 오류가 아니라 경고와 함께 결과가 나온다
- 마지막 줄: 3 + 1 이므로 4이며 4.5 가 아니다
> v <- c(5, NA, 7, NULL) > length(v) > sum(v) > l <- list(a = 1, b = "x") > l$b <- NULL > length(l) > class(cars["dist"]) > class(cars[["dist"]])
[1] 3 [1] NA [1] 1 [1] "data.frame" [1] "numeric"
리스트 원소에 NULL 을 대입하면 그 원소가 삭제되므로 length(l) 출력은 1이다.
c() 안의 NULL 은 길이 0이라 사라지고 NA 는 자리를 차지해 length(v) 는 3, NA 가 섞여 sum(v) 는 NA 이다.
- v 의 길이: 출력은 3이며 NULL 은 원소로 남지 않는다
- sum(v): na.rm = TRUE 가 없어 NA 가 출력된다
- cars["dist"]: class 출력이 data.frame 이며 [[ ]] 가 numeric 이다
> m <- cbind(iris$Sepal.Length[1:2], as.character(iris$Species[1:2]))
> class(m[1, 1])
> df <- data.frame(n = 1:2, s = c("a", "b"))
> sapply(df, class)
> z <- c(TRUE, FALSE, 2L)
> class(z)
> l2 <- list(1, "a", TRUE)
> class(l2[[3]])논리값과 정수를 c() 로 묶으면 더 넓은 형인 정수로 맞춰져 class(z) 는 integer 이다.
벡터·행렬은 한 가지 자료형만 담아 cbind 로 숫자와 문자를 묶으면 전부 문자가 되고, 데이터프레임 열과 리스트 원소는 각자 형을 유지한다.
- m[1, 1]: 문자열과 결합된 행렬이라 character 이다
- df 의 열: n 은 integer, s 는 character 로 서로 다르다
- l2[[3]]: 리스트는 원소 형을 바꾸지 않아 logical 이다
> cw <- subset(as.data.frame(ChickWeight), Chick %in% c("1", "2", "3") & Time %in% c(0, 10, 21), select = c(Chick, Time, weight))
> w <- reshape(cw, idvar = "Chick", timevar = "Time", direction = "wide")
> dim(cw)
> dim(w)
> w[1] 9 3 [1] 3 4 Chick weight.0 weight.10 weight.21 1 1 42 93 205 13 2 40 103 215 25 3 43 99 202
dim(w) 출력이 3 4 로, 병아리 3마리가 한 행씩, Chick + 시점 3개 열을 가진 넓은 형식이 되었다.
direction = "wide" 는 timevar 값마다 측정 열을 weight.시점 이름으로 펼치는 것으로 reshape2 의 dcast 와 같은 동작이다.
- cw 의 크기: dim(cw) 는 9 3 으로 9행 3열이다
- weight.21: 출력 마지막 열 이름으로 존재한다
- Chick 2 의 weight.10: 103 이며 93 은 Chick 1 의 값이다
| ID | X | Y |
|---|---|---|
| 1 | 3 | 10 |
| 2 | NA | 12 |
| 3 | 9 | NA |
| 4 | 5 | 14 |
| 5 | 11 | NA |
| 6 | 7 | 16 |
X·Y 모두 값이 있는 행은 ID 1·4·6 의 3행이고 그 X 평균은 5, X 만의 na.rm 평균은 7이다.
목록별 삭제: , 변수별 제거: 로 삭제 방식에 따라 평균이 달라진다.
- 4행: Y 가 결측인 두 행도 함께 빠져 남는 행은 3개이다
- 7, 5: 두 평균의 순서를 바꾼 것이다
- 5.83: 합 35 를 결측 포함 전체 6으로 나눈 오류이다
모집단이 어떤 분포를 따르든 평균과 분산이 유한하면, 표본 크기가 충분히 클 때 표본평균의 분포는 정규분포에 가까워진다.
모집단 분포와 무관하게 표본평균의 분포가 정규분포로 근사한다는 것은 중심극한정리이다.
이때 표본평균의 평균은 모평균, 분산은 σ²/n 이 되어 표본이 클수록 분포가 좁아진다.
- 대수의 법칙: 표본평균이 모평균에 수렴한다는 내용으로 분포 모양은 말하지 않는다
- 체비셰프 부등식: 평균에서 멀리 떨어질 확률의 상한을 준다
- 베이즈 정리: 사전확률을 조건부 확률로 갱신하는 공식이다
> round(sapply(iris[1:4], mean), 2) > round(sapply(iris[1:4], sd), 2) > round(tapply(iris$Petal.Length, iris$Species, var), 3)
Sepal.Length Sepal.Width Petal.Length Petal.Width
5.84 3.06 3.76 1.20
Sepal.Length Sepal.Width Petal.Length Petal.Width
0.83 0.44 1.77 0.76
setosa versicolor virginica
0.030 0.221 0.305 변동계수는 표준편차÷평균으로, Petal.Width 가 으로 가장 커 상대적 산포가 가장 크다.
Petal.Length 는 , 꽃받침 두 변수는 약 0.14 로, 단위·크기가 다른 변수는 변동계수로 비교한다.
- Sepal.Width: 0.44 는 sd 출력 값이고 분산은 약 0.19 이다
- 품종별 분산: tapply 출력에서 setosa 0.030 이 가장 작다
- sd 최대 변수: Petal.Length 의 변동계수는 Petal.Width 보다 작다
같은 환자 12명의 투약 전·후 혈압을 측정했다. 전·후 차이에 shapiro.test() 를 적용한 결과 p-value 가 0.01 이었고, 유의수준은 0.05 이다.
같은 대상의 전·후 비교이고 차이의 정규성이 기각되었으므로 비모수인 윌콕슨 부호순위 검정이 적절하다.
shapiro.test 의 귀무가설은 정규분포이므로 p=0.01 이면 정규성을 기각하며, R 에서는 wilcox.test(전, 후, paired = TRUE) 로 실행한다.
- 대응표본 t검정: 차이의 정규성을 전제하므로 이 상황에 맞지 않다
- 윌콕슨 순위합 검정: 서로 독립인 두 집단을 비교하는 방법이다
- 카이제곱 적합도 검정: 범주형 빈도가 기대 분포를 따르는지 본다
· 표본 크기 n = 36, 표본평균 = 50
· 모표준편차 σ = 12 (알려져 있음)
·
표준오차가 이므로 폭은 7.84, n 을 4배로 하면 표준오차가 절반이 되어 폭은 3.92 이다.
, 이면 이다.
- 3.92, 1.96: 폭이 아니라 반폭(오차 한계)을 구한 값이다
- 7.84, 1.96: 폭이 n 에 반비례한다고 보아 4로 나눈 오류이다
- 15.68, 7.84: 표준오차를 4로 잘못 잡은 값이다
| x | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| y | 2 | 4 | 5 | 4 | 5 |
평균이 x̄=3, ȳ=4 이고 기울기 0.6, 절편 2.2 로 ŷ = 2.2 + 0.6x, 결정계수는 0.6 이다.
, , 이다.
- R² = 0.36: 기울기를 제곱한 값으로 결정계수가 아니다
- 절편 1.8: 0.6×3 을 절편으로 착각한 값이다
- R² = 0.4: SSE/SST 로 설명되지 않은 비율이다
로지스틱 회귀는 반응변수가 이항분포를 따른다고 보므로 오차항의 정규분포를 가정하지 않는다.
R 에서는 glm(family = binomial) 로 적합하며, predict 의 type="link" 는 로그 오즈, type="response" 는 0~1 확률을 돌려준다.
- 로짓: 성공 확률의 오즈에 로그를 취한 값이 맞다
- 계수 해석: 설명변수 1단위 증가 시 로그 오즈가 계수만큼 변한다
- response 예측: 로짓의 역변환을 거친 확률값이다
> library(MASS) > fit <- lm.ridge(Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width, data = iris, lambda = c(0, 10, 100, 1000)) > round(coef(fit), 3) > round(coef(lm(Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width, data = iris)), 3)
Sepal.Width Petal.Length Petal.Width
0 1.856 0.651 0.709 -0.556
10 2.766 0.488 0.377 0.141
100 4.270 0.172 0.177 0.318
1000 5.572 -0.010 0.048 0.102
(Intercept) Sepal.Width Petal.Length Petal.Width
1.856 0.651 0.709 -0.556 lambda = 0 행의 계수(1.856, 0.651, 0.709, −0.556)가 lm 출력과 같아 벌점이 없으면 최소제곱과 일치한다.
릿지는 L2 벌점으로 계수를 0 쪽으로 줄이지만 정확히 0 으로 만들지 않으며, 변수 선택 효과는 L1 벌점의 라쏘에 있다.
- lambda 1000: −0.010, 0.048 처럼 작아질 뿐 0 은 아니다
- 절편: 벌점 대상이 아니라 1.856 에서 5.572 로 오히려 커진다
- Petal.Width: lambda 10 부터 양수로 부호가 바뀐다
수준이 떠도는 확률보행 A 와 선형 추세가 있는 C 는 1회 차분으로 평균이 일정해져 정상화된다.
B 는 시간이 갈수록 흔들림이 커지는 분산 비정상 계열이라 로그 등 변환이 먼저 필요하고, D 는 이미 평균·분산이 일정한 정상 계열이다.
- B, D: B 는 차분만으로 분산이 안정되지 않고 D 는 비정상이 아니다
- A, B, C: B 는 분산 변화 때문에 차분만으로는 부족하다
- C, D: D 는 이미 정상이고 A 가 빠졌다
모든 시차의 자기상관이 0 인 것은 백색잡음의 성질일 뿐 정상성의 조건이 아니다.
정상성은 평균·분산이 일정하고 두 시점의 공분산이 시차에만 의존하면 충족되므로, 자기상관이 있는 AR·MA 과정도 정상일 수 있다.
- 평균 일정: 추세가 없어야 한다는 조건으로 필수이다
- 분산 일정: 변동 폭이 시간에 따라 변하지 않아야 한다
- 시차 의존 공분산: 같은 시차면 시점과 관계없이 공분산이 같다
cmdscale 은 계량적 다차원 척도법으로, dist() 로 만든 개체 간 거리 행렬을 입력받아 저차원 좌표를 계산한다.
인자 k 는 배치할 차원 수(기본 2)이고, eig = TRUE 로 고유값을 함께 받아 차원별 설명력을 볼 수 있다.
- 적재값 계산: 상관행렬 분해로 적재값을 얻는 것은 주성분 분석이다
- 순위만 보존: 비계량적 MDS(isoMDS 등)의 특징이다
- k 의 의미: 군집 수가 아니라 좌표 공간의 차원 수이다
주성분 분석은 관측변수의 선형결합으로 총분산을 가장 많이 설명하는 축부터 차례로 만든다.
요인분석은 관측변수를 잠재요인과 고유오차의 합으로 보는 모형이어서 공통분산만 다루고 공통성을 추정한다.
- 잠재요인·고유오차 분해: 요인분석의 모형 가정이다
- 공통성 추정: 변수 분산 중 공통요인 몫을 구하는 요인분석 절차이다
- 공통분산만 분석: 고유분산을 빼고 다루는 요인분석의 특징이다
> summary(prcomp(iris[1:4])) > summary(prcomp(iris[1:4], scale. = TRUE))
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 2.0563 0.49262 0.2797 0.15439
Proportion of Variance 0.9246 0.05307 0.0171 0.00521
Cumulative Proportion 0.9246 0.97769 0.9948 1.00000
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 1.7084 0.9560 0.38309 0.14393
Proportion of Variance 0.7296 0.2285 0.03669 0.00518
Cumulative Proportion 0.7296 0.9581 0.99482 1.00000Proportion of Variance 의 PC1 이 표준화 없이 0.9246, 표준화 후 0.7296 이므로 표준화하지 않을 때 더 높다.
공분산행렬 분석은 분산이 큰 변수(Petal.Length)가 PC1 을 지배하므로, 단위·산포가 다른 변수는 scale. = TRUE 로 상관행렬 기준 분석을 한다.
- 주성분 개수: 두 출력 모두 변수 수와 같은 PC1~PC4 이다
- PC1 고유값: Standard deviation 1.7084 의 제곱 약 2.92 로 1보다 크다
- 결과 동일: 기여율과 표준편차가 서로 다르게 출력된다
| 차수 | 훈련 MSE | 검증 SSE |
|---|---|---|
| 1 | 18 | 400 |
| 2 | 8 | 180 |
| 3 | 6 | 200 |
| 4 | 3 | 320 |
검증 MSE 는 차수 순서대로 20, 9, 10, 16 이므로 2차(9)가 최소이고, 훈련 오차는 가장 작지만 검증 오차가 커진 4차는 과적합이다.
로 2차는 , 4차는 이며 훈련 MSE 3 과 격차가 가장 크다.
- 4차(3): 훈련 MSE 로 고른 것으로 일반화 성능 기준이 아니다
- 3차(10): 검증 MSE 가 2차보다 크고 2차는 과적합이 아니다
- 2차(180): SSE 를 n 으로 나누지 않았고 1차는 과소적합이다
연관규칙은 거래 자료에서 함께 나타나는 항목 패턴을 찾는 비지도 학습 기법으로 정답 레이블이 필요 없다.
지도 학습은 입력과 목표 변수의 관계를 학습하며 분류·예측에 쓰이고, 비지도 학습에는 연관 분석·군집 분석·차원 축소가 있다.
- 로지스틱 회귀: 범주형 목표 변수를 예측하는 지도 학습이다
- 의사결정나무: 목표 변수로 분리 규칙을 만드는 지도 학습이다
- 서포트 벡터 머신: 레이블로 마진 최대 경계를 찾는 지도 학습이다
| 임계값 | TP | FN | FP | TN |
|---|---|---|---|---|
| 0.3 | 45 | 5 | 30 | 120 |
| 0.7 | 30 | 20 | 6 | 144 |
임계값 0.3 의 재현율은 로 0.9 가 맞다.
임계값을 높이면 양성 판정이 줄어 재현율은 낮아지고 정밀도·특이도는 높아지는 상충 관계가 나타난다.
- 0.7 의 정밀도: 이며 0.6 은 재현율이다
- 특이도: 0.3 은 0.8, 0.7 은 0.96 으로 0.7 이 더 높다
- 정확도: 0.3 은 0.825, 0.7 은 0.87 로 서로 다르다
시그모이드 함수 는 어떤 실수 z 를 넣어도 0 과 1 사이의 값을 내어 확률로 해석된다.
그 확률을 임계값(보통 0.5)과 비교해 범주를 정하며, 선형 회귀처럼 범위 제한 없는 값을 직접 예측하지 않는다.
- −1 과 1 사이: 쌍곡탄젠트(tanh) 함수의 출력 범위이다
- 0 이상의 모든 실수: 오즈 p/(1−p) 의 범위이다
- 모든 실수: 로그 오즈(로짓)나 선형 결합 값의 범위이다
> library(class)
> set.seed(7)
> idx <- sample(1:150, 100)
> tr <- scale(iris[idx, 1:4])
> te <- scale(iris[-idx, 1:4], center = attr(tr, "scaled:center"), scale = attr(tr, "scaled:scale"))
> cl <- iris$Species[idx]
> for (k in c(1, 15, 51)) {
> p_tr <- knn(tr, tr, cl, k = k)
> p_te <- knn(tr, te, cl, k = k)
> cat("k =", k, " train:", round(mean(p_tr == cl), 3), " test:", round(mean(p_te == iris$Species[-idx]), 3), "\n")
> }k = 1 train: 1 test: 0.88 k = 15 train: 0.97 test: 0.9 k = 51 train: 0.89 test: 0.8
k=1 은 훈련 관측치마다 자기 자신이 최근접 이웃이므로 출력의 train 값이 1 이며, 이는 과적합 신호이다.
출력의 test 는 k=1 이 0.88, k=15 가 0.9, k=51 이 0.8 로 적당한 k 에서 가장 높고, 시험 자료는 훈련 자료의 평균·표준편차로 표준화했다.
- k 증가: k=51 에서 시험 정확도가 0.8 로 떨어진다
- 훈련 정확도: k=51 의 train 0.89 가 가장 낮다
- 시험 최고: k=15 의 0.9 가 k=1 의 0.88 보다 높다
CART 는 매 노드를 항상 두 갈래로 나누는 이진 분리를 하므로 다지 분리를 한다는 설명은 틀렸다.
다지 분리는 C4.5 와 CHAID 의 특징이며, CART 회귀나무는 분산 감소량이 가장 큰 분리를 고른다.
- CART 분류나무: 지니 지수가 가장 많이 줄어드는 분리를 고른다
- C4.5: 엔트로피 기반 정보이득을 분기 수로 보정한 이득비를 쓴다
- CHAID: 카이제곱 통계량의 p값이 가장 작은 변수로 분리한다
배깅은 각 부트스트랩 모형의 분류 결과를 다수결 투표로 결합하고, 회귀 문제라면 예측값을 평균한다.
모형들을 병렬로 독립 학습한 뒤 결합해 분산을 줄이는 것이 배깅의 핵심이다.
- 오분류 가중치 순차 갱신: AdaBoost 같은 부스팅의 학습 방식이다
- 가지치기: 단일 나무의 과적합을 줄이는 절차로 결합 방법이 아니다
- 잔차에 대한 순차 적합: 그래디언트 부스팅의 방식이다
입력이 0 이하이면 0 을, 양수이면 입력값을 그대로 출력한다. 양수 구간의 기울기가 1로 일정해 깊은 신경망의 은닉층에서 기울기 소실 문제를 완화하는 데 주로 쓴다.
음수는 0, 양수는 그대로 내보내는 함수는 ReLU(Rectified Linear Unit)이다.
양수 구간 미분값이 1이라 역전파 때 기울기가 줄어들지 않아 기울기 소실 완화에 유리하며, 은닉층 기본값으로 널리 쓰인다.
- 시그모이드: 0~1 출력이며 양 끝에서 기울기가 0 에 가까워 소실이 생긴다
- 소프트맥스: 다중 분류 출력층에서 확률 합을 1로 만든다
- 항등 함수: 음수도 그대로 내보내며 주로 회귀 출력층에 쓴다
평균 실루엣이 가장 높은 k=3(약 0.58)에서 군집 내 응집과 군집 간 분리가 가장 좋아 k=3 이 적절하다.
실루엣은 −1~1 범위로 1 에 가까울수록 자기 군집에 잘 속하고, 0 근처는 경계, 음수는 다른 군집이 더 가깝다는 뜻이다.
- k 증가: k=3 이후 평균 실루엣이 계속 낮아진다
- 0.5 이상: k=3 과 k=4 가 0.5 를 넘는다
- 음수 실루엣: 다른 군집에 더 가까워 잘못 배정된 관측치이다
계층적 군집은 가까운 개체·군집을 차례로 합쳐 나가며, 한 번 병합된 개체는 이후 단계에서 다른 군집으로 옮겨지지 않는다.
군집 수는 분석 후 덴드로그램을 원하는 높이에서 잘라 정하며, 모든 쌍의 거리행렬을 계산하므로 자료가 클수록 부담이 커진다.
- 군집 수 사전 지정: k-평균 같은 비계층적 군집의 특징이다.
- 중심점 갱신·재배정: k-평균의 반복 절차이다.
- 계산 부담: 거리행렬 때문에 대용량일수록 부담이 커진다.
| lhs | rhs | support | confidence | lift | count |
|---|---|---|---|---|---|
| {빵} | {우유} | 0.20 | 0.50 | 1.25 | 40 |
| {기저귀} | {맥주} | 0.05 | 0.625 | 2.50 | 10 |
| {콜라} | {과자} | 0.10 | 0.40 | 0.80 | 20 |
count 는 규칙 항목을 모두 포함한 거래 수이고 support 는 그 비율이므로 , 즉 전체 거래 200건이다.
나머지 규칙도 으로 같고, 신뢰도는 지지도÷lhs 지지도이다.
- {콜라}→{과자}: 향상도 0.80 은 1 미만으로 음의 연관이다
- {빵} 지지도: 이며 0.5 는 신뢰도 값이다
- 향상도 최대 {기저귀}→{맥주} 는 지지도가 0.05 로 가장 작다
| 항목집합 | 거래 수 |
|---|---|
| {A} | 200 |
| {B} | 250 |
| {C} | 100 |
| {A, B} | 120 |
| {A, C} | 60 |
| {B, C} | 40 |
두 기준을 통과하는 규칙은 A→B 와 C→A 이고, 그중 향상도가 큰 것은 C→A(1.5) 이다.
, , , 이며 {B, C} 는 지지도 0.08 로 탈락한다.
- A→B: 기준은 통과하지만 향상도 1.2 로 C→A 보다 작다
- A→C: 향상도는 같으나 신뢰도 60/200=0.3 으로 탈락한다
- B→A: 신뢰도 120/250=0.48 로 최소 신뢰도에 못 미친다