| 다음 상태 현재 상태 | 정상 | 주의 | 장애 |
|---|---|---|---|
| 정상 | 0.7 | 0.2 | 0.1 |
| 주의 | 0.3 | 0.5 | 0.2 |
| 장애 | 0.1 | 0.2 | 0.7 |
현재 정상 상태에서 2시간 뒤에도 정상일 확률은 0.56이다.
두 단계 전이 확률은 중간 상태를 거치는 모든 경로의 확률을 더한 값, 즉 전이 행렬 제곱의 (정상, 정상) 성분이다.
- 0.49는 정상→정상→정상 경로 하나만 계산하고, 주의·장애를 거쳐 돌아오는 경로를 빠뜨린 값이다.
L1 정칙화는 일부 가중치를 정확히 0으로 만들어 희소한 해를 주지만, L2 정칙화는 가중치를 줄일 뿐 대개 0으로 만들지는 않는다.
L1 벌점은 절댓값이라 원점에서 뾰족한 모서리가 생겨 최적해가 축 위(가중치 0)에 놓이기 쉽고, L2 벌점은 매끄러운 원형이라 0 근처로 수축만 시킨다.
- 절댓값 벌점은 가중치가 0인 점에서 미분 불가능하며, 볼록이지만 강볼록이 아니어서 최적해가 항상 유일하다고 할 수 없다.
- 제곱합을 쓰는 쪽이 L2, 절댓값 합을 쓰는 쪽이 L1으로, 설명이 서로 뒤바뀌었다.
- 정칙화 강도 가 커질수록 벌점 항의 비중이 커져 정칙화의 영향은 오히려 강해진다.
표준화의 평균·표준편차는 학습 자료에서만 추정하고, 그 같은 변환을 검증·시험 자료에 그대로 적용해야 한다.
검증·시험 자료의 통계량을 쓰면 평가용 정보가 학습에 새어 들어가는 데이터 누수가 생기고, 같은 기준으로 변환해야 거리 계산의 척도가 일치한다.
- 학습·검증·시험 자료를 합쳐 평균과 표준편차를 구하면 평가 자료의 정보가 전처리에 섞여 데이터 누수가 발생한다.
- 학습 자료와 시험 자료를 각자 다른 평균·표준편차로 표준화하면 두 자료의 좌표계가 달라져 거리 비교가 어긋난다.
- k-최근접 이웃은 학습 가중치가 없더라도 거리 기반이므로, 연소득처럼 값의 범위가 큰 특성이 거리를 지배해 스케일 조정이 특히 중요하다.
KL발산은 대칭성을 만족하지 않으므로, 두 방향의 값이 같다는 설명이 옳지 않다.
정의 에서 기준 분포가 로 고정되므로, 와 를 바꾸면 일반적으로 값이 달라진다. 그래서 KL발산은 엄밀한 의미의 거리(metric)가 아니다.
- 두 확률분포가 얼마나 다른지를 재는 척도로 쓰인다는 설명은 옳다.
- 깁스 부등식에 따라 KL발산은 항상 0 이상이라는 설명은 옳다.
- 두 분포가 같으면 로그 안의 비가 1이 되어 값이 0이라는 설명은 옳다.
MAP는 가능도와 사전분포를 곱한 사후확률이 최대가 되는 파라미터 하나를 점추정으로 쓴다.
MLE는 가능도만 최대화하고, MAP는 여기에 사전분포를 더하며, 베이지안 예측은 점추정 대신 사후분포 전체에 대해 예측을 적분(평균)한다.
- 사후분포 전체에 대해 예측을 적분하는 것은 MLE가 아니라 베이지안 예측의 방식이다.
- 베이지안 예측은 사전분포가 아니라 관측 자료를 반영한 사후분포에 대해 예측을 평균한다.
- 베이지안 예측에서도 사전분포의 모수 등 하이퍼파라미터가 존재하며 이를 정해야 한다.
커널 밀도 추정은 대역폭이 너무 작으면 뾰족하고 들쭉날쭉한 분포가, 너무 크면 과도하게 평탄한 분포가 추정된다.
대역폭은 각 자료점 주위에 놓는 커널의 폭이므로, 작으면 개별 점에 과적합(분산 증가)하고 크면 구조를 뭉개는 과소적합(편향 증가)이 일어난다.
- 대역폭이 0에 가까우면 자료점마다 뾰족한 봉우리만 남아 실제 분포를 정확히 추정하지 못한다.
- 매끄러운 커널을 겹쳐 더하므로 히스토그램보다 계단 모양이 오히려 덜하다.
- 고차원으로 갈수록 데이터가 희소해지는 차원의 저주가 심해져 추정 효율이 떨어진다.
핵심점 경계점 잡음점
핵심점은 {0.10}, 경계점은 {0.00, 0.20}, 잡음점은 {0.50, 0.60}이다.
자신을 포함한 이웃의 점 개수가 MinPts=3 이상이면 핵심점, 아니지만 핵심점의 이웃 안에 있으면 경계점, 둘 다 아니면 잡음점이다.
- 0.00의 이웃은 {0.00, 0.10}으로 2개라 핵심점이 아니지만, 핵심점 0.10의 이웃 안에 있어 경계점이다.
- 0.10의 이웃은 {0.00, 0.10, 0.20}으로 3개라 핵심점이다.
- 0.20의 이웃은 {0.10, 0.20}으로 2개라 핵심점이 아니며, 핵심점 0.10의 이웃 안에 있어 경계점이다.
- 0.50과 0.60은 각각 이웃이 서로 포함 2개뿐이고 주변에 핵심점도 없어 잡음점이다.
베이지안 최적화는 무작위 탐색을 거치는 방식이 아니라, 대리 모델과 획득 함수(acquisition function)로 다음 시도점을 골라내는 방식이므로 그 설명이 옳지 않다.
베이지안 최적화는 가우시안 과정 등 대리 모델로 성능을 근사하고, 획득 함수가 최대인 지점을 다음 후보로 정해 이전 결과를 반영하며 순차적으로 탐색한다.
- 하이퍼파라미터 최적화의 목적이 최적 조합을 찾아 일반화 성능을 높이는 것이라는 설명은 옳다.
- 랜덤 서치가 범위 내에서 무작위로 추출해 제한된 시도 횟수로 효율적으로 탐색한다는 설명은 옳다.
- 그리드 서치가 모든 조합을 전수 조사해 탐색 공간이 커지면 연산량이 급증한다는 설명은 옳다.
| 1 | 1 | 1 |
| 2 | 2 | 5 |
| 3 | 3 | 7 |
현재 파라미터에서 그래디언트는 이다.
오차 로 두면 , 이다.
예측값은 1, 3, 5이므로 오차는 이다.
- 두 성분이 모두 양수인 값은 오차를 로 잘못 잡아 부호가 뒤집힌 결과다.
- 은 와 방향 성분의 순서를 바꾼 값이다.
- 은 부호와 순서를 모두 잘못 쓴 값이다.
| 예측 A | 예측 B | 예측 C | |
|---|---|---|---|
| 실제 A | 4 | 0 | 0 |
| 실제 B | 0 | 1 | 1 |
| 실제 C | 0 | 1 | 1 |
* 미시 평균 F1: 클래스별 TP, FP, FN을 각각 합산한 뒤 계산한 F1
거시 평균 F1은 2/3, 미시 평균 F1은 3/4이다.
클래스별로 보면 A는 TP=4, FP=0, FN=0으로 F1=1이고, B와 C는 각각 TP=1, FP=1, FN=1로 정밀도·재현율이 모두 1/2이라 F1=1/2이다.
거시 평균:
미시 평균: TP 합 6, FP 합 2, FN 합 2이므로 , 따라서 F1도 3/4이다.
- 두 값을 모두 2/3로 본 짝은 미시 평균을 거시 평균과 같게 잘못 계산한 것이다.
- 3/4, 2/3 순서의 짝은 거시와 미시 값을 서로 바꾼 것이다.
- 거시 평균을 1/2로 본 짝은 클래스 A의 F1=1을 반영하지 않은 값이다.

X mean: 54.26 Y mean: 47.83
X SD: 16.76 Y SD: 26.93
Corr. : -0.06
피어슨 상관계수가 공룡·별 모양 같은 기하학적 형태의 종속성까지 반영한다는 설명이 옳지 않다.
피어슨 상관계수는 두 변수 사이의 선형(직선) 관계의 방향과 강도만 측정한다. 산점도의 모양이 전혀 달라도 평균·표준편차·상관계수가 같을 수 있으므로, 곡선이나 도형 형태의 비선형 종속성은 이 지표로 드러나지 않는다.
- 산점도 같은 시각화는 요약 통계량이 가리는 실제 분포와 형상을 직관적으로 보여 주므로 옳다.
- 상관계수가 0에 가까운 -0.06이면 직선 형태의 양·음의 상관이 거의 없다는 뜻이므로 옳다.
- 높은 상관관계가 관찰되어도 상관은 인과가 아니므로 한 변수가 다른 변수를 직접 변화시켰다는 근거가 될 수 없어 옳다.
ㄴ. SHAP(Shapley additive explanations)
ㄷ. 의사결정 트리 대리 모델(decision tree surrogate)
ㄹ. Grad-CAM(gradient-weighted class activation map)
LIME, SHAP, 의사결정 트리 대리 모델, Grad-CAM은 모두 설명 가능한 인공지능 기법이므로 개수는 4개이다.
각각 국소 근사, 기여도 분해, 전역 대리 모델, 시각적 주목 영역 표시라는 서로 다른 방식으로 블랙박스 모델의 판단 근거를 설명한다.
- LIME은 특정 입력 주변에서 해석 가능한 단순 모델을 국소적으로 학습해 예측을 설명한다.
- SHAP은 섀플리 값으로 각 특성이 예측에 기여한 정도를 분해한다.
- 의사결정 트리 대리 모델은 복잡한 모델의 입출력을 해석 가능한 트리로 모방해 전체 동작을 설명한다.
- Grad-CAM은 클래스 점수의 그래디언트로 CNN이 주목한 이미지 영역을 히트맵으로 보여준다.
| 0 | 1 | 2 | 3 | 0 | 1 | 2 | 3 |
필터
| -1 | 0 | 1 |
출력
| ㈎ |
㈎ 위치(네 번째 출력)의 값은 -2이다.
교차상관은 필터를 뒤집지 않고 그대로 겹쳐 곱한 뒤 더하므로, 필터 은 창의 셋째 값에서 첫째 값을 뺀 것과 같다. 입력 8개, 필터 3개, 보폭 1이면 출력은 6개이다.
- 첫째 창 (0, 1, 2) → 2 − 0 = 2
- 둘째 창 (1, 2, 3) → 3 − 1 = 2
- 셋째 창 (2, 3, 0) → 0 − 2 = −2
- 넷째 창 (3, 0, 1) → 1 − 3 = −2 (㈎)
- 다섯째·여섯째 창 (0, 1, 2), (1, 2, 3) → 각각 2
ㄴ. 최적의 정책 는 모든 상태에서 가치 함수를 최소로 만드는 정책이다.()
ㄷ. 할인율()이 적용된 누적보상액은 이며, 이때 이다.
옳은 설명은 ㄱ뿐이다.
가치 함수 는 상태 에서 정책 를 따를 때 얻는 누적보상(이득)의 기댓값이다.
- ㄴ: 최적 정책은 모든 상태에서 가치 함수를 최대로 만드는 정책으로, 여야 한다.
- ㄷ: 할인율은 범위이며, 이면 먼 미래 보상이 커져 무한 시계에서 누적보상이 발산할 수 있다.
ㄴ. 문장 “the cat sat on the mat”에서 bigram(2-gram)을 만들 때 생성되는 bigram의 총 개수는 5개이다. (단, 토큰은 공백 단위로 나눈다.)
ㄷ. Transformer는 순환 구조 없이 셀프 어텐션(self-attention)으로 문맥을 처리한다.
ㄹ. BERT는 양방향 문맥을, GPT는 좌→우 단방향 문맥을 주로 학습한다.
ㄱ, ㄴ, ㄷ, ㄹ 모두 옳은 설명이다.
각 항목은 Word2Vec, n-gram, Transformer, BERT·GPT의 핵심 특징을 정확히 서술하고 있다.
- ㄱ: Skip-gram은 중심 단어로 주변 단어를 예측하고, CBOW는 반대로 주변 단어로 중심 단어를 예측한다.
- ㄴ: 토큰이 6개(the, cat, sat, on, the, mat)이므로 연속 2개씩 묶은 bigram은 6 − 1 = 5개이다.
- ㄷ: Transformer는 RNN의 순환 구조 없이 셀프 어텐션으로 모든 위치를 한 번에 참조한다.
- ㄹ: BERT는 마스크 언어 모델로 양방향 문맥을, GPT는 다음 토큰 예측으로 좌→우 단방향 문맥을 학습한다.
입력 이미지 일부를 가리고 예측 변화를 재는 기법은 Occlusion sensitivity이다.
이미지의 영역을 차례로 가리면서 예측 확률이 크게 떨어지는 영역을 찾아, 그곳을 모델이 중요하게 본 영역으로 해석한다.
- CAM은 마지막 합성곱 특징 맵과 전역 평균 풀링 뒤 출력층 가중치를 결합해 주목 영역을 표시한다.
- Grad-CAM은 클래스 점수의 그래디언트로 특징 맵에 가중치를 주어 주목 영역을 표시한다.
- tf-explain은 텐서플로 모델에 여러 설명 기법을 적용하도록 돕는 라이브러리 이름일 뿐, 가림 기반 기법 자체를 가리키지 않는다.
가 커지면 내적 값이 커져 소프트맥스가 포화되고 기울기가 사라지므로, 스케일링 없이도 안정적이라는 설명은 옳지 않다.
성분이 서로 독립이고 평균 0, 분산 1이면 의 분산은 에 비례해 커진다. 그래서 로 나누어 분산을 1 수준으로 되돌린다.
- 와 의 내적으로 쿼리와 키의 유사도를 계산한다는 설명은 옳다.
- 로 나누어 소프트맥스 그래디언트 포화를 완화한다는 설명은 옳다.
- 소프트맥스 출력이 의 가중 평균을 위한 가중치로 쓰인다는 설명은 옳다.
자기회귀 모델은 연쇄 법칙으로 결합확률을 조건부 확률의 곱으로 분해해 순차적으로 생성한다.
처럼 앞선 값들을 조건으로 다음 값을 예측하며, GPT 계열 언어 모델이 대표적이다.
- 생성자와 판별자를 경쟁시키는 적대적 학습은 VAE가 아니라 GAN의 방식이며, VAE는 인코더·디코더와 변분 하한(ELBO)으로 학습한다.
- 확산 모델은 순방향 과정에서 데이터에 잡음을 점진적으로 더하고, 역방향 과정에서 잡음을 제거해 데이터를 복원하므로 설명이 뒤바뀌었다.
- GAN은 확률밀도를 명시적으로 계산하지 않는 암묵적 생성 모델로, 우도 대신 판별자와의 적대적 손실로 학습한다.
지식 증류에서 학생 모델은 실제 정답과 함께 교사 모델의 클래스별 확률분포(소프트 레이블)를 학습해 교사의 지식을 전달받는다.
소프트 레이블에는 클래스 간 유사성 같은 정보가 담겨 있어, 작은 학생 모델도 교사에 가까운 성능을 낼 수 있다. 보통 온도를 높인 소프트맥스로 분포를 부드럽게 만들어 쓴다.
- 가중치를 복사하는 것이 아니라 출력을 모방하는 방식이므로, 학생 모델은 교사보다 작은 다른 구조여도 된다.
- 증류가 끝나면 추론에는 가벼운 학생 모델만 실행하며, 교사 모델을 함께 돌릴 필요가 없다.
- 값이 작은 가중치를 제거해 연산량을 줄이는 방법은 지식 증류가 아니라 가지치기(pruning)이다.
모바일용 정밀도 축소와 양자화의 주 목적은 학습이 아니라 기기 내 추론(inference)의 가속과 경량화이므로, 역전파 학습 가속이라는 설명은 옳지 않다.
모델은 서버에서 학습을 마친 뒤 경량화해 배포하고, 모바일 기기에서는 주로 순전파 추론만 수행해 메모리·연산량·전력 소모를 줄인다.
- 자원이 제한된 기기에서 정확도를 크게 낮추지 않고 효율적인 경량 모델 배포를 지원한다는 설명은 옳다.
- 32비트에서 16비트 부동소수점으로 낮추면 가중치 크기가 절반이 되어 용량이 약 1/2로 준다는 설명은 옳다.
- 32비트 부동소수점을 8비트 정수로 양자화하면 용량이 약 1/4로 준다는 설명은 옳다.