○ (가) 에 도달하면 인공지능은 자신보다 더 좋은 지능을 가진 또 다른 인공지능을 설계하고 생산할 수 있게 된다.
○ 인공지능 과학자 겸 미래학자인 레이 커즈와일(Ray Kurzweil)은 그의 저서 『 (가) 이 온다』에서 2045년 그 시점이 도래할 것으로 예측했다.
(가)에 들어갈 개념은 특이점(singularity)이다.
인공지능이 인간 지능을 넘어 스스로 더 뛰어난 인공지능을 설계하는 시점을 기술적 특이점이라 하며, 레이 커즈와일은 『특이점이 온다』에서 그 시기를 2045년으로 예측했다.
- 분기점: 경로나 흐름이 갈라지는 지점을 뜻하는 일반 용어로, 지능 초월 시점을 가리키지 않는다.
- 임계점: 물리·화학에서 상태가 급변하는 경계 조건을 뜻하며 AI 개념어가 아니다.
- 전환점: 흐름이 바뀌는 계기를 뜻하는 일상어로 커즈와일의 저서 제목과 맞지 않는다.
비지도 학습 기법은 주성분 분석(PCA)이다.
PCA는 정답 레이블 없이 데이터의 분산이 가장 큰 방향(주성분)을 찾아 차원을 축소하는 비지도 학습이다.
- 랜덤 포레스트: 레이블된 데이터로 여러 결정 트리를 학습해 앙상블하는 지도 학습이다.
- 서포트 벡터 머신: 레이블을 이용해 마진을 최대화하는 결정 경계를 찾는 지도 학습이다.
- 의사결정 트리: 레이블 기준으로 불순도를 줄이도록 분할하는 지도 학습이다.
옳지 않은 것은 단층 퍼셉트론이 비선형 영역을 포함한 문제를 해결할 수 있다는 설명이다.
단층 퍼셉트론은 하나의 직선(초평면)으로 나누는 선형 분리 문제만 풀 수 있어, XOR 같은 비선형 문제에는 다층 퍼셉트론이 필요하다.
- 학습률·에폭 수 같은 하이퍼 매개 변수는 학습으로 정해지지 않으므로 사람이 정한다.
- 퍼셉트론은 여러 입력 신호에 가중치를 곱해 합한 뒤 하나의 신호를 출력한다.
- 임곗값 를 좌변으로 넘기면 바이어스 로 대체해 표현할 수 있다.
○ 레지듀얼 블록(residual block)을 도입하여 스킵 연결(skip connection)을 사용한다.
○ 레지듀얼 블록의 출력은 입력값과 레지듀얼 함수(residual function)의 결과를 더한 형태로 표현할 수 있다.
○ 이러한 구조를 통해 심층 신경망의 학습 효율을 높일 수 있다.
설명에 해당하는 모델은 ResNet이다.
ResNet은 마이크로소프트 연구팀이 발표한 모델로, 입력을 블록 출력에 그대로 더하는 스킵 연결로 출력을 형태로 만들어 깊은 망의 학습을 쉽게 한다.
- DenseNet: 각 층의 출력을 이후 모든 층에 덧셈이 아닌 채널 연결(concatenation)로 전달한다.
- MobileNet: 깊이별 분리 합성곱으로 연산량을 줄인 경량 모델이다.
- RCNN: 후보 영역을 추출해 CNN으로 분류하는 객체 탐지 모델이다.
기울기 소실 해결을 위해 개발된 함수는 지수 선형 유닛(ELU)이다.
ELU는 양수 구간에서 입력을 그대로 내보내 기울기가 1로 유지되고, 음수 구간은 지수 곡선으로 완만히 포화되어 ReLU 계열처럼 기울기 소실을 줄인다.
- 시그모이드: 도함수 최댓값이 0.25로 작아 층을 거칠수록 기울기가 소실된다.
- 계단 함수: 거의 모든 구간에서 미분값이 0이라 역전파 학습 자체가 어렵다.
- 하이퍼볼릭 탄젠트: 시그모이드보다 낫지만 양 끝에서 포화되어 기울기 소실이 남는다.
(나) 비정형 데이터(unstructured data)
(다) 반정형 데이터(semi-structured data)
D. EXCEL E. JSON F. RDB
G. XML
(가) 정형은 EXCEL·RDB, (나) 비정형은 SNS·VIDEO, (다) 반정형은 HTML·JSON·XML이다.
정형은 행·열 스키마가 고정된 데이터, 반정형은 태그·키 같은 메타 구조를 데이터 안에 포함한 데이터, 비정형은 정해진 구조가 없는 텍스트·영상 등이다.
- XML을 정형으로 본 연결: XML은 태그로 구조를 표현하는 반정형 데이터다.
- JSON을 비정형으로 본 연결: JSON은 키-값 구조를 가진 반정형 데이터다.
- HTML·JSON·XML을 비정형, SNS·VIDEO·EXCEL을 반정형으로 본 연결: 분류가 뒤바뀌었다.
훈련 데이터 개수 검증 데이터 개수
한 번의 반복에서 훈련 800개, 검증 200개를 사용한다.
5-폴드 교차검증은 데이터를 5등분해 1개 폴드를 검증에, 나머지 4개 폴드를 훈련에 쓴다.
폴드 크기:
훈련 데이터:
- 훈련 200·검증 800: 훈련과 검증을 뒤바꾼 값이다.
- 훈련 500·검증 500: 2-폴드로 나눴을 때의 분할이다.
- 훈련 1,000·검증 1,000: 훈련과 검증 데이터가 겹치면 교차검증의 의미가 없다.
생성모델에 해당하지 않는 것은 DQN이다.
DQN은 심층 신경망으로 Q-함수를 근사해 행동을 선택하는 강화학습 알고리즘으로, 데이터 분포를 학습해 새 샘플을 만드는 생성모델이 아니다.
- Diffusion Model: 잡음을 단계적으로 제거하는 역과정을 학습해 데이터를 생성한다.
- GANs: 생성자와 판별자의 적대적 학습으로 실제 같은 데이터를 생성한다.
- VAEs: 잠재 분포를 학습하고 그 분포에서 샘플링해 새 데이터를 생성한다.
설명 가능성 부족의 이유가 아닌 것은 학습 데이터의 부족이다.
설명 가능성 문제는 데이터 양이 아니라 내부 판단 과정을 사람이 해석하기 어려운 블랙박스 특성에서 비롯되며, 데이터 부족은 주로 과적합·일반화 성능 저하의 원인이다.
- 비선형적인 데이터 처리: 비선형 변환이 겹겹이 쌓여 입력과 출력의 관계를 추적하기 어렵다.
- 추상적 특징의 학습: 은닉층이 학습한 특징은 사람이 이해하는 개념과 직접 대응하지 않는다.
- 모델의 복잡성: 수많은 층과 파라미터가 상호작용해 개별 판단 근거를 분리하기 어렵다.
옳지 않은 것은 인공지능이 반드시 인간의 직접적인 통제 없이 자율적으로 작동해야 한다는 설명이다.
아실로마 원칙은 오히려 인간 통제를 강조해, 결정을 AI에 맡길지와 그 방법을 인간이 선택해야 한다고 규정한다.
- 연구 이슈, 윤리와 가치, 장기적 이슈로 묶인 23가지 원칙을 제시했다.
- 연구 목표는 방향성 없는 지능이 아니라 인간에게 유익한 지능을 만드는 것이라고 명시했다.
- AI 시스템이 피해를 일으키면 그 원인을 확인할 수 있어야 한다는 실패 투명성을 요구했다.
○ 보상: 10
○ 학습률: 0.5
○ 할인계수: 0.9
○ 다음 상태의 Q-값 중 최댓값: 8
갱신된 Q값은 11.1이다.
Q-러닝 갱신식:
대입:
계산:
- 17.2: 목표값 만 구하고 학습률로 기존 값과 섞는 과정을 빠뜨린 값이다.
- 8.6: 목표값에 학습률만 곱하고 현재 Q값을 반영하지 않은 값이다.
가중치의 총 개수는 이다.
출력 채널 하나를 만드는 필터는 입력 채널 전체를 덮어야 하므로 크기가 이고, 이런 필터가 출력 채널 수 개만큼 필요하다.
- : 커널의 공간 크기를 빠뜨렸다.
- : 필터가 입력 채널 전체에 걸친다는 점을 빠뜨렸다.
- : 출력 채널 수는 더하는 것이 아니라 곱해야 한다.
옳지 않은 것은 기호주의가 딥러닝 모델을, 연결주의가 전문가 시스템을 위한 것이라는 설명으로, 두 패러다임이 뒤바뀌었다.
전문가 시스템 같은 지식 기반 시스템은 기호주의, 이미지·음성 인식용 딥러닝은 연결주의의 대표 성과다.
- 기호주의는 해석이 쉽지만 노이즈에 약하고, 연결주의는 해석은 어렵지만 노이즈에 강하고 범용 근사 능력이 높다.
- 기호주의는 논리 연산으로 이산적 문제를 풀고, 연결주의는 미분 가능한 함수를 경사 기반으로 학습한다.
- 기호주의는 규칙·논리식으로 지식을 명시하고, 연결주의는 분산된 가중치에 지식을 암묵적으로 저장한다.
옳지 않은 것은 주목 점수를 query와 value의 내적으로 계산한다는 설명이다.
주목 점수는 query와 key의 내적을 로 나눈 뒤 소프트맥스를 적용해 구하고, 이 가중치로 value를 가중합한다.
- 트랜스포머는 순환 구조 없이 모든 토큰을 한꺼번에 처리하므로 RNN과 달리 병렬처리가 가능하다.
- 순서 정보가 없는 구조이므로 위치 임베딩으로 토큰의 위치 정보를 더해 준다.
- 자기 주목은 각 위치가 입력의 어느 위치에 주목할지를 가중치로 수치화한다.
(나) 중앙 서버는 여러 디바이스로부터 받은 파라미터를 집계하여 글로벌 모델을 갱신한다.
(다) 중앙 서버는 초기 글로벌 모델을 각 디바이스로 배포한다.
(라) 각 디바이스는 업데이트된 파라미터만 중앙 서버로 전송한다.
올바른 순서는 (다) → (가) → (라) → (나)이다.
서버가 초기 글로벌 모델을 배포하면 각 디바이스가 로컬 데이터로 학습하고, 원본 데이터 대신 업데이트된 파라미터만 서버로 보내며, 서버가 이를 집계해 글로벌 모델을 갱신한다.
- (가) → (다) → (라) → (나): 모델을 배포받기 전에는 디바이스가 학습을 시작할 수 없다.
- (가) → (라) → (다) → (나): 배포 전에 학습·전송이 먼저 일어나 순서가 성립하지 않는다.
- (다) → (라) → (가) → (나): 학습 전에 전송하면 보낼 업데이트 파라미터가 없다.

| 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 1 | 0 | 1 |
| 1 | 1 | 0 | 1 | 0 |
| 1 | 1 | 1 | 1 | 1 |
| 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 1 | 0 | 1 |
| 1 | 1 | 0 | 1 | 1 |
| 1 | 1 | 1 | 1 | 0 |
| 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 1 | 1 | 0 |
| 1 | 1 | 0 | 1 | 1 |
| 1 | 1 | 1 | 0 | 1 |
| 0 | 0 | 0 | 0 | 1 |
| 0 | 1 | 0 | 1 | 1 |
| 1 | 0 | 1 | 1 | 0 |
| 1 | 1 | 1 | 0 | 0 |
은닉층 없이 입력이 출력에 바로 연결된 단층 퍼셉트론은 각 출력이 입력의 선형 분리 가능한 함수일 때만 학습할 수 있으므로, , 로 표현되는 데이터 세트가 학습 가능하다.
그림의 신경망은 가 에 각각 직접 연결되어 있어, 각 출력은 의 부호로 정해지는 선형 경계 하나만 만들 수 있다. 따라서 XOR 형태의 출력이 하나라도 있으면 학습이 불가능하다.
- 이지만 열이 0, 1, 1, 0 인 세트(입력 000, 001, 110, 111): 모든 행에서 이므로 인 XOR가 되어 선형 분리할 수 없다.
- 이지만 열이 0, 1, 1, 0 인 세트(입력 000, 001, 110, 111): 인 XOR라 선형 분리할 수 없다.
- 입력이 000, 010, 101, 111 인 세트: 이므로 인 XOR가 되어 는 분리 가능해도 을 학습할 수 없다.
가장 큰 확률값은 약 0.67이다.
소프트맥스는 각 로짓의 지수를 전체 지수 합으로 나누며, 최댓값은 로짓 2에서 나온다.
공식:
대입:
반올림하면 0.67이 된다.
- 0.33: 세 클래스를 균등하게 본 값으로 지수 변환을 반영하지 않았다.
- 0.25: 로짓 1의 확률 에 가까운 값으로 최댓값이 아니다.
- 0.89: 실제 최댓값 보다 큰 값으로, 지수 합을 바르게 나누면 나오지 않는다.

그래프는 학습 손실은 계속 줄지만 검증 손실이 어느 지점부터 다시 오르는 과대적합(overfitting)이므로, 모델이 학습 데이터의 패턴을 학습하지 못했다는 설명이 옳지 않다.
학습 데이터의 패턴을 제대로 학습하지 못한 상태는 학습 손실 자체가 높게 남는 과소적합이다. 그림에서는 학습 손실이 매우 낮아져 오히려 학습 데이터에 지나치게 맞춰졌다.
- 학습 데이터 추가: 데이터가 많아지면 일반화 성능이 좋아져 검증 손실을 학습 손실 쪽으로 낮출 수 있다.
- 은닉층·뉴런 수 과다: 모델 용량이 지나치게 크면 학습 데이터를 암기해 과대적합이 생길 수 있다.
- 가중치 규제: L1·L2 같은 가중치 규제는 과대적합을 완화하는 대표적인 방법이다.
옳지 않은 것은 리키렐루가 음수 입력에 0을 출력한다는 설명이다.
음수에서 0을 출력하는 것은 ReLU이고, 리키렐루는 음수 입력에 작은 기울기를 곱한 를 출력해 뉴런이 죽는 문제를 줄인다.
- 활성화 함수는 뉴런이 가중합 입력을 받아 출력을 계산하는 함수이다.
- 시그모이드는 S자형 곡선이며 로지스틱 함수가 대표적이다.
- 소프트맥스는 출력을 0~1 사이로 정규화해 총합이 1인 확률분포로 만든다.
○ A 암이 있는 경우 0.99의 확률로 진단키트에 양성 반응이 나오고, A 암이 없는 경우에는 0.95의 확률로 진단키트에 음성 반응이 나온다.
양성일 때 실제 암일 확률은 약 0.01이다.
베이즈 정리:
대입:
계산:
유병률이 매우 낮아 위양성이 진양성보다 훨씬 많기 때문에 사후확률이 작아진다.
- 약 0.05: 암이 없는 사람이 양성으로 나올 확률(위양성률)이다.
- 약 0.95: 암이 없을 때 음성이 나올 확률(특이도)이다.
- 약 0.99: 암이 있을 때 양성이 나올 확률(민감도)로, 구하려는 사후확률과 조건이 반대다.
(나) Adapter
(다) Prefix Tuning
B. 각 층의 어텐션 계산에 사용할 학습 가능한 접두 벡터를 추가하여 새로운 작업에 적응시키는 기법
C. 모델 내부에 작은 추가 모듈을 삽입하여 새로운 작업에 필요한 변화만 별도로 학습하는 기법
바른 연결은 (가) LoRA-A, (나) Adapter-C, (다) Prefix Tuning-B이다.
LoRA는 가중치 변화량을 두 저랭크 행렬의 곱으로 학습하고, Adapter는 층 사이에 작은 모듈을 끼워 넣어 학습하며, Prefix Tuning은 각 층 어텐션에 학습 가능한 접두 벡터를 붙인다.
- A·B·C 연결: Adapter와 Prefix Tuning의 설명을 맞바꿨다.
- B·A·C 연결: LoRA와 Adapter에 각각 접두 벡터·저랭크 설명을 붙여 모두 어긋났다.
- C·A·B 연결: LoRA와 Adapter의 설명을 맞바꿨다.
바이그램 확률식은 P(간다 | 학교에)이다.
바이그램은 다음 단어가 바로 앞 한 단어에만 의존한다고 가정(1차 마르코프 가정)하므로 ‘학교에’만 조건으로 둔다.
- P(간다): 앞 문맥을 쓰지 않는 유니그램이다.
- P(간다 | 나는): 바로 앞 단어가 아닌 두 칸 앞 단어를 조건으로 잡았다.
- P(간다 | 나는, 학교에): 앞 두 단어를 쓰는 트라이그램이다.
옳지 않은 것은 잡음제거 오토인코더가 입력과 동일한 데이터를 출력하도록 학습한다는 설명이다.
잡음제거 오토인코더는 잡음을 섞은 입력을 받아 잡음 없는 원본을 복원하도록 학습하므로, 출력 목표가 실제로 들어온 입력과 다르다.
- 인코더가 특징을 추출하고 디코더가 원본을 재구성하는 구조로 학습한다.
- 레이블 없이 출력이 입력을 재현하도록 학습하는 비지도 학습이다.
- 희소 오토인코더는 코딩층에서 활성화되는 노드 수를 줄이도록 제약을 둔다.
옳지 않은 것은 CLIP이 클래스를 추가하고 재학습해야 새 이미지를 분류한다는 설명이다.
CLIP은 클래스 이름을 문장으로 만들어 텍스트 임베딩과 이미지 임베딩의 유사도를 비교하므로, 재학습 없이 새 클래스를 분류하는 제로 샷 예측이 가능하다.
- 텍스트 인코더로 트랜스포머 언어 모델을 사용한다.
- 이미지와 텍스트를 같은 임베딩 공간에 두고, 짝이 맞는 쌍의 유사도가 높아지도록 대조 학습한다.
- 시각·언어 대응 관계를 학습한 멀티 모달 모델로 이미지 검색·설명 생성·시각 질의응답 등으로 확장된다.
옳은 초기 절차는 사전 학습된 백본을 고정하고 새로 초기화한 분류기 레이어만 학습하는 것이다.
데이터가 적을 때는 범용 특징 추출기를 그대로 두고 헤드만 학습해 학습할 파라미터 수를 줄이는 것이 과적합을 막는 첫 단계이며, 이후 필요하면 상위층부터 낮은 학습률로 점진적으로 미세조정한다.
- 모든 레이어를 같은 학습률로 한 번에 미세조정: 소규모 데이터에 많은 파라미터가 과적합되고 사전학습 특징이 훼손될 수 있다.
- 가중치를 전부 고정하고 드롭아웃만 조정: 새 과제에 맞는 분류기가 학습되지 않아 성능을 확보할 수 없다.
- 모든 레이어를 랜덤 초기화해 새로 훈련: 사전학습의 이점을 버려 소규모 데이터에서 과적합 위험이 가장 크다.