어휘분석 과정에서 토큰으로 인식되지 않는 것은? | [사무자동화산업기사 필기] 17년 1회차 기출문제 상세 페이지

어휘분석 과정에서 토큰으로 인식되지 않는 것은 토큰 사이의 공백문자이다.
어휘분석기는 소스 코드를 예약어·식별자·구두점 기호 등 의미 단위인 토큰으로 분리하는데, 공백이나 개행 같은 구분자는 토큰의 경계를 나타낼 뿐 그 자체가 토큰으로 생성되지는 않는다.