자연어 처리부터 언어 모델까지 한번에 끝내기
Introduction to Natural Language Processing

Online Book
자연어 처리부터 언어 모델까지 한번에 끝내기
Introduction to Natural Language Processing
이수안
2024-05-01
소개
자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 처리할 수 있도록 하는 인공지능 분야입니다. 텍스트 분석, 기계 번역, 챗봇 등 다양한 응용 분야가 있습니다.
목차
1장: 자연어 처리 개요
- NLP란 무엇인가?
- NLP의 응용 분야
- NLP 처리 파이프라인
- 주요 라이브러리 (NLTK, SpaCy, KoNLPy)
2장: 텍스트 전처리
- 토큰화 (Tokenization)
- 정규화 (Normalization)
- 불용어 제거 (Stopword Removal)
- 어간 추출과 표제어 추출
- 한국어 형태소 분석
3장: 텍스트 표현
- Bag of Words (BoW)
- TF-IDF
- N-gram
- 워드 임베딩 개념
- Word2Vec, FastText
4장: 텍스트 분류
- 감성 분석
- 스팸 필터링
- 문서 분류
- 나이브 베이즈 분류기
- 딥러닝 기반 분류
5장: 시퀀스 모델링
- RNN의 이해
- LSTM과 GRU
- Seq2Seq 모델
- 기계 번역
- 텍스트 생성
6장: Transformer와 BERT
- Attention 메커니즘
- Transformer 아키텍처
- BERT 이해하기
- KoBERT 활용
- 파인튜닝 실습
7장: 대규모 언어 모델 (LLM)
- GPT 시리즈
- LLaMA
- 프롬프트 엔지니어링
- RAG (Retrieval-Augmented Generation)
- LangChain 활용
8장: 실전 프로젝트
- 뉴스 기사 분류
- 챗봇 구현
- 문서 요약
- 질의응답 시스템
