본문으로 건너뛰기
자연어 처리부터 언어 모델까지 한번에 끝내기
Online Book

자연어 처리부터 언어 모델까지 한번에 끝내기

Introduction to Natural Language Processing

이수안
2024-05-01

소개

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 처리할 수 있도록 하는 인공지능 분야입니다. 텍스트 분석, 기계 번역, 챗봇 등 다양한 응용 분야가 있습니다.

목차

1장: 자연어 처리 개요

  • NLP란 무엇인가?
  • NLP의 응용 분야
  • NLP 처리 파이프라인
  • 주요 라이브러리 (NLTK, SpaCy, KoNLPy)

2장: 텍스트 전처리

  • 토큰화 (Tokenization)
  • 정규화 (Normalization)
  • 불용어 제거 (Stopword Removal)
  • 어간 추출과 표제어 추출
  • 한국어 형태소 분석

3장: 텍스트 표현

  • Bag of Words (BoW)
  • TF-IDF
  • N-gram
  • 워드 임베딩 개념
  • Word2Vec, FastText

4장: 텍스트 분류

  • 감성 분석
  • 스팸 필터링
  • 문서 분류
  • 나이브 베이즈 분류기
  • 딥러닝 기반 분류

5장: 시퀀스 모델링

  • RNN의 이해
  • LSTM과 GRU
  • Seq2Seq 모델
  • 기계 번역
  • 텍스트 생성

6장: Transformer와 BERT

  • Attention 메커니즘
  • Transformer 아키텍처
  • BERT 이해하기
  • KoBERT 활용
  • 파인튜닝 실습

7장: 대규모 언어 모델 (LLM)

  • GPT 시리즈
  • LLaMA
  • 프롬프트 엔지니어링
  • RAG (Retrieval-Augmented Generation)
  • LangChain 활용

8장: 실전 프로젝트

  • 뉴스 기사 분류
  • 챗봇 구현
  • 문서 요약
  • 질의응답 시스템

관련 강의