자연어 처리부터 언어 모델까지 한번에 끝내기

Introduction to Natural Language Processing

자연어 처리부터 언어 모델까지 한번에 끝내기
Online Book

자연어 처리부터 언어 모델까지 한번에 끝내기

Introduction to Natural Language Processing

이수안
2024-05-01

소개

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 처리할 수 있도록 하는 인공지능 분야입니다. 텍스트 분석, 기계 번역, 챗봇 등 다양한 응용 분야가 있습니다.

목차

1장: 자연어 처리 개요

  • NLP란 무엇인가?
  • NLP의 응용 분야
  • NLP 처리 파이프라인
  • 주요 라이브러리 (NLTK, SpaCy, KoNLPy)

2장: 텍스트 전처리

  • 토큰화 (Tokenization)
  • 정규화 (Normalization)
  • 불용어 제거 (Stopword Removal)
  • 어간 추출과 표제어 추출
  • 한국어 형태소 분석

3장: 텍스트 표현

  • Bag of Words (BoW)
  • TF-IDF
  • N-gram
  • 워드 임베딩 개념
  • Word2Vec, FastText

4장: 텍스트 분류

  • 감성 분석
  • 스팸 필터링
  • 문서 분류
  • 나이브 베이즈 분류기
  • 딥러닝 기반 분류

5장: 시퀀스 모델링

  • RNN의 이해
  • LSTM과 GRU
  • Seq2Seq 모델
  • 기계 번역
  • 텍스트 생성

6장: Transformer와 BERT

  • Attention 메커니즘
  • Transformer 아키텍처
  • BERT 이해하기
  • KoBERT 활용
  • 파인튜닝 실습

7장: 대규모 언어 모델 (LLM)

  • GPT 시리즈
  • LLaMA
  • 프롬프트 엔지니어링
  • RAG (Retrieval-Augmented Generation)
  • LangChain 활용

8장: 실전 프로젝트

  • 뉴스 기사 분류
  • 챗봇 구현
  • 문서 요약
  • 질의응답 시스템

관련 강의