[인공지능융합대학원 2022 후기]자연어처리 수강후기

안녕하세요! AI Cruise의 HY입니다.

 

AI Cruise는 현재 겨울 방학을 맞이하여 알찬 매일을 보내고 있습니다.

하반기에는 시험이 3개가 몰려 있어 힘들기도 했지만 어떻게든 잘 마무리했습니다.

그럼 자연어처리 수강후기 시작하겠습니다.

 

 

자연어처리 수업 형식

한양대학교 인공지능융합대학원은 5주, 10주, 15주짜리 강의를 다양하게 운영하고 있는데요,

이번에 수강을 완료한 자연어처리 과목은 5주동안 진행되는 수업이었습니다.

 

구체적으로는

1~4주차 - 실시간 화상 강의

5주차 - 기말고사 (대면)

형식으로 진행되었습니다.

 

그렇다면 자연어처리 수업에서 어떤 것들을 배웠는지? 대략적으로 요약해서 정리해 보겠습니다.

 

 

자연어처리 수업 내용

<1주차>

Introduction, word vectors, language models, recurrent neural network

• 언어의 기본적인 단위인 단어를 어떻게 컴퓨터가 이해할 수 있게 할지
• Word Vectors: word를 표현하기 위한 수치 혹은 매개체
• Word2vec: 중심 단어와 주변에 있는 단어가 유사도가 높아지도록 학습하는 방법론
• Language Modeling: pretraining에 제일 많이 쓰는 task, 문장의 다음 단어를 맞추는 task를 통해 언어학적 개념 취득
• RNN: 이전까지 처리한 자기 자신의 결과에 새로운 입력 단어를 조합해서 새로운 상태를 만들고 이것을 반복하는 식으로 연산
• LSTM: context가 길어지면 앞에 나왔던 것을 잊어버리는(기울기 소실) 기초 RNN의 문제 보완
• GRU
• Bidirection RNNs, Multi-layer RNNs

 

<2주차>

MT, Seq2seq, Attention, Transformers, Pretraining, and Large Language Models

• Machine Translation
• Seq2seq: 일종의 Conditional Language Model
• Attention: Seq2seq의 bottleneck problem을 해결하기 위한 매커니즘, 디코더에서 단어를 생성할 때 인코더의 어떤 정보가 필요한지(어디에 attention하고 싶은지) 계산
• Self-attention: 디코더에 정보를 주는 것이 아닌 스스로 입력에 대한 정보를 잘 처리하는 방법의 일환
• Transformer: Attention만 따로 떼와서 만든 새로운 아키텍처
• Multi-headed attention: Transformer에서 사용하는 테크닉, 여러 관점을 적용하여 Attention 계산
• Residual connections, Layer normalization, Scaled dot product
• GPT, BERT

 

<3주차>

Question Answering and Language Generation

• Reading comprehension: question과 대응되는 passage가 존재하며 답변이 무조건 passage안에 있음
• BiDAF: Context-to-query, Query-to-context 양방향으로 Attention score 계산
• Open-domain question answering: passage 없이 NN이 스스로 탐색
• Retriever-reader framework: 질문이 주어졌을 때 질문과 연관이 있을 것 같은 document를 찾고(Retriever) 그것을 이용해서 적절한 정답을 찾는다.(Reader)
• Language Generation: 단어를 생성할 때 가지고 있는 단어 중 각각의 확률이 어떻게 되는지 확률 분포를 계산
• 디코딩 알고리즘: Greedy methods, Beam search, Top-k sampling, Top-p sampling
• 모델 평가 방법: Content Overlap Metrics, Model-based Metrics, Human evaluations

 

<4주차>

Model Analysis and Explanation, The Future of NLP + Deep Learning

• 모델이 사람처럼 이해해서 문제를 푸는 것인지, 나름의 방식이 있는지 분석
• Saliency maps: 어떠한 input이 이러한 결과를 이끌었는지 설명하기 위해 사용, 예측할 때 가장 중요했던 키워드 표시
• Probing: 분석하려는 pretrained 모델을 freeze하고 여기에 아주 간단한 FNN을 얹어 문제를 잘 푸는 지 테스트
• 그 외 여러가지 분석 방법론
• GPT-3의 특징: In-Context Learning

 

 

자연어처리 강의평

 

총평: 짧은 시간 동안 최대한 Trendy한 내용을 배울 수 있었던 강의

 

난이도:

-어렵지는 않으나 많은 내용을 빠르게 배우는 강의이므로 어느 정도는 예습을 하는 편이 수업을 따라가기 용이할 듯

-수업 내용에 비해 시험은 어렵지 않지만 답안을 정확히 잘 작성해야 좋은 학점을 받을 수 있을 것으로 보임

-매주 퀴즈 존재

 

수업의 퀄리티:

-각 강의 자료의 양이 많고 읽기에 깔끔함

-시중에 나온 도서로는 이해하기 어려웠던 내용도 잘 풀어서 설명해 주심

-4주 학습이므로 수학적인 내용 등 깊게는 들어가지 않음

-전반적으로 NLP분야를 훑어보기 좋았던 수업

 

이런 사람에게 추천:

-NLP 분야에 관심이 있는 입문자

 

 

본 대학원에 재학중이시거나, 관심이 있으신 분에게 도움이 되길 바라며 이만 마치겠습니다.