AI Cruise

안녕하세요! AI Cruise의 HY입니다.

AI Cruise 멤버 HY는 현재 2학기까지 잘 마무리하고 여름방학을 보내고 있습니다.

2학기 수강후기를 작성하기 전에 1학기에 수강했던 AI프로그래밍 수강후기를 전해 드리려고 합니다.

AI프로그래밍 수업 형식

한양대학교 인공지능융합대학원은 5주, 10주, 15주짜리 강의를 다양하게 운영하고 있는데요,

이번에 수강을 완료한 AI프로그래밍 과목은 15주동안 진행되는 수업이었습니다.

그렇다면 AI프로그래밍 수업에서 어떤 것들을 배웠는지? 대략적으로 요약해서 정리해 보겠습니다.

주 사용 교재: 혼자 공부하는 머신러닝+딥러닝

AI프로그래밍 수업 내용

<1주차>

오리엔테이션

• 아인슈타인 퀴즈

<2주차>

• 기본적인 linear regression 모델 구현 (혈중지방량 측정)
• 기본적인 rogistic regression 모델 구현 (mnist 손글씨 분류)
• 선형 대수 기본 개념

<3주차>

• K-NN 알고리즘 (생선 분류 문제)
• K-means
• 통계와 머신러닝의 차이점
• 훈련 데이터와 테스트 데이터
• 데이터 전처리

<4주차>

• Data Exploration
  • CRISP-DM
  • The Data Quality Report
  • Histogram
  • Covariance & Correlation
• Decision Tree
  • 분류 트리
  • 회귀 트리
  • Gini Index
  • Entropy
  • Information Gain

<5주차>

• Decision Tree 모델 구현 실습
• 교차 검증과 그리드 서치
• 트리의 앙상블

<6주차>

휴강

<7주차>

• Similarity-based Learning
  • k-NN
  • Euclidean distance
  • Manhattan distance
  • Minkowski distance

<8주차>

• Naive Bayes Classifier
  • Conditional probability
  • Bayes' Theorem
  • Gaussian naive bayes classifier
  • Multinomial naive bayes classifier
  • Bernoulli naive bayes classifier

<9주차>

• Regression
  • Hypothesis
  • Cost Function
  • Logistic Hypothesis
  • Sigmoid
  • Logistic regression
  • Softmax
  • Logistic cost vs Cross-entropy

<10주차>

휴강

<11주차>

• 군집 알고리즘
• K-Means
• 주성분 분석(PCA)

<12주차>

• Perceptron
• Deep Learning
• Backpropagation

<13주차>

• CNN을 사용한 이미지 분류

<14주차>

• CNN의 시각화
• RNN으로 IMDB 리뷰 분류하기
• LSTM
• GRU

<15주차>

14주차 이어서

<16주차>

기말고사

<과제>

• 영화흥행예측
• VGG-16 모델을 사용한 학습

AI프로그래밍 강의평

총평: 얼마 안되는 실습 수업 중 하나로, 그만한 가치가 있었음

난이도:

-이론 파트도 있으나 코드리뷰 위주로 수업이 돌아가므로 파이썬 지식이 있으면 좋음

-직접 모델을 구현해 오는 실습 과제가 존재함

수업의 퀄리티:

-설명을 쉽고 직관적으로 잘 해주심

-유일하게 직접 실습을 해 볼 수 있는 수업이라 이론 이상의 많은 것을 얻어갈 수 있음

※참고: 2023년 후기에는 해당 강의 개설 여부 및 수업 내용에 변동이 있을 수 있습니다. 

본 대학원에 재학중이시거나, 관심이 있으신 분에게 도움이 되길 바라며 이만 마치겠습니다.

안녕하세요! AI Cruise의 HY입니다.

AI Cruise는 현재 겨울 방학을 맞이하여 알찬 매일을 보내고 있습니다.

하반기에는 시험이 3개가 몰려 있어 힘들기도 했지만 어떻게든 잘 마무리했습니다.

그럼 AI를 위한 뇌신경과학 수강후기 시작하겠습니다.

AI를 위한 뇌신경과학 수업 형식

한양대학교 인공지능융합대학원은 5주, 10주, 15주짜리 강의를 다양하게 운영하고 있는데요,

이번에 수강을 완료한 AI를 위한 뇌신경과학 과목은 5주동안 진행되는 수업이었습니다.

구체적으로는

1~4주차 - 실시간 화상 강의

5주차 - 기말고사 (대면) + 추가 강의

형식으로 진행되었습니다.

그렇다면 AI를 위한 뇌신경과학 수업에서 어떤 것들을 배웠는지? 대략적으로 요약해서 정리해 보겠습니다.

AI를 위한 뇌신경과학 수업 내용

<1주차>

1강

• 뇌의 동작과 닮은 AI 알고리즘의 예
• 뇌의 실제 동작과 관련 없이 발전한 AI의 현 상황
• AI분야에서 실제 뇌에서 배울 수 있는 것들
• Spiking Neural Network
• 인간 뇌에 관심을 가지는 이유: 높은 에너지 효율
• 인간의 뇌가 효율적인 이유

2강

• 인간의 뇌에서 무엇을 모방할 것인가?
• 편도체의 동작 기전
• 인간의 시각 처리 vs CNN

<2주차>

2강(1주차 이어서)

• 인간의 뇌에서 배울 수 있는 것들: Energy Efficiency, One-shot Learning, Continual Learning
• 폰 노이만 아키텍처 vs 뉴로모픽 아키텍처
• Methods to reduce the power consumption: Quantization, Pruning, Knowledge distillation
• 인간의 뇌를 모방한 Spiking Neural Network
• SNN의 장단점
• SNN의 Structure

2강-2

• Leaky Integrate and Fire Model
• Single Exponential Model
• Double Exponential Model
• Encoder: Rate coding, Time-to-first-spike coding

<3주차>

2강-2(2주차 이어서)

• SNN을 학습시키는 방법: Long-Term Potentiation, Long-Term Despression, Spike-Time-Dependent Plasticity
• Anti-Hebbian aSTDP
• Probabilistic STDP
• SNN의 문제점: 기존보다 낮은 성능, 학습의 어려움, 주로 영상 분류에만 적용함

3강

• 자연신경망과 인공신경망의 차이
• AI에 새롭게 도입될 가능성이 있는 뇌과학
  • Distributed Representations, Cortical Plasticity, 신경 가소성
  • 뇌의 보호 메커니즘
  • 그물망 이론 vs 뉴런 이론
  • 전기적 시냅스 vs 화학적 시냅스
  • 발산과 수렴
  • 신경회로는 계층적 회로, 국소회로, 단일출처확산회로 세 가지 유형이 있음
  • 우리 뇌는 용불용설을 따름
  • 신경선택론: 넘침, 쓸모, 제거
  • 점화 효과: 연습을 통해 약한 단서로 대상 파악 가능

<4주차>

특강

• 최근 인공지능에 우려되는 점
• 뇌의 무엇을 따라해야 하는가?
• 뇌의 기능은 어떻게 발생하는가?
• 자발적으로 발생하는 뇌 기능들
• 인공지능이 가야 할 길

3강(3주차 이어서)

• AI를 위한 뇌신경과학 전망: 뇌 네트워크 모델, 레저버 컴퓨팅, Dynamic Reorganization of Brain Modules

추가 특강

• 뇌파 데이터 적용의 어려움: Nonstationary characteristic, Lack of data
• CNN을 이용한 뇌파 데이터 분류 시도
• 데이터 증강 기술들

AI를 위한 뇌신경과학 강의평

총평: 인공지능 기술이 나아가야 할 방향에 대해 깊게 생각할 수 있었던 강의, 뇌과학 분야에 관심을 갖게 해준 강의

난이도:

-교양에 가까운 강의이므로 어렵지 않음

-하지만 수업의 질이 낮은 것은 아님

수업의 퀄리티:

-교수님이 무척 열정이 있으심

-뇌과학에 관심이 없던 사람이라도 흥미로운 내용으로 구성

-특강 등으로 더 폭넓은 지식을 얻을 수 있음

이런 사람에게 추천:

-AI와 뇌과학의 접목에 관심이 있는 사람

-최근의 인공지능 트렌드와는 다른 관점의 인공지능 기술을 알고 싶은 사람

본 대학원에 재학중이시거나, 관심이 있으신 분에게 도움이 되길 바라며 이만 마치겠습니다.

안녕하세요! AI Cruise의 HY입니다.

AI Cruise는 현재 겨울 방학을 맞이하여 알찬 매일을 보내고 있습니다.

하반기에는 시험이 3개가 몰려 있어 힘들기도 했지만 어떻게든 잘 마무리했습니다.

그럼 자연어처리 수강후기 시작하겠습니다.

자연어처리 수업 형식

한양대학교 인공지능융합대학원은 5주, 10주, 15주짜리 강의를 다양하게 운영하고 있는데요,

이번에 수강을 완료한 자연어처리 과목은 5주동안 진행되는 수업이었습니다.

구체적으로는

1~4주차 - 실시간 화상 강의

5주차 - 기말고사 (대면)

형식으로 진행되었습니다.

그렇다면 자연어처리 수업에서 어떤 것들을 배웠는지? 대략적으로 요약해서 정리해 보겠습니다.

자연어처리 수업 내용

<1주차>

Introduction, word vectors, language models, recurrent neural network

• 언어의 기본적인 단위인 단어를 어떻게 컴퓨터가 이해할 수 있게 할지
• Word Vectors: word를 표현하기 위한 수치 혹은 매개체
• Word2vec: 중심 단어와 주변에 있는 단어가 유사도가 높아지도록 학습하는 방법론
• Language Modeling: pretraining에 제일 많이 쓰는 task, 문장의 다음 단어를 맞추는 task를 통해 언어학적 개념 취득
• RNN: 이전까지 처리한 자기 자신의 결과에 새로운 입력 단어를 조합해서 새로운 상태를 만들고 이것을 반복하는 식으로 연산
• LSTM: context가 길어지면 앞에 나왔던 것을 잊어버리는(기울기 소실) 기초 RNN의 문제 보완
• GRU
• Bidirection RNNs, Multi-layer RNNs

<2주차>

MT, Seq2seq, Attention, Transformers, Pretraining, and Large Language Models

• Machine Translation
• Seq2seq: 일종의 Conditional Language Model
• Attention: Seq2seq의 bottleneck problem을 해결하기 위한 매커니즘, 디코더에서 단어를 생성할 때 인코더의 어떤 정보가 필요한지(어디에 attention하고 싶은지) 계산
• Self-attention: 디코더에 정보를 주는 것이 아닌 스스로 입력에 대한 정보를 잘 처리하는 방법의 일환
• Transformer: Attention만 따로 떼와서 만든 새로운 아키텍처
• Multi-headed attention: Transformer에서 사용하는 테크닉, 여러 관점을 적용하여 Attention 계산
• Residual connections, Layer normalization, Scaled dot product
• GPT, BERT

<3주차>

Question Answering and Language Generation

• Reading comprehension: question과 대응되는 passage가 존재하며 답변이 무조건 passage안에 있음
• BiDAF: Context-to-query, Query-to-context 양방향으로 Attention score 계산
• Open-domain question answering: passage 없이 NN이 스스로 탐색
• Retriever-reader framework: 질문이 주어졌을 때 질문과 연관이 있을 것 같은 document를 찾고(Retriever) 그것을 이용해서 적절한 정답을 찾는다.(Reader)
• Language Generation: 단어를 생성할 때 가지고 있는 단어 중 각각의 확률이 어떻게 되는지 확률 분포를 계산
• 디코딩 알고리즘: Greedy methods, Beam search, Top-k sampling, Top-p sampling
• 모델 평가 방법: Content Overlap Metrics, Model-based Metrics, Human evaluations

<4주차>

Model Analysis and Explanation, The Future of NLP + Deep Learning

• 모델이 사람처럼 이해해서 문제를 푸는 것인지, 나름의 방식이 있는지 분석
• Saliency maps: 어떠한 input이 이러한 결과를 이끌었는지 설명하기 위해 사용, 예측할 때 가장 중요했던 키워드 표시
• Probing: 분석하려는 pretrained 모델을 freeze하고 여기에 아주 간단한 FNN을 얹어 문제를 잘 푸는 지 테스트
• 그 외 여러가지 분석 방법론
• GPT-3의 특징: In-Context Learning

자연어처리 강의평

총평: 짧은 시간 동안 최대한 Trendy한 내용을 배울 수 있었던 강의

난이도:

-어렵지는 않으나 많은 내용을 빠르게 배우는 강의이므로 어느 정도는 예습을 하는 편이 수업을 따라가기 용이할 듯

-수업 내용에 비해 시험은 어렵지 않지만 답안을 정확히 잘 작성해야 좋은 학점을 받을 수 있을 것으로 보임

-매주 퀴즈 존재

수업의 퀄리티:

-각 강의 자료의 양이 많고 읽기에 깔끔함

-시중에 나온 도서로는 이해하기 어려웠던 내용도 잘 풀어서 설명해 주심

-4주 학습이므로 수학적인 내용 등 깊게는 들어가지 않음

-전반적으로 NLP분야를 훑어보기 좋았던 수업

이런 사람에게 추천:

-NLP 분야에 관심이 있는 입문자

본 대학원에 재학중이시거나, 관심이 있으신 분에게 도움이 되길 바라며 이만 마치겠습니다.

안녕하세요! AI Cruise의 HY입니다.

11월 3일 기말고사를 마지막으로 딥러닝개론 수업이 끝났습니다.

학우분들 모두 수고 많으셨습니다.

딥러닝개론 수업 형식

한양대학교 인공지능융합대학원은 5주, 10주, 15주짜리 강의를 다양하게 운영하고 있는데요,

이번에 수강을 완료한 딥러닝개론 과목은 10주동안 진행되는 수업이었습니다.

구체적으로는

1주차 - 대면 강의

2~9주차 - 실시간 화상 강의

10주차 - 기말고사 (대면)

형식으로 진행되었습니다.

그렇다면 딥러닝개론 수업에서 어떤 것들을 배웠는지? 대략적으로 요약해서 정리해 보겠습니다.

딥러닝개론 수업 내용

<1주차>

인공지능 기본 개념, 인공지능 발전 역사, 딥러닝 개념

Logistic regression

선형 변환, 비선형 변환, Loss function, Gradient descent

<2주차>

1주차 내용 이어서

딥러닝 학습 목표

Back propagation

한계: Local minima

Shallow Neural Network

Neural Network의 기본 구조, layer, parameter, feature 개념

Activation function 종류, 장단점

<3주차>

Deep Neural Network

Intuition about deep representation

Circuit theory and deep learning

hyperparameter

Activation function 종류, 장단점 확장

딥러닝 학습 시의 dataset 분류, Train/Dev/Test Sets

성능 검증 기법 K-Fold Cross-Validation

Bias and Variance 개념

Overfitting을 줄이기 위한 Regularization

<4주차>

3주자 내용 이어서

Regularization for Logistic Regression

그 외 overfitting을 막기 위한 기법들

• Dropout Regularization
• Data augmentation
• Early stopping

Batch Normalization

mini batch 개념, 효과

Batch Norm 수식

<5주차>

4주차 내용 이어서

Batch Normalization

Convolutional filter - Point Spread Function(PSF)

Convolution vs Correlation

Conv사용 예 - Denoising, Edge detection, Sharpening

Convolution의 properties

Padding

<6주차>

Convolution Neural Networks(CNN)

2D Convolution

1D Convolution

Computer Vision Problems - Image Classification, Face detection, Object detection

이미지에서 MLP vs CNN

Padding 사용 이유, 사이즈 계산식

Strided convolution

CNN의 특징 - Local connectivity, Weight sharing

CNN with multiple input channels

CNN with multiple output maps

Pooling layer - Max pooling, Average pooling

<7주차>

Case Studies and Practical Advices for using ConvNets

• LeNet-5
• AlexNet
• ZFNet
• VGG - receptive field
• GoogLeNet - 1x1 conv bottleneck layers
• ResNet - skip connection, residual block

<8주차>

Supervised learning vs Unsupervised learning

Generative Models - GAN

GAN의 학습 목표, 학습 원리

Mode collapse problem

Evaluating Generative models - IS, FID

<9주차>

Applications of GANs

• Deep Convolutional GAN(DCGAN) - interpolation
• Laplacian Pyramid GAN
• Conditional GAN
• Pix2Pix
• Cycle GAN
• Super-Resolution GAN(SRGAN)
• StyleCAN
• GLEAN

딥러닝개론 강의평

총평: 기본에 충실했던 강의

난이도:

-가장 기초가 되는 수업이기 때문에 처음 배우는 사람도 문제 없이 따라갈 수 있다.

-쉽게 풀어서 설명하려는 교수님의 노력이 보임

수업의 퀄리티:

-무난함

-매주 이전 강의에서 배운 내용에 대해 퀴즈를 보는데, 중요 개념을 한 번 더 복습하는 효과가 있어 좋았음

-있을 건 다 있는 느낌이지만 수식 증명 등 더 깊게 공부하고 싶은 사람은 개인적으로 공부해야 할 듯

-같은 전공필수 과목인 AI프로그래밍간의 시너지가 좋음

-이미지 처리 위주로 구성되어 있음

본 대학원에 재학중이시거나, 관심이 있으신 분에게 도움이 되길 바라며 이만 마치겠습니다.

안녕하세요! AI Cruise의 HY입니다.

10월 7일 기말고사를 마지막으로 드디어 한양대학교 인공지능융합대학원에서의 첫 수업이 끝났습니다!

어쩌다 보니 후기 작성이 조금 늦어졌네요.

음성인식 수업 형식

한양대학교 인공지능융합대학원은 5주, 10주, 15주짜리 강의를 다양하게 운영하고 있는데요,

이번에 수강을 완료한 음성인식 과목은 5주동안 진행되는 수업이었습니다.

구체적으로는

1주차 - 실시간 화상 강의

2주차 - 동영상 강의

3주차 - 동영상 강의

4주차 - 실시간 화상 강의 (강의는 사전 녹화 영상으로 진행하며 실시간으로 질문 등 받으심)

5주차 - 기말고사 (대면)

형식으로 진행되었습니다.

그렇다면 음성인식 수업에서 어떤 것들을 배웠는지? 대략적으로 요약해서 정리해 보겠습니다.

음성인식 수업 내용

<1주차>

Application Areas에서의 Speech Signal Processing 관련 기술, 절차 등에 관한 개념

(Speech Coding, Speech Enhancement, Speech Synthesis, Speech Recognition, Speech Pathology)

Speech Production에서 Hearing까지의 과정, 이 과정에서의 3대 이펙트

(Lombard Effect, Cocktail Party Effect, Masking Effect)

Speech Production에서 Articulartors의 동작

<2주차>

Conventional 음성인식 과정

End-to-End 음성인식 과정 (CTC, seq2seq, transformer 기반 seq2seq)

음성인식을 위한 전처리 과정 (Conv-tasnet)

End-to-End 음성인식에 사용하는 toolkit

<3주차>

음성인식 기술 동향

(인공지능 음성비서 시스템 중심)

<4주차>

음성인식을 위한 Language model의 특징 및 활용

Statistical language model의 구조 (n-gram)

Neural network language model의 구조 (FNNLM, RNN 기반 LM, Transformer 기반 LM)

언어모델의 정량적 성능 평가 방법 (Perplexity)

Hybrid ASR에 LM을 적용하는 방법론

E2E ASR에 LM을 적용하는 방법론

그 외 강의에서 다루진 않았지만, 감정인식을 주제로 한 추가적인 학습자료 배포해 주심

음성인식 강의평

총평: 음성의 생성 과정부터 차근차근 배우는 개념 위주의 수업, 음성인식을 처음 배운다면 얻어가는 지식이 꽤 많다.

난이도:

-개론 수업과 비교하면 높은 편(기반 지식이 전혀 없을 경우)

-수식에 대해 너무 deep하게 들어가지는 않으며 중요 개념을 잘 풀어서 설명해 주시기 때문에 이해에는 문제 없음

-반대로 깊게 공부하고 싶은 사람들에겐 아쉬울 수 있음(5주 수업들이 다 같은 문제점을 공유할듯)

-신호 및 시스템, 디지털신호처리에 대해 공부하고 들을 것을 권장하심

수업의 퀄리티:

-강의자료의 퀄리티는 높다고 생각함. 어떤 강의자료는 무려 50페이지에 육박하기도

-전체적으로 녹화강의 위주로 진행되었는데 이에 대해선 호불호 갈릴 듯함

-4주의 짧은 수업이었지만 사람의 신체에서 발생하는 음성 생성 과정부터 최근 기술 동향까지 폭넓게 배울 수 있었음

-개념 위주의 수업이라 실습 등은 하지 않음.

이런 사람에게 추천:

-음성인식에 관심이 있지만 공부해 본 적이 없는 사람

-자연어 처리 분야에도 관심이 있는 사람(음성인식 특성상 겹치는 내용이 존재)

본 대학원에 재학중이시거나, 관심이 있으신 분에게 도움이 되길 바라며 이만 마치겠습니다.