개요 딥러닝에 중요하게 사용되는 연쇄 법칙 (Chain Rule)의 개념에 대해 알아본다. 연쇄 법칙의 개념 합성 함수 연쇄 법칙에 대해서 본격적으로 알아보기 전에, 합성 함수부터 알아보자. [z = g(y) = g(f(x)) = (g \circ f)(x) \ where\;y = f(x)] 어떤 함수 g(y)의 입력으로 또다른 함수 f(x)...

개요 미분의 기본 개념을 간단하게 정리하고, 도함수를 컴퓨터를 이용해서 구하는 방법을 알아본다. 미분 관찰하기 파이썬을 통해서 y = x^3의 그래프를 그려 보았다. import numpy as np import matplotlib.pyplot as plt def func(x): return x**3 x = np.linspace(-...

개요 이제 본격적으로 ‘러닝’에 들어갈 시간이다. MLP 구조의 신경망이 어떻게 스스로 학습하는지, 즉 어떻게 적절한 가중치를 찾아나가는지 알아본다. 오늘은 그 중 첫번째로, 손실이라는 개념에 대해서 집중적으로 알아본다. 손실? 신경망을 학습시키는 과정에서 우리는 훈련용 샘플과 모델의 결과값을 비교하게 된다. 이때 단순히 비교하는 것이 아니라 특...

개요 NLP의 각 분야와 발전 방향에 대해서 소개하는 논문. Hirschberg, J. & Manning, C. D. Advances in natural language processing. Science 349, 261–266 (2015). https://science.sciencemag.org/content/349/6245/261...

개요 Multi Layer Perceptron 구조의 신경망에서 한 Layer가 다음 Layer로 결과값을 전달해 나가는 과정에 대해서 알아본다. 신호 전달하기 표기법 입력 Layer는 0층으로 보며, 아래 그림의 경우 2개의 Hidden Layer를 각각 1층, 2층으로 본다. 마지막 Output Layer를 3층으로 보아 아래 그림은 3층 ...

개요 지금까지는 퍼셉트론에 단순히 Threshold를 적용했는데, 여기서 더 나아가서 Threshold를 대체하는 Activation function에 대해 알아보고자 한다. Threshold의 단점 Threshold 함수의 단점을 알아보기 위해서, Threshold 함수를 python의 Matplotlib.pyplot을 이용해 그려 보았다. ...

개요 지난 포스트에서 우리는 퍼셉트론과 그 한계점에 대해서 알아봤다. 그 한계점이란 퍼셉트론 하나로는 데이터를 적절하게 분류할 수 없는 경우도 있다는 것이다. 이번에는 이러한 문제를 해결하기 위해 제안된 Multi Layer Perceptron에 대해서 알아본다. Multi Layer Perceptron Multi Layer Perceptron이...

개요 딥 러닝은 인공 신경망을 구성하여 주어진 문제를 해결한다. 인공 신경망은 사람의 뇌를 모사하기 위한 시도에서 출발했는데, 오늘은 이 중 인간의 뉴런을 모사한 존재인 퍼셉트론 (Perceptron)에서부터 딥 러닝에 대한 설명을 시작하려고 한다. 뉴런 뉴런 자체에 대해서는 앞선 포스트에서도 잠깐 설명했지만, 인간의 신경 세포로서 다른 뉴런을...

인공지능의 시대! 인공지능 기술은 계속해서 발전해 나가고 있다. 이미지 인식 및 분류, 음성 인식, 번역 등에서 인공지능 기술이 적용되어 성능을 크게 향상시키고 있다. 2010년대 이후의 인공지능 기술은 머신러닝, 그 중에서도 딥 러닝에 기반하고 있다. 딥 러닝? 그렇다면 딥 러닝은 무엇일까? 딥 러닝의 가장 중요한 특징은 입력받은 데이터를 통해...

개요 Yann Lecun 등이 2015년에 Nature에 게재한 Deep learning. Deep learning이 어떻게 이루어지는지 잘 설명되어 있다고 생각해서, 처음으로 읽어보고 정리해보기에 가장 좋을 것이라고 판단했다. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521...