하늘 보면서 살자구요

최대, 최소 보통 최적화 문제에서 미분이 주로 응용된다. 주어진 문제에 대한 최적의 방법을 구하는 것으로, 보통 최댓값 또는 최솟값을 구함으로써 해결 가능하다. $c$를 함수 $f$의 정의역 $D$에 있는 어떤 수라 하자. 그러면 $f(c)$는 $D$의 모든 $x$에 대해 $f(c) \ge f(x)$를 만족할 때 $D$에서 $f$의 최댓값(absolute maximum value)이라 한다. 반대의 경우는 최솟값(absolute minimum value)이라 한다. 최대, 최소는 종종 대역적(global) 최대, 최소로 부르기도 한다. (정의역 전체에 대한 크기 비교이기 때문) global이 있다면 당연히 local도 있다. $x$가 $c$ 근방에서 $f(c) \ge f(x)$를 만족할 때 $f(c)$를..

도함수의 정의를 이용하면 무엇이든 도함수를 구할 수 있다. 일반적인 형태는 물론, 상수배, 합, 차의 경우 극한에서처럼 미분가능하다면 $\frac{d}{dx}$를 분배할 수 있다. 곱과 몫의 경우 따로 법칙이 있으며 증분과 라이프니츠 표기법을 이용하여 증명된다. 물론 미분가능하다는 조건이 필요하다. 곱 법칙 : $\frac{d}{dx}[f(x)g(x)] = f(x)\frac{d}{dx}[g(x)] + g(x)\frac{d}{dx}[f(x)]$ 몫 법칙 : $\frac{d}{dx}[\frac{f(x)}{g(x)}] = \frac{g(x)\frac{d}{dx}[f(x)] - f(x)\frac{d}{dx}[g(x)]}{[g(x)]^2}$ 지수함수의 경우 도함수를 구해보면 $f'(x)=f'(0)a^x$가 일반적..

곡선의 접선은 곡선과 접하는 직선이다. 접선이란 단어는 '접촉'이란 뜻의 라틴어 tangens에서 유래했다. 유클리드의 정의에서는 원의 한 점만 지나는 직선을 접선이라 칭한다. 하지만 복잡한 곡선에서는 그저 할선(secant line)이 될 뿐이다. 만약 할선의 두 점이 서로 가까워져 한 점으로 볼 수 있게 된다면 우리는 그 선을 접선이라고 봐도 무방하다. 여기서 극한의 개념이 대표적으로 사용된다. 대표적인 문제로는 순간속력(접선의 기울기)과 평균속력(할선의 기울기)이 있다. 함수의 극한 $a$와 같지는 않지만 $a$에 충분히 가까운 $x$를 잡으면 $L$에 얼마든지 가까운 $f(x)$값을 얻을 수 있을 때 $\displaystyle\lim_{x→a} f(x)=L$ 로 나타내고 "$x$가 $a$에 접근할..

정의 함수 f는 집합 D의 각 원소 x가 집합 E에 있는 오직 한 원소 f(x)에 대응하는 규칙이다. (f : D → E) 이 규칙에 대해 집합 D를 함수의 정의역(domain)이라고 하고, f(x)의 모든 값들의 집합을 함수의 치역(range)이라고 한다. 표기 x는 정의역에서 임의의 수를 나타내는 독립변수(independent variable)이고, 치역에 있는 수를 나타내는 표기 f(x)를 종속변수(dependent variable)이라 한다. 수 f(x)는 x에서 f의 함숫값이라 하고, "f of x"로 읽는다. 즉, 각각의 정의역의 원소가 치역의 원소 중 오직 한 개와 대응해야 함수라 불릴 수 있다. 함수의 표현 함수를 표현하는 데에는 다양한 방법이 있다. 언어로 풀어서 설명할 수도 있고, 값들..

09-1 순차 데이터와 순환 신경망 이전에 이미지 데이터에 대해 최적화된 신경망을 다뤘다면 이번에는 텍스트 데이터에 최적화된 신경망이다. 텍스트 데이터의 경우 우리가 늘 써봐서 알 듯 굉장히 많은 의미를 함축해서 말할 수 있다. 또한, 속담도 있듯 말은 끝까지 들어봐야 한다. 즉, 텍스트는 시계열 데이터와 같이 순서에 의미가 있는 순차 데이터이다. 텍스트를 단어별로 리스트에 넣어도 단어의 순서를 마구 섞어서 주입하면 안 된다. 여기서는 간단히 긍정과 부정을 나누는 모델을 만들 것이다. 따라서 순차 데이터는 이전에 입력한 데이터를 기억하는 기능이 필요하다. 그래서 출력을 다시 입력으로 사용하는 순환 신경망(RNN)을 이용한다. 참고로 데이터의 흐름이 앞으로만 전달되는 신경망을 피드포워드 신경망이라고 한다...

이전 단원에서 딥러닝에 대한 개괄적인 내용을 배웠다. 이번 단원은 이미지 학습에 강력한 효과를 보이는 합성곱 신경망에 대해 알아보자. 08-1 합성곱 신경망의 구성 요소 인공 신경망은 전체 입력층에 대해 전부 가중치를 곱하고 합해서 각 뉴런 별로 출력했다. . 이와 달리 합성곱 신경망은 일부 데이터를 골라 가중치를 곱하고 한 칸씩 이동하며 1개의 뉴런에 대해 여러 개의 출력을 한다. 이렇게 이동하며 가중치를 곱하고 출력하는 단위를 따로 필터나 커널이라고 부른다. 이렇게 합성곱 계산을 통해 얻은 출력은 특성 맵이라고 부른다. . 참고로 각각의 특성 맵에 대한 커널의 각 가중치는 서로 다르다. 따라서 여러 개의 필터를 사용하면 특성맵의 차원(깊이)이 늘어난다. 그리고 이러한 단위는 밀집층과 구별된 합성곱 층..

07-1 인공신경망 드디어 딥러닝이다. 여기서는 MNIST라는 딥러닝에서 유명한 데이터셋과 텐서플로(케라스)라는 구글에서 만든 유명한 딥러닝 라이브러리를 이용한다. 딥러닝 라이브러리는 머신러닝 라이브러리와 다르게 벡터와 행렬 연산에 매우 최적화되어 있는 그래픽 처리장치인 GPU를 사용하여 인공 신경망을 훈련한다. 우리가 다룰 데이터는 28*28크기의 이미지 60,000개이다. 0~9까지의 10가지 종류로 이루어진 패션 MNIST를 사용한다. (6장에서와 같이 이미지는 모두 흑백) 훈련 샘플이 60,000개나 되기 때문에 6장에서처럼 전체 데이터를 한꺼번에 사용해 모델을 훈련하는 것보다 하나씩 꺼내서 모델을 훈련하는 방법이 더 효율적으로 보인다. 따라서 확률적 경사 하강법을 사용할 것이다. 4장에서 분류모..

Chapter 06 비지도 학습 . 지도학습을 끝내고 딥러닝에 본격적으로 들어가기 전 비지도 학습에 대해 알아보자 06-1 군집 알고리즘 비지도 학습은 지도학습과 다르게 타깃이 주어지지 않는다. 즉, 주어진 데이터를 통해 라는 것을 추출해야 한다. 여기서는 사진을 종류별로 분류하려 한다. . 우리가 눈으로 보고 분류하듯 픽셀을 이용해서 분류해보자. 100*100픽셀의 사과로 추정되는 사진이다. 한 픽셀은 0~255까지의 색상을 나타낼 수 있고 0에 가까울수록 검게 보인다. (컴퓨터는 출력을 위해 계산을 하는데 이때 의미를 부여하기 위해 필요 없는 배경을 0에 가깝게 배정한다) . 이 픽셀정보는 위에서부터 한 행씩 읽힌다. 즉, 100*100의 2차원 배열이 10,000자리의 1차원 배열이 된다. 그리고 ..