퍼셉트론,인공신경망 정리_Day61(2)

퍼셉트론(Perceptron)이란?

 

퍼셉트론은 다수의 신호를 입력받아 하나의 신호를 출력합니다.

전류가 전선을 타고 흐르는 전자를 내보내듯이, 퍼셉트론 신호도 흐름을 만들고 정보를 앞으로 전달하게 됩니다.

 

뉴런 or 노드(node) : 원형으로 표현된 것

 

입력신호(x0, x1, ...)가 뉴런에 입력되면 각각 고유한 가중치(weights, w0, w1, ...)가 곱해지는데,

가중치는 시냅스(synapses)의 연결강도(시냅스의 두께, 개수)와 같은 역할을 함

 

가중치가 곱해진 값들은 모두 "더해져" 정해진 임계값(threshold)을 넘을 경우에만

다음 노드들이 있는 층(layer)으로 신호가 전해짐

---

퍼셉트론의 로직 게이트 (논리회로의 진리표)

 

---

활성함수 (Activation function)

 

---

신경망들의 구조

https://www.asimovinstitute.org/neural-network-zoo/

 

---

신경망 층의 구성

 

입력층(Input Layers)
입력층은 데이터셋으로부터 입력을 받습니다. 입력 변수의 수와 입력 노드의 수는 같습니다. 

보통 입력층은 어떤 계산도 수행하지 않고 그냥 값들을 전달하기만 하는 특징을 가지고 있습니다. 

그래서 신경망의 층수(깊이, depth)를 셀 때 입력층은 포함하지 않습니다. 

위의 신경망은 2층이라고 할 수 있습니다.

은닉층(Hidden Layers)
계산이 일어나는 층이 둘 이상인 신경망을 다층(multilayer) 신경망 이라고 부르는데 계산이 없는 입력층과 마지막 출력층 사이에 있는 층들을 은닉층(Hidden Layers) 이라고 부릅니다. 

딥러닝(deep learning)은 사실 두 개 이상의 (이때 부터 깊다(deep)라고 합니다) 은닉층들을 가진 신경망, 입력층을 제외하고 시작하여 3개 이상의 Layer를 갖는 신경망을 의미합니다.

출력층(Output Layers)
신경만 가장 오른쪽 마지막 층이 출력층 입니다. 

출력층에는 대부분 활성함수(activation function)가 존재하는데 활성화함수는 풀고자 하는 문제에 따라 다른 종류를 사용합니다.

- 회귀 문제에서 예측할 목표 변수가 실수값인 경우 활성화함수가 필요하지 않으며 출력노드의 수는 출력변수의 갯수와 같습니다.
- 이진 분류(binary classification) 문제의 경우 시그모이드(sigmoid) 함수를 사용해서 출력을 확률 값으로 변환하여 부류(label)를 결정하도록 합니다.
- 다중클래스(multi-class)를 분류하는 경우 출력층 노드가 부류 수 만큼 존재하며 소프트맥스(softmax) 함수를 활성화 함수로 사용합니다.

---

머신러닝과 딥러닝의 차이

 

신경망 학습은 데이터에서 필요한 특성들을 신경망이 알아서 조합하여 찾아낸다

즉 우리는 최소한의 데이터에 대한 전처리는 해야 하지만 심화된 특성 공학(Feature Engineering)을 사용해 특성들을 찾아낼 필요는 없다.

깊은 신경망, 즉 딥러닝과 머신러닝의 차이는 표현학습(representation learning)에 있다 

딥러닝은 데이터 특성을 우리가 풀고자 하는 문제를 풀기 쉽도록 표현(representation)하도록 학습하는 능력이 있다.

신경망의 구조와 깊이를 변화시키며 데이터를 더욱 유용하게 표현할 수 있다.

 

 

출처

smartstuartkim.wordpress.com/2019/01/27/history-of-neural-networks-1-perceptron/

 

i.pinimg.com/originals/79/ed/b1/79edb138611e6bc382066860c6fa3d2b.jpg

 

miro.medium.com/max/1200/1*ZafDv3VUm60Eh10OeJu1vw.png

 

www.asimovinstitute.org/neural-network-zoo/