ITPE Momentum

혼동행렬

• TP(True Positives) : 실재값과 예측치 모두 True 인 빈도
• TN(True Negatives) : 실제값과 예측치 모두 False 인 빈도
• FP(False Positives) : 실제값은 False 이나 True로 예측한 빈도
• FN(False Negatives) : 실제값은 True 이나 False로 예측한 빈도

- 정분류율(accuracy, recognition rate) : 전체 관측치 중 실제값과 예측치가 일치한 정도를 나타낸다. 정분류율은 범주의 분포가 균형을 이룰 때 효과적인 평가지표이다.  (TP+TN)/(TP+TN+FP+FN)

- 민감도(sensitivity) = TP/(TP+FN) ==> 실제값이 True 인 관측치 중 예측치가 적중한 정도

- 특이도(specificity) = TN/(FP+TN) ==> 실제값이 False 인 관측치 중 예측치가 적중한 정도

- 정확도(precision) =  TP/(TP+FP) ==> True로 예측한 관측치 중 실제값이 True 인 정도. 정확성 지표

- 재현율(recall) = TP/(TP+FN) = 민감도 ==> 실제값이 Ture 인 관측치 중 예측치가 적중한 정도. 모형의 완전성을  (completeness)을 평가

- F1 Score = (2*precision*recall) / (precision+recall) ==> 정확도와 재현율의 조화평균. 정확도와 재현율에 같은 가중치를 부여하여 평균

[정의] RNN에서 학습방법의 역전파 거리가 늘어날경우 gradient값이 폭증하거나 사라지는 문제점을 개선하는 알고리즘

[RNN의 장기의존성(Long-Term Dependency) 문제] 이전 정보입력 위치와 현재 입력위치가 멀 경우 학습데이터 유실되는 문제

※ tanh : Hyperbolic Tangent. 시그모이드 함수를 조금 변형하여 1 ~ -1까지 출력되는 함수. 시그모이드보다 기울기가 가파라서 학습속도가 빠르지만, 양끝단 포화가 더 심하여, Vanishing Gradient 문제에서는 취약함.

※ 시그모이드 3개는 단지 아날로그적 스위치 역할수향. 노드의 전달 함수는 하이퍼탄 이용.