Machine learning 4

딥러닝(Deep learning) 살펴보기 2탄

지난 포스트에 Deep learning 살펴보기 1탄을 통해 딥러닝의 개요와 뉴럴 네트워크, 그리고 Underfitting의 문제점과 해결방법에 관해 알아보았습니다. 그럼 오늘은 이어서 Deep learning에서 학습이 느린 문제점을 어떠한 방식으로 해결하고 연구하고 있는지 한번 알아보도록 하겠습니다. Neural Network 복습 기존의 뉴럴 네트워크는 weight parameter들을 최적화(optimize)를 하기 위하여 Gradient Descent 방법을 사용했습니다. 그럼 Gradient Descent에 대하여 알아보도록 하겠습니다. Gradient Descent 뉴럴 네트워크의 loss function의 현 weight의 기울기(gradient)를 구하고 loss를 줄이는 방향으로 업데이..

딥러닝(Deep learning) 살펴보기 1탄

이번 포스트에서는 Deep learning에 대해 살펴볼 예정입니다. 이번 포스트는 Reference에 있는 내용을 정리한 것입니다. Deep learning은 대세가 되었습니다. 주변에서 딥러닝이라는 이야기가 많이 들립니다. 딥러닝이란 무엇인지 알아보도록 하겠습니다. 오늘날 딥러닝을 가능하게 해준 3가지가 있습니다. 빅데이터 데이터가 많은게 깡패입니다. GPU 빨리 연산하는게 장땡이죠. 알고리즘 예전에 잘 안되던 것(학습)을 잘되게 많은 연구자들이 연구하였습니다. 그럼 딥러닝을 이용해서 할 수 있는 것을 한번 볼까요? 딥러닝의 가장 좋은 활용 사례라고 할 수 있는 이미지 인식을 한번 보도록 할게요. 컴퓨터에게 동물의 그림을 보고 맞출 수 있도록 하는 것이 그 예가 되겠습니다. 그럼 코드로 바로 볼까요?..

로지스틱 회귀(Logistic Regression) #1

1. Introduction 로지스틱 회귀에 관한 포스팅에 앞서서 먼저 최적화(Optimization) 알고리즘에 관해 이야기 하고자 한다. 생활 속에서 우리는 대부분 최적화 문제를 많이 접하게 된다. 일상에서 최적화 문제는 어떤 것들이 있을까? 예를 들어보자. '서울에서 부산까지 가장 빠른 시간에 가려면 어떻게 가야하는가?', '가장 적은 양의 연료로 가장 큰 힘을 내도록 하기 위해서는 어떻게 엔진을 설계해야 하는가?', '캐나다까지 가장 적은 비용으로 가려면 어떻게 해야 하는가?' 최적화라는 것은 이러한 문제를 효과적으로 처리하는 방법을 말한다. 최적화 알고리즘을 미리 언급하는 이유는 이후에 설명하는 회귀가 바로 최적화 알고리즘을 이용하기 때문이다. 회귀(Regression)란 무엇일까? 회귀란 Fi..

Machine learning 2015.06.26

의사 결정 트리 (Decision Tree)

의사 결정 트리(Decision tree) 의사 결정 트리[1]는 분류(Classification ) 기술 중 가장 일반적으로 사용되는 방법이다. 의사 결정 트리의 개념이 익숙하진 않겠지만 대표적으로 예를 들을 수 있는 것이 바로 스무고개라는 게임이다. 스무고개는 총 20개의 질문만 허락되며, 그에 대한 답변으로 ‘예’ 혹은 ‘아니오’로만 대답하여서 추측하여 답에 도달하는 게임이다. 의사 결정 트리를 표현하는 방법은 Figure 1과 같다. Figure 1에서 사각형을 decision block이라고 하고 타원형을 terminating block이라고 한다. 그림에서의 질문에 대답으로 어떤 결론에 도달하게 되는데 결론에 도달하기 전에 뻗어나가는 화살표를 branches라고 한다. 1. 트리 구조 의사 결..

Machine learning 2015.06.22
반응형