딥러닝의 정석 - 텐서플로와 최신 기법으로 배우는 딥러닝 알고리즘 설계

괜찮다고 말하지만 괜찮지 않은 너와 나, 우리가 안고 사는 우울. 그리고 그 감정이 가져온 마음의 병 우울증. 화제의 채널



신경망 기초부터 강화학습까지, 텐서플로로 익히는 딥러닝 이론과 구현



딥러닝에 대한 연구가 매우 활발해지면서 현대 머신러닝의 새로운 길이 열리고 있다. 구글, 마이크로소프트, 페이스북 같은 글로벌 기업들도 사활을 걸고 딥러닝을 연구하고 있다. 이 책은 딥러닝의 주요 개념을 이해할 수 있도록 상세한 설명과 예제를 제공한다. 파이썬에 익숙하고 머신러닝 및 미적분에 대한 배경지식이 있다면 이 책으로 딥러닝을 제대로 시작할 수 있다.



이 책의 주요 내용

· 머신러닝과 신경망의 기초 탐구

· 전방향 신경망 학습법

· 신경망 구현을 위한 텐서플로 사용법

· 심층 신경망 구현 시 발생하는 문제 관리

· 복잡한 이미지를 분석하는 신경망 구축

· 오토인코더를 사용한 효과적인 차원 감소 수행

· 언어 처리를 위한 시퀀스 분석 탐구

· 강화학습의 기본 원리 이해



★ 이 책에서 다루는 내용

이 책은 딥러닝으로 어떻게 문제에 접근해야 하는지를 다룬다. 이 책을 읽고 나면 현대 딥러닝 접근 방식의 역사적 맥락을 이해하고, 텐서플로를 이용해 딥러닝 알고리즘을 구현하는 방법을 이해하게 된다.



- 1장 신경망

머신러닝과 신경망에 대한 기본적인 내용을 살펴본다. 뉴런의 기본 구조와 전방향 신경망이 어떻게 움직이는지 그리고 비선형성이 복잡한 학습 문제들을 해결하는 데 얼마나 중요한 역할을 하는지 알아본다.



- 2장 전방향 신경망 학습

전방향 신경망 학습을 비롯해 기본적인 것들을 배운다. 경사 하강법과 역전파 알고리즘을 살펴보고, 과적합을 방지하는 다양한 방법도 설명한다.



- 3장 텐서플로로 신경망 구현하기

머신러닝 모델을 표현하고 학습시키는 라이브러리인 텐서플로를 사용하는 방법을 배운다. 세션과 변수, 연산, 그래프 계산, 장치 관리를 포함한 텐서플로의 주요 기능을 설명하며 이를 바탕으로 로지스틱 회귀 모델과 확률적 경사 하강법을 이용한 전방향 신경망을 학습시키고 시각화한다.



- 4장 경사 하강법을 넘어서

복잡한 오차 곡면이 있는 심층 신경망을 학습시킬 때 발생하는 여러 문제를 설명한다. 가짜 지역 최솟값 문제가 과장됐을 가능성이 있을 때 안장점과 나쁜 조건이 바닐라 미니배치 경사 하강법의 성공에 어떻게 심각한 위협이 되는지를 살펴본다. 나쁜 조건을 극복하는 데 모멘텀을 어떻게 사용하는지 설명하며, 헤시안 행렬을 근사하는 최근 연구도 간략히 알아본다. 또한, 학습률을 조정하는 학습률 적응 최적화 도구의 진화도 소개한다.



- 5장 합성곱 신경망

이미지를 분석하는 신경망을 어떻게 만드는지 배운다. 합성곱의 개념을 소개하고, 단순하고 더 복잡한 자연 이미지 둘 다를 분석할 수 있는 다루기 쉬운 신경망을 생성하는 데 이 아이디어를 활용한다. 텐서플로로 여러 합성곱 신경망을 만들고, 다양한 이미지 처리 파이프라인과 신경망 학습을 더 빠르고 더 견고하게 만드는 배치 정규화를 활용한다. 마지막으로 합성곱 신경망의 학습을 시각화하며, 이 기술을 사용한 다른 흥미로운 응용들을 알아본다.



- 6장 임베딩과 표상학습

표상학습에 대한 다양한 방법을 살펴본다. 오토인코더로 효과적인 차원 감소를 수행할 방법과, 디노이징과 희소성도 배워 오토인코더에 유용한 속성들을 추가한다. 스킵-그램 모델을 사용해 영어 단어들에 대한 임베딩을 생성하는 방법을 배운다. 이것은 언어를 이해하기 위한 딥러닝 모델을 탐색하는 데 유용하다.



- 7장 시퀀스 분석을 위한 모델

시퀀스 분석의 세계를 깊이 탐구한다. 시퀀스를 처리하는 데 전방향 신경망을 어떻게 사용하는지 분석하고 순환 신경망도 살펴본다. 또한, 주의집중(attention) 동작 방식을 번역에서 오디오 필사본에 이르기까지 다양한 언어 응용 분야에 활용하는 방법을 알아본다.



- 8장 메모리 증강 신경망

신경 튜링 기계(neural Turing machine, NTM)와 미분 가능 신경 컴퓨터(differentiable neural computer, DNC)에 관한 최첨단 딥러닝 기술 연구를 살펴보고, 복잡한 독해 과제를 해결할 수 있는 모델을 구현해 본다.



- 9장 심층 강화학습

마르코프 결정 과정(Markov decision processes, MDP)과 탐색 대 활용을 포함한 강화학습의 기초 내용을 다룬다. 또한, 정책 경사와 DQN(deep Q-network)을 포함한 심층 강화학습에 대한 다양한 접근법도 다룬다. 마지막으로 DQN에 관한 최근 몇 가지 개선 방법과 심층 강화학습의 새로운 모습들도 간단히 언급한다.