1. 개요 로컬에서는 Chirpy 테마가 적용된 페이지를 수정 e.g., 디자인 수정, 업로드/삭제 등을 하면 반영이 되지만 Github 페이지에는 정상적으로 빌드가 되었음에도 불구하고 수정사항이 실시간으로 반영되지 않을 것이다. 이에 대한 임시 해결책으로 웹 브라우저 내에서 강한 새로고침 (Ctrl+Shift+R 또는 Cmd+Shift+R)을 통해...

0. 사전 준비 로컬에 ruby, bundle 환경 구축이 완료되어 bundle exec jekyll serve 명령어로 127.0.0.1:4000 을 통해 Chirpy 테마 확인 가능 1. 개요 Chirpy 테마가 적용된 Github 페이지 생성을 위해 구글링을 하다보면 로컬에서는 Chirpy 테마 적용이 잘 되지만 Github와 연동하면 적용...

1. Introduction 본 포스팅에서는 시계열 데이터 처리에 뛰어난 성능을 보이고 있는 Transfomer 모델을 PyTorch를 사용하여 설계하는 방법을 다룬다. Transformer의 핵심인 attention mechanism에 대해 예를 들어서 설명하고, Transformer의 Encoder와 Decoder를 PyTorch로 구현하기 위...

1. Introduction 본 포스팅에서는 앞선 포스팅에서 다루었던 DDQN과 DDDQN을 Python 기반으로 Cartpole 예제에 적용하여 성능을 분석한다. 전체적인 Cartpole 환경은 DQN 예제 에서 다루었던 환경과 동일하며, DDQN과 DDDQN이 적용됨에 따라 target을 구하는 코드와 학습 모델을 설계하는 코드를 중심으로 다룬...

1. Introduction 앞선 포스팅에서는 가장 baseline되는 DQN과 관련된 이론을 소개하고, Cartpole을 통한 예제를 적용하여 DQN을 구현하였다. Main network와 target network의 분리, replay buffer의 도입으로 DQN의 성능이 향상되었으나 학습 진행 과정에서 불안정성 또한 확인된다. 본 포스팅에...

1. Introduction 본 포스팅에서는 OpenAI Gym의 Cartpole 환경을 예시로 들어서 앞선 포스팅에서 다룬 DQN 알고리즘을 구현하는 코드에 대해 다룬다. 본 포스팅에서 다룬 코드를 실행시키기 위해 필요한 Python Package는 (gym > 0.21 또는 gymnasium), numpy, matplotlib, pytor...

1. Introduction TD Control Algorithm을 통해 Model-Free한 환경에서 매 time-step 마다 Agent가 Model을 업데이트하며 학습할 수 있는 것을 확인하였다. 그러나 앞서 살펴본 TD Control Algorithm에서는 모든 state와 action에 대한 Q-function (Q-table)을 구해야 ...

1. Introduction 본 포스팅에서는 Python 코드를 통해, Temporal Difference (TD) Control 알고리즘을 구현하는 내용을 다룬다. MC 예제에서 다루었던 환경과 동일하게 OpenAI Gym의 Frozen Lake 환경에 대해 앞선 포스팅에서 다룬 On-Policy TD Control 알고리즘인 SARSA와 Off...

1. Introduction 지금까지 MDP 문제를 풀기 위한 방법으로 Dynamic Programming (DP)과 Monte-Carlo Method (MC)에 대해 다루었다. DP는 time-step 마다 가치함수를 업데이트 할 수 있지만, Model-Based 한 환경에만 적용할 수 있다는 한계가 있다. 반면, MC는 Model-Free한 ...

1. Introduction 본 포스팅에서는 Python 코드를 통해, Monte Carlo (MC) Method 알고리즘을 구현하는 내용을 다룬다. 앞선 포스팅에서 다룬 MC Control Algorithm을 이용하여 OpenAI Gym의 Frozen Lake 환경에 대한 Value Function과 Optimal Policy를 도출한다. 코드 ...