본문 바로가기

분류 전체보기

 (9)
GNN(Graph Neural Networks) Graph 그래프는 일종의 데이터 구조로 objects와 그들의 relationships를 nodes와 edges로 표현한다. objects 사이의 관계를 나타내는 데이터를 분석할 때 주로 사용된다. 그래프는 주로 Adjacancy Matrix(인접행렬)과 Feature matrix로 표현된다. 그래프는 주로 G = (V,E)로 표현이 되는데 V = node 이고, E는 Edge이다. 위의 그래프는 G = ({0,1,2,3},{{0,1},{0,2},{1,3}})으로 표현이 가능하다. GNN이 해결할 수 있는 문제는 크게 3가지로 나눌 수 있다. Node Classification Link Prediction Graph Classification Node Classification Node Embeddin..
EVOLVING REINFORCEMENT LEARNING ALGORITHMS arxiv.org/pdf/2101.03958.pdfarxiv.org/abs/2101.03958 위의 논문을 공부한 내용입니다. Supervised Learning 일반적인 supervised learning은 위의 수식 처럼 데이터(x)와 라벨(y)로 이루어진 데이터 셋 D를 이용하여 학습을 시켜 가장 ground truth 확률을 크게 하는 모델 파라미터 세타를 찾는 것이다. supervised learning의 치명적인 문제점은 학습시킨 D 데이터셋과 관련된 데이터만 예측할 수 있다는 것이다. 다른 도메인의 데이터가 들어오게 된다면 전혀 예측할 수 없다는 문제가 있다. Meta Learning meta-learning은 위의 문제를 해결하기 위해서 나온 방법이다. meta-learning은 여러 가지..
베이즈 정리 베이즈 정리의 공식은 다음과 같다. 베이즈 정리는 사후 확률 P(H|E)와 사전 확률 P(H) 사이의 관계를 나타내는 정리이다. H는 Hypothesis의 앞글자인데, 어떤 사건이 일어날 확률을 가설로 세우는 것이다. 학교를 가는 상황을 예시로 들어보자. 학교를 가는 확률을 50%라는 가설을 세우게 된다면 사전 확률 P(H)=0.5 가 된다. 하지만 이는 가설에 불가하기 때문에 객관성이 떨어집니다. 이에 대한 객관성을 높이기 위해 새로운 사건등을 바탕으로 사전 확률을 계속 업데이트 시키게 됩니다. 이에 따라 점점 객관적인 확률이 됩니다. 학교를 가는 확률에 대한 객관적인 확률을 높이기 위해 베이즈 정리에 대입시켜보겠습니다. 새로운 사건인 늦잠을 추가 시켜보겠습니다. 계산의 편의를 위해 학생들이 100명이..
Maximum Likelihood Estimation (MLE) MLE를 이해하기 위해서는 먼저, likelyhood function을 알아야 한다. Likelihood Function 예를 들어 설명을 하자면, 어떤 확률분포를 통해 데이터 x=[1,4,5,6,7]을 얻었다고 해보자. 그림을 그려보면, 아래와 같이 그릴 수 있습니다. 데이터 x가 확률분포에 대응되는 값을 likelyhood라고 합니다. likelyhood 값을 수식으로 나타내게 되면 아래와 같이 됩니다. likelihood function은 위의 likelihood 값들을 모두 곱한 값입니다. likelyhood function은 모데이터로 부터 데이터를 얻었을 때 어떤 분포로 추출되었을 확률이라고 할 수 있습니다. Maximum Likelihood Estimation Maximum Likelihoo..
Ch 3. 벨만방정식 3.1 벨만 기대 방정식
MuJoCo 환경설정 talkingaboutme.tistory.com/entry/RL-Windows-10-mujoco-py [RL] Windows 10에서 mujoco_py 구동 이전에 Linux에서 mujoco-py를 돌릴 때 발생할 수 있는 그래픽 라이브러리 관련 오류를 해결하는 방법에 대해서 공유한 적이 있다. 사실 그것도 그러려니와 Linux에서 할 수 있는게 많아, 집에서도 Wind talkingaboutme.tistory.com Windows 10에서 MuJoCo 환경설정하는 방법이다.
Soft Actor Critic_MuJoCo In [ ]: import torch import torch.nn as nn import torch.nn.functional as F from torch.distributions import Normal #parameter LOG_SIG_MAX = 2 LOG_SIG_MIN = -20 epsilon = 1e-6 hidden_dim = 256 Model In [ ]: def weights_init_(m): # isinstance(object,type): object가 type인가?? ==> 맞으면 True 반환 if isinstance(m, nn.Linear): torch.nn.init.xavier_uniform_(m.weight, gain=1) torch.nn.init.constant_(m.bias, 0)..
Entropy, Cross-Entropy, KL-Divergence 완벽 이해 Entropy 정의: 정보를 표현하는데 필요한 최소평균자원량 정보량은 bits(0 또는 1)로 나타낸다. 즉, 정보를 표현하는데 필요한 자원량은 0 또는 1의 길이로 나타낸다. 우리가 일상 생활에서 사용하는 카톡을 예로 들자면, 'ㅋ' 을 사용할 확률을 P(ㅋ) =0.5, 'ㅍ'을 사용할 확률을 P(ㅍ)=0.01이라 하겠다. 'ㅋ' 과 'ㅍ'을 111과 0 으로 인코딩을 한다면 어떻게 하는게 효율적일까 ? 당연히 자주 쓰이는 'ㅋ'을 0으로 자주 쓰이지 않는 'ㅍ'을 111로 하는 것이 효율적일 것이다. 즉, 확률이 높을수록 짧게 Encoding 하는것이 유리하다. 이를 그래프로 나타내면 다음과 같다. 위의 그래프에서 보이는 것 처럼 나올 확률이 1인경우 0, 나올 확률이 0에 가까운 경우 길이가 길어지..

티스토리툴바