TorusE : 리 군을 활용한 지식 그래프 임베딩

안녕하세요. 초보 대학원생 안첨지입니다.

 

이는 그냥 논문 정리하려는 용도의 블로그입니다.

대학원생활을 시작하는 용도로 혼자 논문을 리뷰해보려구요

 

나중에 이불도 좀 차겠지만...

아무거나 적어보려구요ㅋㅋㅋㅋㅋ

저도 처음이라 아무거나 읽어보는 논문입니다.

 

오늘 다룰 논문인 TorusE는 knowledge graph에서의 link prediction문제입니다.

knowledge graph에서의 link는 기본적으로 head와 tail이 relation의 관계로 이루어져 있다고 하네요!!

 

그렇다면 이러한 knowledge graph에서의 link prediction 문제는 object pair (h,t)이 주어지고 이 사이에 r의 관계가 있을지를 판단하는 문제겠군요?

기중 Translation-based model에서는 triplet을 임베딩하는 간단한 방법으로 해석한다고 합니다.

h,t사이의 higher-order정보나 다른 제약관계없이 매우 자유롭게 임베딩하는군요..

 

이를 해석하기 위해 간단하게 생각하여 h와 t, 그리고 r을 모두 벡터로 임베딩하고 이들을 어떻게 학습할지가 주요 목표일 것 같습니다.

 

그렇다면 대충 loss function이 어느 함수일지 예측이 되네요

오옷 그런데???

margin loss를 쓴다고 하네요?!?!?! log bce를 사용할 줄 알았는데 신기합니다.

 

역시 제 내공은 멀고도 머네요

그러려니 하면서 더 읽어보겠습니다.

그러니 이젠 f는 어떻게 만들까???? 라는 의문이 듭니다.

 

오옹 triplet 기반 여러 논문들에서는 f를 다음과 같이 정의한다고 합니다.

여러 논문들의 Scoring functions for triple (h,r, t)

저는 아직 허접이라 다른건 다 보면서 그러려니 했는데 TorusE가 은근 어렵기도 한데 재밌더라구요

제약조건이 다른 real 공간과 complex공간인 다른 방식에 비해 $T^n$???? wtf

사실 이래서 이 논문을 아무거나 중에 포스팅해봅니다.

 

저 T공간을 이해하는게 이 논문의 필수같군요

하다보니 역시 구글신!! 재미난 자료를 발견했어요

www.youtube.com/watch?v=02OfZg2GN34

확실히 그림으로 보여줘야 이해가 편하더라구요(수학은 어려워...)

이를 통해 TorusE의 임베딩 공간은 어느정도의 제약을 줌으로써 문제를 해결하려했군요

 

그렇다면 저 복잡해보이는 scoring식은 저 torus 공간에서의 거리를 알아내는 식일것 같네요.

앗 여기서 두번째 의문..... torus 공간위에서 돌아다니는 임베딩을 만든 것 같았는데 scoring으로는

L1 distance이나 L2 distance를 사용하는 것처럼 보이네요??? 

 

뭐지 원래 그런건가... 수학 나부랭이는 오늘도 해결은 못한채 의문만 가집니다.

아시는 고수님들 제발 도와주세요

 

이를 꼭 해결해서 수정하도록 하겠습니다.

그럼 오늘은 총총 이만 그치압