이제 실험할 때 쓰는 구조가 거의 굳어졌다. 내가 기본적으로 사용하는 config 코드이다. 허깅페이스 예제 코드와 거의 비슷하고 출처도 동일하다. data: 데이터 폴더 preprocessing.py eda: 각종 분석용 코드 및 시각화 코드용 폴더 src functions: 3가지 코드는 필수적으로 사용한다. Dataset과 Collator는 data에서 만들어서 사용 data.py utils.py metric.py model: 모델에 대한 함수와 train,eval 함수가 들어있는 폴더 model.py main_functions.py config.py: 모델에 대한 하이퍼파라미터와 경로 등을 저장해서 사용한다. 쉽게 바꿀 수 있다. run.py: 실행 파일 """config.py""" import ..
제목 : Inquiry about your paper Dear, (저자님) Hello, I am a master student studying (분야) in South Korea. (칭찬 및 논문 언급) While reading famous papers in the related field, I read your paper “논문제목” that you submitted a few years ago. This paper helped me a lot to clearly define my research topic. (본론, 요청) I look forward to your response. Thank you! Sincerly, Yejin Lee https://powerofsummary.tistory.com/1..
3월 첫주에 근황에 대해서 한 번 글을 남기고 싶었는데 노트북을 못펼쳐서..(?) 늦어졌다. 주중~토요일에 공부하다가 주말에 근황 글쓰기가 하고 싶었는데... 사실 근황이라고 해봤자 별거 없는데, 대학원 1학기가 지난 끝난 시점 + 개강이면 바빠지기 때문에 새로운 마음을 다짐하고자 기록을 남기려고 했다. 요즘 항상 나에게 하는 말은 이 달팽이 짤... 헤드라인부터 달팽이 주인의 표정..말투 모든게 완벽하다. 뭔가 해보면서 망할까봐 열심히 하기 싫어지는 포인트가 생기는데, 그렇다고 열심히 안할것도 아니면서 망할 것을 걱정하는게 싫어서 더 이런말을 스스로에게 해주려고 한다. 구현도 연구도 생각한대로 짜란 하고 되면 좋겠지만 잘 안되어서 은연중에 조급해하는 것 같다. 확실히 코스웍 + 조교 활동을 하는 학기라..
https://sergeswin.com/259/ 쾌적해서 즐겁다? 맥 OS, 최정예 FTP 프로그램 5가지! 놓치지 마세요! 지금 바로 만나보고픈 프로그램! 맥 OS '최고의 FTP 프로그램'을 확인해보세요! sergeswin.com 위 글에서는 무료/유료 FTP 프로그램을 추천한다. 무료인 파일질러를 써보려고 했지만 도저히 불편해서 32달러 결제하고 ForkLift3를 사용중이다. 앱스토어에는 무료판 ForkLift2가 나와있고, 3은 홈페이지에서 다운로드 받아야한다. 윈도우에서는 Xshell 과 Xftp7 + Pycharm 을 사용중이다. 전반적으로 Mac OS에서 iTerm과 ForkLift3 + Pycharm 을 사용하는 환경이 os 빨을 받아서 훨씬 쾌적하다.
우리가 흔히 알고 있는 것은 softmax를 이용해서 직접 attention 값을 계산하는 soft-attention이다. hard-attention은 주로 이미지 분야에 사용되고 이미지 캡셔닝에 사용되는 local-attention은 soft와 hard의 중간 정도인 것 같다. hard-attention을 사용하게 되면 attention weight값을 직접 계산하지 않고 확률적으로 샘플링해서 사용하는 부분이 있기 때문에 미분이 불가능해진다. 따라서 역전파를 위한 loss 사용에 유의할 것 https://jhui.github.io/2017/03/15/Soft-and-hard-attention/ “Soft & hard attention” Generate image captions In cognitive ..
매트릭스 계산을 나름 직관적으로 표현할 수 있지만 헷갈림 einsum is all you need - einsum 용법 정리 https://rockt.github.io/2018/04/30/einsum Tim Rocktäschel Batch matrix multiplication is a special case of a tensor contraction. Let's say we have two tensors, an order-\(n\) tensor \({\color{red}\mathcal{A}}\in\mathbb{R}^{I_1\,\times\,\cdots\,\times\,I_n}\) and an order-\(m\) tensor \({\color{blue}\mathcal{B}}\i rockt.github...
