허깅페이스 깃헙에 있는 example들 중 특정 폴더만 clone해서 돌려보고 싶었다. 1. 폴더 생성 git 저장소의 하위 폴더 clone 하기 다운로드 받을 디렉토리에서 커맨드 실행 2. git 코드 git init git remote add origin https://github.com/huggingface/transformers.git git config core.sparsecheckout true echo [폴더경로]/* >> .git/info/sparse-checkout # rag fine-tunning 코드 클론하기 # echo transformers/examples/research_projects/rag-end2end-retriever/* >> .git/info/sparse-checkout..
[PyCharm] 서버 자동 업로드가 안될 때 - PyCharm Deployment Auto upload 현재 프로젝트에 서버가 2개 이상 연결되어 있는데 디폴트 값 설정이 안되어 있는 경우이다. 인터프리터에서 바꿔줘도 동일하게 오토 업로드가 안될 것이다. 해결 : Tools -> Deployment -> Option that said I didn't have a default server set up (dispite only having one available). In Tools -> Deployment -> Configuration, right click on the deployment you want on the column on the left, and 'Use as Default'. That ..
@inproceedings{wolf-etal-2020-transformers, title = "Transformers: State-of-the-Art Natural Language Processing", author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu..
Pytorch를 사용하면서 알게된 내용들, 정확히 이해하려는 코드들을 모아놓습니다. Updated 21.10.07 1. TensorDataset의 사용 torch.tensor -> TensorDataset -> DataLoader 의 과정으로 깔끔한 코드를 작성한다. from torch.utils.data import (DataLoader, TensorDataset) TensorDataset은 ds = TensorDataset(x,y) 뿐만 아니라 여러개의 데이터를 넣을 수도 있다. # 보통 사용 ds = TensorDataset(x,y) # 여러개 묶음 사용 train_features = TensorDatast(input, input_lengths, label, left_feature, right_fe..
