adapter - LoRA - IA3 정리 https://devocean.sk.com/blog/techBoardDetail.do?ID=164779&boardType=techBlog LoRA 개념 https://da2so.tistory.com/79 허깅페이스 구현 LoRA https://huggingface.co/docs/diffusers/main/en/training/lora LLM training How To Train Large Language Models 대략적인 튜토리얼 https://www.datacamp.com/tutorial/how-to-train-a-llm-with-pytorch LangChain official LangChain LangChain - use case
1. 아마존(AMT)을 사용하지 않고 주변인들에게 정성평가 할일이 생긴다면 아주 유용하게 쓰일 것 2. 구글폼을 이렇게 바꿔서 쓰면되는데 좀 비효율적으로 진행한 정성평가가 많다... 확장 프로그램은 Form builder for sheets https://www.youtube.com/watch?v=Ku1jZkU7kYI
파이토치로 모델 저장시에 model 통째로가 아니라 가중치만 저장하는데 사이즈가 너무 커져서 찾아봄 나는 주로 RoBERTa - base를 쓰고 base이기 때문에 저장시에 용량이 1GB 는 넘지 않아야 하는데 1.3GB 내외로 저장되어서 서버 용량 관리에 애먹었다. Model become 3 times larger after finetune? #63 https://github.com/google-research/bert/issues/63 Model become 3 times larger after finetune? · Issue #63 · google-research/bert A pretrained bert large model's ckpt file is about 1.3GB, after finetun..
재밌는 자연어처리 글이 많아서 가끔 들어가서 보기에 유용할 듯 엄청 유용한 글도 다수 있다. https://medium.com/daangn 당근마켓 팀블로그 – Medium 당근마켓은 동네 이웃 간의 연결을 도와 따뜻하고 활발한 교류가 있는 지역 사회를 꿈꾸고 있어요. medium.com
나는 지키고 있었나? -> 지키려고 노력하는 나날들이었다. 그럼에도 불구하고 다시 꺼내볼 때마다 많은 공감과 영감, 동기부여를 받는 글 학문을 직업으로 삼으려는 젊은 학자들을 위하여 이화여대 오욱환 인생은 너무나 많은 우연들이 필연적인 조건으로 작용함으로써 다양해집니다. 대학에 진학한 후에는 전공분야에 따라 전혀 다른 인생길로 접어든다는 사실에 놀라기도 했을 겁니다. 전공이 같았던 동년배 학우들이 각기 다른 진로를 선택함으로써 흩어진 경험도 했을 겁니다. 같은 전공으로 함께 대학원에 진학했는데도 전공 내 하위영역에 따라, 그리고 지도교수의 성향과 영향력에 따라 상당히 다른 길로 접어들었을 겁니다. 그것이 인생입니다. 저는 한국교육학회나 분과학회에 정회원으로 또는 준회원으로 가입한 젊은 학자들에게 학자로서..
