전체 슬라이드 주소:https://docs.google.com/presentation/d/e/2PACX-1vQA853jwVctSpCitVFmA4c5pMwqWSQyFd0gWlvIhL_F3DK1p_xc5dPhFjA3donIVCirHD1vn865Mr9j/pub?start=false&loop=false&delayms=3000학기에 두 번 있는 paper 발표.나는 주제로는 Instruction finetuning, 논문은 SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions(ACL 2023)을 주제로 발표했다.Instruction finetuning은 기존의 random format의 natural language text datase..

Research Question: Both Decoder and Encoder-Decoder models can be trained for generative LMs. Why did the latter lose popularity since T5?결론: NLP의 everyday usage에는 decoder가 가진 장점(less resource, faster)가 좋다. 하지만 요즘의 multimodality를 강조한 LMM들은 decoder의 기존 pretrained 된 모델로 해결이 불가능해서, 동영상/사진/지식그래프 들의 embedding을 뽑아내는 encoder가 별도로 필요. 최근 구글 Gemini가 encoder-decoder 모델이다. 전체 슬라이드 주소: https://docs.google.c..

Relative positional encoding uses a word’s relative location in sentence rather than its absolute location.In the first picture, RPE bias which is based on the relative distance between token i and j were added to Key and Value.Clipping is conducted after certain distance k for the computing efficiencySecond picture shows an example of RPE Bias table of length 512.Each token’s bias itself is 0 a..

2013년 나온 '21세기 자본' 이후 나온 프랑스 스타 경제학자 토마 피케티의 책 자본과 이데올로기를 읽고 정리해보고자 합니다. 피케티는 22살에 프랑스 최고 그랑제꼴 ENA(국립행정학교)에서 박사를 받고 MIT에서 교수로 강의를 했던 천재 경제학자입니다. 미국 생활 중 최근 경제학계의 실생활과 유리된 수학적 천착에 실망감을 느끼고 프랑스로 돌아와 현재 자신이 설립에 주도적으로 참여한 파리 경제학교에서 가르치고 있는데, '21세기 자본'이 히트를 치며 유명세를 얻게 되었습니다.'21세기 자본'은 불평등에 대한 역사적 분석이라고 생각합니다. 주로 유럽과 미국의 역사적 사료를 통해서 인류 역사상 자본 수익률이 사회 전체 경제성장률 보다 항상 높아왔고(자본 수익률 r > 경제 성장률 g) 이는 영속적인 불평..

대학원 입학 전, 휴식의 일환으로 도쿄에 다녀왔습니다.청주 - 나리타가 21만 원에 싸게 떠서 예약했는데, 갈 때는 운 좋게도 비상구 옆 좌석을 받았어요.숙소는 라쿠텐 트래블에서 50% 할인을 받고 우에노역 근처로 잡았습니다.첫날은 도착하니 저녁이어서, 체크인 후 바로 저녁을 먹으러 갔습니다.https://maps.app.goo.gl/5f57LRRtK8JeraTT9 Koto · 일본 〒110-0015 Tokyo, Taito City, Higashiueno, 1 Chome−22−3 片岡ビル★★★★☆ · 일본 음식점www.google.co.kr 숙소 근처에 Koto라는 가정식집이 구글 평점 4.4라서 방문했는데, 가라아게가 정말 맛있었습니다.프라이드치킨보다 조금 더 간장베이스의 짭짤함과 엄청나게 부드러운 속..

https://medium.com/@antalpha.ai/lora-dreambooth-textual-inversion-in-stable-diffusion-1-5-c6d561542873 Lora, Dreambooth, Textual Inversion in Stable Diffusion 1.5 Lora, Dreambooth and Textual Inversion Explanations medium.com Dreambooth는 내가 넣은 input에 맞게 diffusion model 자체를 fine tune TI(Textual Inversion)은 내가 넣은 input의 word embedding을 fine tune. 즉 내 input을 최대한 활용하고 싶으면 dreambooth, 내 input의 창의적인 면..