Decoder model vs Encoder-Decoder model RQ 발표
2024. 10. 5. 20:11ㆍAI/LLM
Research Question: Both Decoder and Encoder-Decoder models can be trained for generative LMs. Why did the latter lose popularity since T5?
결론: NLP의 everyday usage에는 decoder가 가진 장점(less resource, faster)가 좋다. 하지만 요즘의 multimodality를 강조한 LMM들은 decoder의 기존 pretrained 된 모델로 해결이 불가능해서, 동영상/사진/지식그래프 들의 embedding을 뽑아내는 encoder가 별도로 필요. 최근 구글 Gemini가 encoder-decoder 모델이다.
'AI > LLM' 카테고리의 다른 글
| Reasoning and Planning - Paper 발표(Let’s Verify Step by Step) (0) | 2024.10.05 |
|---|---|
| Instruction finetuning - RQ (1) | 2024.10.05 |
| Instruction Finetuning(SELF-INSTRUCT)- paper 발표 (1) | 2024.10.05 |
| Relative Positional encoding RQ 발표 (0) | 2024.10.05 |