huginn muninn

💫 핵심 요약 GPT-1은 라벨링되지 않은 대규모 텍스트 데이터로 사전학습 후 각 작업에 맞게 미세조정하는 2단계 학습 방식을 제안트랜스포머 디코더 구조를 활용해 이전 단어들로부터 다음 단어를 예측하는 생성 모델 작업별 맞춤 구조 대신 간단한 입력 변환만으로 다양한 NLP 작업에 적용 가능 12개 NLP 작업 중 9개에서 최고 성능을 달성하며 특히 상식 추론에서 8.9%, 질문 답변에서 5.7% 성능 향상 적은 라벨링 데이터로도 높은 성능을 달성할 수 있는 효율적인 학습 방법을 제시 ⭐️ Abstract자연어 이해(NLU, Natural Language Understanding)는 질문 응답, 문서 분류 같은 다양한 작업이 있습니다.이런 작업들을 수행하려면 라벨링된 데이터가 필요한데, 이런 데이터를 만..

2023년 7월 18일에 나온 아주 따끈따끈한 레포트. https://arxiv.org/abs/2307.09009 How is ChatGPT's behavior changing over time? GPT-3.5 and GPT-4 are the two most widely used large language model (LLM) services. However, when and how these models are updated over time is opaque. Here, we evaluate the March 2023 and June 2023 versions of GPT-3.5 and GPT-4 on four diverse tasks: 1) s arxiv.org 최근 GPT-3.5, GPT-4와 같은..