| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 | 31 |
- join
- SQL 첫걸음
- 논문리뷰
- 프로그래머스
- 그래프
- 알고리즘
- Aspect
- 머신러닝
- Bert
- SQL
- ChatGPT
- leetcode
- NLP
- GPT
- outer join
- LLM
- 가상환경
- 연구
- transformer
- ABAE
- deepseek
- 분산
- paper review
- 자연어처리
- 파이썬
- 백준
- MySQL
- dfs
- gpt1
- 코딩테스트
- Today
- Total
목록Bert (2)
huginn muninn
🎯 핵심 요약기존 BERT는 충분히 학습되지 않았음.RoBERTa는 더 오래, 더 많은 데이터로, 더 효율적으로 학습하여 성능을 향상시킴.NSP를 제거해도 성능 저하가 없었고, 동적 마스킹을 통해 더 일반화된 모델을 만듦.GLUE, SQuAD, RACE 같은 NLP 벤치마크에서 기존 모델보다 더 높은 성능을 기록. 😍 RoBERTa : BERT의 한계를 넘어서다. 자연어 처리(NLP)에서 사전 학습된 언어 모델은 필수적인 기술로 자리 잡았습니다. 특히 BERT(Bidirectional Encoder Representations from Transformers) 는 등장 이후 다양한 벤치마크에서 뛰어난 성능을 보이며 NLP의 판도를 바꿔 놓았습니다. 하지만 BERT의 학습 과정이 최적화되지 않았다는 점..
- 한 줄 요약BERT는 Transformer의 인코더만 사용함. Abstract왼쪽과 오른쪽 문맥을 모두 활용해 양방향으로 학습된 언어 모델, 기존의 많은 NLP작업에서 뛰어난 성능을 보여주며 사전 훈련된 BERT 모델은 간단한 출력층 추가만으로도 다양한 작업에 적응할 수 있다. Introduction이전의 단방향 모델들의 한계를 극복하기 위해 "Masked Language Model"과 "Next Sentence Prediction"을 사용하여 사전 학습을 수행. BERT는 여러 NLP 작업에서 뛰어난 성능을 발휘하며, 기존의 많은 task-specific 모델을 능가하는 성과를 보임. Related WorkUnsupervised Feature-based Approaches주로 word embeddi..