Self-attention
-
GPT 둘러보기AI🤖 2025. 4. 23. 15:10
1. GPT란 무엇인가?GPT는 "Generative Pretrained Transformer"의 약자로, 다음과 같은 의미를 담고 있습니다. Generative: 새로운 텍스트를 생성할 수 있는 모델Pretrained: 방대한 데이터로 사전 학습된 후, 추가 학습(fine-tuning)이 가능Transformer: 모델의 핵심 구조로, Self-Attention 메커니즘을 사용하는 신경망 아키텍처GPT는 기본적으로 사람처럼 문장을 이해하고 생성할 수 있는 거대한 자동완성 기계라고 볼 수 있습니다.2. GPT 모델은 어떻게 만들어지는가?GPT 같은 LLM은 아래와 같은 과정을 통해 만들어집니다.◾ 데이터 수집인터넷, 책, 위키, 뉴스, 논문, 코드 등 다양한 텍스트 데이터를 수집합니다.◾ 토크나이징(To..