자연어 처리(NLP) 분야에서 트랜스포머(Transformer) 아키텍처는 ‘혁신’이라는 단어가 부족할 만큼 엄청난 변화를 가져왔습니다. 그중에서도 대표적으로 거론되는 모델이 바로 BERT와 GPT입니다.BERT는 트랜스포머의 인코더(Encoder) 구조를 주로 활용하며,GPT는 트랜스포머의 디코더(Decoder) 구조를 주로 활용합니다.두 모델 모두 자연어 처리 성능을 획기적으로 끌어올린 주역이지만, 내부 작동 원리나 주로 쓰이는 용도가 서로 다릅니다. 이번 글에서는 BERT와 GPT의 개념과 특징, 그리고 각각이 활용되는 분야까지 간략히 살펴보겠습니다.1. 트랜스포머(Transformer)의 기본 개념BERT와 GPT를 이해하기 위해서는 트랜스포머를 간단히 짚고 넘어갈 필요가 있습니다.트랜스포머는 S..

LLM(Large Language Model), sLLM(Small Large Language Model), vLLM(Virtual Large Language Model)에 대해서 설명드리겠습니다. 1. LLM (Large Language Model)1) 정의LLM(Large Language Model)이란 대규모 텍스트 데이터를 바탕으로 학습된 자연어 처리(NLP) 모델을 말합니다. 최근에는 GPT-3, GPT-4, BERT, T5 등 수십억~수천억 개 이상의 파라미터(매개변수)를 가진 초거대 언어 모델들이 주목받고 있습니다.방대한 양의 텍스트 데이터를 토대로 인간 수준(혹은 그 이상)의 문맥 파악, 문장 생성, 질의응답 등을 수행합니다.2) 작동 원리트랜스포머(Transformer)와 같은 신경망 아..

딥 러닝(Depp Learning)에 대해서 진행하려고합니다. 딥 러닝(Deep Learning)은 인공지능(AI) 분야에서 가장 주목받고 있는 기술 중 하나입니다. 오늘은 딥 러닝의 정의부터 역사, 기본 개념, 구조, 응용 분야, 학습 방법, 관련 자료까지 폭넓게 알아보겠습니다.딥 러닝의 정의딥 러닝은 인공신경망(Artificial Neural Network)을 기반으로 한 기계 학습의 한 분야로, 데이터에서 패턴을 학습하여 예측이나 분류를 수행하는 기술입니다. 이는 인간의 뇌 구조를 모방하여 여러 층의 신경망을 통해 정보를 처리합니다.딥 러닝의 역사딥 러닝의 역사는 1940년대 후반으로 거슬러 올라갑니다. 당시 프랭크 로젠블라트(Frank Rosenblatt)는 퍼셉트론(Perceptron)이라는 초..