Introducing Instella: New State-of-the-art Fully Open 3B Language Models

https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella-3B/README.html?utm_source=pytorchkr&ref=pytorchkr Introducing Instella: New State-of-the-art Fully Open 3B Language Models — ROCm BlogsAlignment to human preferences and strengthen chat capabilities with direct preference optimization (DPO).rocm.blogs.amd.com https://discuss.pytorch.kr/t/amd-mi300x-gpu-instella-3b/6297 AMD, ..

• format_list_bulleted AI trend research
• · 2025. 3. 8.
• textsms

LLM 기본1 - 언어 모델링의 역사

1. 딥러닝 기반의 언어 모델 LLM은 기술적으로 딥러닝에 기반을 둔다. 딥러닝은 인간의 두뇌에 영감을 받아 만들어진 신경망으로서, 데이터의 패턴을 학습하는 머신러닝의 한 분야이다. 딥러닝은 표 형태의 정형 데이터뿐만 아니라 텍스트와 이미지 같은 비정형 데이터에서도 뛰어난 패턴 인식 성능을 보여  2010년대 중반 이후 AI 분야의 주류 모델로 자리 잡았다. LLM은 사람의 언어를 컴퓨터가 이해하고 생성할 수 있도록 연구하는 자연어 처리(Natural language processing)에 속한다. 특히 그중에서도 사람과 비슷하게 텍스트를 생성하는 방법을 연구하는 자연어 생성(natural language generation)에 속한다. LLM은 다음에 올 단어가 무엇일지 예측하면서 문장을 하나씩 만들어..

• format_list_bulleted LLM
• · 2025. 3. 3.
• textsms

pytorch 재활훈련2 -사전학습된 vgg16 사용하기-

1. ImageNet, VGG-16 Pytorch는 ImageNet 데이터셋중 ILSVRC2012(클래스 1000개, 학습데이터:120만장, 검증 데이터:5만장, 테스트데이터:10만장)으로 신경망의 결합 파라미터를 학습한 다양한 모델을 사용가능 VGG-16은 2014년 ILSVRC에서 2위를 차지한 합성곱 신경망 옥스퍼드대의 VGG팀이 16층으로 구성해서 VGG-16 11,13,19층 다양한 버전의 모델도 존재함 구성이 간단하여 다양한 딥러닝 응용 기술의 기반 네트워크로 사용 2. 사용할 패키지 불러오기 import numpy as np import json from PIL import Image import matplotlib.pyplot as plt %matplotlib inline import to..

• format_list_bulleted Pytorch
• · 2023. 1. 6.
• textsms