Transformer^2: Self-adaptive LLMs

대규모 언어 모델(Large Language Models, LLMs)은 인공지능(AI) 발전의 핵심이 되었지만, 기존 LLM은 본질적으로 정적인 구조를 가지고 있어 새로운 작업이나 환경에 빠르게 적응하기 어렵습니다. 기존 모델은 정적인 학습 구조를 기반으로 설계되어 한 번 학습된 이후에는 추가적인 작업을 처리하기 위해 전체 모델을 재학습해야 하며, 이는 높은 계산 비용과 자원 소모를 초래합니다. Sakana AI가 제안하는 Transformer²는 이러한 한계를 극복하기 위해 설계된 새로운 프레임워크로, AI 시스템이 환경과 작업에 따라 실시간 적응할 수 있도록 지원합니다. 이 프레임워크는 기존 LLM의 정적 구조를 개선하여 특이값 기반 파인튜닝(Singular Value Fine-tuning, SVF)..

• format_list_bulleted AI 논문/AI trend research
• · 2025. 1. 22.
• textsms

neural network에서의 low rank approximation은 무엇이 있는가

1. filter decomposition network의 filter를 decomposition하여 계산량을 줄이면서 decomposition하기 전의 결과에 approximation시키는 방법 depthwise separable convolution은 depthwise convolution을 수행하고 pointwise convolution을 수행하여 일반적인 convolution보다 계산량을 줄이고 원래 일반적인 convolution의 결과에 거의 approximation할 수 있다.. (같지 않나 아닌감)   2. low rank tensor approximation 이미 학습된 network의 filter가 차원이 너무 높아 계산비용이 너무 많이 드는 경우 하지만 input을 받아 output을 ..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 11. 20.
• textsms

matrix factorization을 이용한 추천시스템 간단한 이론과 구현예시

1. matrix factorization 사용자 * 아이템으로 구성된 하나의 행렬을 2개의 행렬로 분해하는 방법 사용자와 아이템이 각각 무엇인지는 모르겠지만 k개의 잠재요인(latent factor)으로 설명할 수 있다고 생각하고, (사용자 * 잠재요인) * (잠재요인 * 아이템)의 두 행렬의 곱으로 나타낼 수 있다는 것이다.   행렬 R은 M명의 사용자가 N개의 아이템에 대해 평가한 점수가 있는 행렬 M명의 사용자는 모든 아이템에 대해 평가하지는 않는다.  내가 소유한 아이템, 경험해본 아이템에 대해서는 평가할 수 있어도(혹은 평가하지 않고)  경험해보지 않은 아이템에 평가하지는 않는다(거짓으로 할수도 있겠지만..) 그래서 R은 대부분의 아이템이 NULL인 sparse matrix이다. 이러한 행렬 ..

• format_list_bulleted 딥러닝/recommendation system
• · 2024. 8. 3.
• textsms