https://tech.kakao.com/posts/633 LLM, 더 저렴하게, 더 빠르게, 더 똑똑하게 - tech.kakao.com안녕하세요. 카카오 기술전략 소속의 로빈입니다. 현재 저는 카카오의 AI 교육 자...tech.kakao.com 1. LLM의 사용 가격은 지속적으로 낮아지고 있다 2023.05 gpt 3.5 turbo는 100만 토큰당 2달러였으나 2024.07 gpt 4o mini는 100만 토큰당 0.24달러 구글의 gemini도 이에 맞춰 가격 인하 Claude 역시 가격 인하 이러한 가격 인하 흐름은 오픈소스 모델의 API 가격 경쟁이 영향을 끼친 것으로 예상 2. LLM은 점점 빨라진다 AI를 활용한 서비스를 구축할 시 LLM의 토큰 생성 속도는 프로젝트의 핵심 ..
LLM은 뛰어난 능력을 보여왔지만, 실제 사용을 위해서는 환각 현상이나 느린 지식 업데이트, 답변 투명성 부족 등 같은 문제를 해결해야합니다. RAG는 검색 - 증강 생성이라는 뜻으로 LLM에서 질문에 대한 답변이나 텍스트를 생성하기 전에, 광범위한 데이터베이스 집합에서 관련 정보를 검색하고 이러한 정보를 포함하여 자연스러운 답변을 생성하는 방법 LLM 내부적으로 훈련된 데이터가 시대에 뒤떨어져있을 수 있고, 특정 영역에 대해 지식이 부족할 수 있으며 응답의 투명성이 부족하다는 문제를 해결하는데 중점을 둔다 RAG는 답변의 정확도를 크게 향상시키고 지식 집약적인 작업에서 모델의 환각을 줄이는데 도움이 된다. 또한 사용자가 출처를 인용하여 답변의 정확성을 검증할 수도 있어 모델의 출력에 대한 신뢰..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
