MZ._.GPT

[AI] 오픈소스 모델 DeepSeek R1 요약

DeepSeek R1?1. 개요DeepSeek R1은 2025년 1월 20일 정식 출시된 모델로, DeepSeek의 전신인 DeepSeek-V3를 기반으로 하여 강화학습(RL)과 감독 미세 조정(SFT)을 결합한 혁신적 학습 방법을 적용해 개발되었습니다. 특히 ‘체인 오브 쏘트(Chain-of-Thought)’ 기법을 통해 사용자가 질의를 주면 모델이 내부 추론 과정을 단계별로 공개하며 문제 해결 능력을 향상시킵니다. 2. 효율성 및 오픈소스 DeepSeek R1은 약 600만 달러의 비교적 적은 비용으로 개발되었으며, 이는 OpenAI의 수억 달러에 달하는 투자 대비 월등한 비용 효율성을 보여줍니다. 또한, MIT 라이선스 하에 오픈소스로 공개되어 누구나 자유롭게 사용·수정할 수 있어 개발자 커뮤니티 ..

0. 서론LLM은 텍스트 뿐만 아니라 이미지에 대한 설명을 생성하고, 복잡한 시각적 질문에 정확하게 답하는 것과 같은 인상적인 멀티 모달 기능을 제공하고 있습니다. 그러나, 이러한 시각 언어 모델(VLM) 중 가장 성능이 좋은 모델은 모델 Weight, data, source code가 공개되지 않은채 독점 상태로 남아 있습니다. 그러나, VLM을 처음부터 구축하는 것은 매우 어려운 일이기 때문에 저자는 LLM에 대한 학문적 탐구를 촉진하기 위해 성능이 뛰어난 공개 멀티모달 모델을 개발하고 배포하고자 하였습니다. 이에 독자적으로 개발된 비전 인코더와 언어 모델을 결합해 훈련된 오픈 모델 Molmo를 공개했습니다.  Molmo는 다른 VLM들이 사용한 합성 데이터나 폐쇄적인 데이터에 의존하지 않고, 이미지..

allenai/Molmohttps://huggingface.co/allenai/Molmo-7B-O-0924 allenai/Molmo-7B-O-0924 · Hugging FaceMolmo 7B-O Molmo is a family of open vision-language models developed by the Allen Institute for AI. Molmo models are trained on PixMo, a dataset of 1 million, highly-curated image-text pairs. It has state-of-the-art performance among multimodal models withuggingface.co 앨런인공지능연구소(AI2)가 9월 25일에 오픈소스 ..

0. Perplexity?Perplexity는 실시간 웹 검색과 AI 기술을 결합한 대화형 검색 엔진 서비스의 이름입니다. Perplexity AI는 사용자의 질문에 대해 정확하고 최신의 정보를 제공하는 것을 목표로 합니다. 이 서비스는 다양한 AI 모델을 활용하여 검색 결과를 생성합니다.Pro 버전의 경우, 사용자가 선택할 수 있는 여러 고급 AI 모델을 제공합니다. 이 모델들은 다음과 같습니다:GPT-4oClaude-3.5 SonnetSonar LargeClaude 3 OpusSonal huge이러한 다양한 모델 중에서 사용자가 원하는 모델을 선택하여 검색을 수행할 수 있습니다. 각 모델은 고유한 특성과 성능을 가지고 있어, 사용자의 필요에 따라 적절한 모델을 선택할 수 있습니다. Perplexity..

파이썬에서 chatGPT API를 사용하기 위해선 API Key를 발급받고 등록하면 끝이 아닙니다. 카드 등록 등 여러 과정을 추가로 진행해야 합니다. chatGPT API를 사용하기 위해 웹서핑을 하면서 찾은 정보를 작성하겠습니다. chatGPT API 사용방법 1. OpenAI 계정 생성 및 API 키 발급 계정 생성: OpenAI 웹사이트에 접속하여 계정을 생성합니다. API 키 획득: 계정 대시보드에서 API 키를 생성합니다. 이 키는 API 요청을 인증하는 데 사용됩니다. 먼저 Openai API 사이트에 들어가신후 회원 가입을 합니다. 회원 가입이 완료되면 https://platform.openai.com/api-keys링크에서 API Key를 발급 받을 수 있습니다. 발급 받으신 키는 다시 ..

INTRO 평소에 NLP에 관심이 많아 프로젝트와 논문 공부를 하던 중 우연히 문장을 입력받아 문장의 ‘유형’, ‘시제’, ‘극성’, ‘확실성’을 예측하는 Text Multilabel Classfication Task의 DACON 문장 유형 분류 AI 경진 대회에 참가하게 됐습니다. 대회기간이 짧아 모델의 구조를 수정하기보다는 데이터의 품질을 향상시키고 여러 Pretrained모델 중 가장 성능이 잘나오는 몇개의 모델을 찾고자 했습니다. - 데이터 증강, 데이터 전처리 기법을 사용해 데이터셋의 품질과 양을 향상시켰습니다. - Pretrained 모델의 일부분을 얼리고 미세조정을 진행했습니다. - 여러 한국어 Pretrained 모델의 성능을 비교해보면서 성능이 좋은 모델들을 앙상블 했습니다. 이러한 과정..