라쿠텐 그룹(Rakuten Group), 일본어에 특화된 대규모 언어 모델 'Rakuten AI 7B' 공개 라쿠텐 그룹은 3월 21일, 일본어에 특화된 대규모 언어 모델 'Rakuten AI 7B'를 발표했습니다. 이 모델은 프랑스의 AI 스타트업인 Mistral AI의 'Mistral-7B-v0.1'을 기반으로 개발된 70억 개의 파라미터를 가진 언어 모델입니다. Apache 2.0 라이선스 하에 공개되었으며, Hugging Face를 통해 다운로드할 수 있으며 상업적 이용도 허용됩니다. 또한, 라쿠텐 그룹은 인스트럭션 튜닝(파인튜닝의 일종)이 적용된 'Rakuten AI 7B Instruct'와 그를 기반으로 한 챗봇 모델 'Rakuten AI 7B Chat'도 동시에 공개했습니다. 이러한 모델들도 Apache 2.0 라이선스로 제공됩니다. 이러한 모델들은 Mistral-7B-v0.1을 기반으로하여 인터넷 상의 일본어 및 영어 데이터를 사용하여 반복적으로 사전 학습되었습니다. 라쿠텐 그룹은 내부 필터링 및 주석 기능을 활용하여 데이터 품질 향상에 노력했다고 밝혔습니다. 또한, 일본어에 최적화된 형태소 분석기를 사용하여 텍스트 처리의 효율성을 높이는 데도 성공했습니다."

콘텐츠를 더 읽고 싶다면?

원티드에 가입해 주세요.
로그인 후 모든 글을 볼 수 있습니다.

원티드 시작하기