대규모 언어 모델인 GPT-3 같은 모델은 막대한 컴퓨팅 자원을 필요로 합니다. 예를 들어, 1750억 매개변수를 가진 GPT-3를 훈련시키는 데에는 355 GPU-년과 약 460만 달러의 비용이 들었습니다.
메타의 LLaMA 모델에는 다양한 버전이 있으며, 이 중 가장 작은 모델은 70억 매개변수를 가지고 있습니다. LLaMA 2에는 70억, 130억, 그리고 700억 매개변수의 모델이 포함되어 있습니다.
반면에, 소규모 언어 모델은 상대적으로 적은 컴퓨팅 자원을 필요로 합니다. SLM은 매개변수 수가 적어서 LLM보다 훈련과 운영이 더 쉽고 저렴합니다.
알파카 7B는 스탠포드 대학에서 개발되었으며, 주로 학술 연구용으로 사용되기 위해 설계되었습니다. 이 모델은 메타의 LLaMA 7B 모델을 기반으로 합니다.
SLM의 훈련 비용과 자원 사용은 LLM에 비해 상대적으로 적습니다. 예를 들어, 알파카 7B 모델의 경우, 8개의 A100 GPU를 사용하여 약 3시간 동안 $100 미만으로 훈련할 수 있습니다.
SLM은 데이터 보안, 개인 정보 보호 측면에서 이점이 있으며, 특정 작업에 빠르고 효율적입니다.
SLM이 앞으로 어떻게 발전할지, 여러분의 생각은 어떤가요? 댓글로 의견을 공유해주세요!
https://www.youtube.com/shorts/9kyQUds1aJg
요즘은 온디바이스를 AI가 대세로 되면서 7B보다 더 작은 모델이 등장한다고 하는데요
구글의 재미나이부터 스테이블디뷰전으로 유명한 스태빌리티 AI도 그렇고 마이크로 소프트도 Phi-2를 선보였고 저는 점점 온디바이스로 그리고 로보또의 발전에 엄청난 영향을 줄것으로 예상을 하고 있습니다.
그렇게 로봇들이 가정들에 등장하고 성접대까지가능한 로봇이 나타난다면 핵개인화의 가속화가 엄청나게 진행된다고 하는데요. 그래서 미래에는 더욱 인간다움을 유지하라고 합니다.
AI는 인간보다 학습을 잘하고 창의력도 높아질 것이라고 합니다.
지피티 1세대는 아이큐 15 2세대는 150 다음 세대는 1500에 달할 것이라고 합니다.
우리 인간은 이에 대해 AI가 할 수 없는 부분인 호기심을 가지고 생각하기, 배려하고 행동하는 것 등으로 경쟁력을 가져갈 수 있다고 합니다.
AI의 발전 > 소형화 > 온디바이스 > 로보트 & AR & VR > 메타버스 수순이 아닐까요?
사업또한 핵개인화가 진행 될 것으로 생각이 됩니다. 아시다 싶히 openAI가 GPT 스토어를 통해서 AI챗봇을 사고 팔기 가능하게 하고 소프트웨어들을 만들기 쉽게 한다고 합니다.
벌써부터 큰 회사들은 인력들을 구조조정하고 AI로 그것을 대체하고 있구요.
어떠한 학자들은 그로인해 AI개발사들에게 세금을 더 걷어들여서 실업자들에게 돌려야한다고 합니다.
그로 인해서 현재 경쟁때문에 가속화된 AI의 개발 속도가 더뎌 질 수 있다는 생각은 하지만 그것이 AI의 개발을 막을 수는 없다는 생각을 합니다.
