[AI] 서비스나우, 허깅페이스, 엔비디아 오픈소스 AI 코딩 LLM '스타코더2' 출시

스타코더2 모델

서비스나우, 허깅페이스, 엔비디아가 공동으로 오픈소스 AI 코딩 LLM인 '스타코더2'를 출시했다는 내용입니다. 스타코더2는 서비스나우에서 학습한 30억 개의 파라미터 모델, 허깅페이스에서 학습한 70억 개의 파라미터 모델, 그리고 엔비디아에서 네모(NeMo) 프레임워크를 사용하여 구축한 150억 개의 파라미터 모델로 구성되어 있습니다.

AI 모델에서 파라미터는 모델이 학습 데이터로부터 배우는 조정 가능한 요소입니다. 이들은 신경망의 가중치나 기계 학습 알고리즘의 설정 등을 포함할 수 있습니다. 파라미터는 AI 모델의 행동을 영향을 주며, 이들은 어떻게 예측이나 결정을 내릴지를 결정합니다. 파라미터는 특정 입력 특성이 출력에 미치는 중요도를 영향을 주는 가중치나 편향으로 나타날 수 있습니다. 일반적으로 파라미터 수가 많을수록 모델은 더 복잡하고 적응성이 높아집니다. 더 많은 파라미터를 가진 대형 언어 모델은 데이터에서 더 복잡한 패턴을 파악할 수 있어, 더 풍부하고 정확한 출력을 생성할 수 있습니다.

그러나 파라미터 수가 많아질수록 계산 요구량이 증가하고, 메모리 요구량이 늘어나며, 과적합의 위험이 커집니다. 과적합은 모델이 학습 데이터에 너무 잘 맞아 새로운 데이터에 대한 일반화 능력이 떨어지는 현상을 말합니다.

위의 기사에서 언급된 '스타코더2'의 파라미터 수는 서비스나우에서 학습한 30억 개의 파라미터 모델, 허깅페이스에서 학습한 70억 개의 파라미터 모델, 그리고 엔비디아에서 네모(NeMo) 프레임워크를 사용하여 구축한 150억 개의 파라미터 모델로 구성되어 있습니다. 이는 총 250억 개의 파라미터를 가지고 있습니다.

이를 다른 대형 언어 모델과 비교해보면, OpenAI의 GPT-4는 1.5조 개의 파라미터를 가지고 있습니다. 따라서 스타코더2의 파라미터 수는 GPT-4에 비해 상당히 작습니다. 그러나 파라미터 수만으로 모델의 성능을 판단하는 것은 어렵습니다. 각 모델은 서로 다른 학습 데이터와 목표를 가지고 있으며, 이는 모델의 성능과 적용 가능성에 영향을 미칩니다.

이번에 파라미터 수가 적은 것은 아마도 저작권 문제가 없는 데이터들만으로 학습을 시킨 것도 한 몫을 한 것으로 추정이 되네요.

 

스타코더2

스타코더2 특성

스타코더2는 코드 완성, 코드 요약, 코드 스니펫 검색 등 프로그래밍 작업을 돕는 도구로 사용될 수 있습니다. 또한 스타코더2는 텍스트-투-코드 및 텍스트-투-워크플로 기능을 포함하여 AI 기반 코딩 애플리케이션의 잠재력을 더 높여줄 것이라고 세 기업은 밝혔습니다.

스타코더1에 비해 스타코더2는 더 많은 프로그래밍 언어를 지원합니다. 스타코더1은 80개의 프로그래밍 언어를 지원했지만, 스타코더2는 최대 619개의 프로그래밍 언어를 지원한다고 합니다.

스타코더2는 이전 세대 LLM보다 7배 이상 규모가 큰 '스택v2'라는 코드 데이터세트를 활용했습니다. 여기에 코볼 같이 온라인 리소스가 거의 없는 언어 처리나 프로그램 소스 코드의 수학적 처리를 돕는 새로운 학습 기법을 활용했습니다.

기업은 자체 데이터로 모델을 미세 조정할 수 있는 엔비디아의 네모나 허깅페이스의 TRL 같이 도구를 사용하여 맞춤형 챗봇 또는 코딩 어시스턴트를 만들 수 있습니다.

스타코더2 홈페이지 깃허브 주소 (URL) - 엔진 다운로드 주소

https://github.com/bigcode-project/starcoder2

GitHub - bigcode-project/starcoder2: Home of StarCoder2!

 

참고자료

(1) “지원 코딩 언어 600여 개”··· 오픈소스 AI 코딩 LLM ‘스타코더 .... https://www.ciokorea.com/news/327473.
(2) ‘메타버스냐 다크버스냐’ 눈앞에 닥친 새로운 보안 과제 - CIO Korea. https://www.ciokorea.com/news/274423.
(3) 뉴스 - CIO Korea. https://www.ciokorea.com/news.
(4) 칼럼ㅣ위험 완화부터 핵심 조력자까지··· 2021년 ‘CISO’의 역할 .... https://www.ciokorea.com/news/179774.

같이 보면 좋은 자료

[IT이야기] - 오픈AI/OpenAI 동영상 생성 AI: 소라(Sora) 공개

오픈AI/OpenAI 동영상 생성 AI: 소라(Sora) 공개

[IT이야기] - [AI] 구글 제미나이(Gemini)로 바드(Bard) 대체, Gemini Advanced 2달간 무료

[AI] 구글 제미나이(Gemini)로 바드(Bard) 대체, Gemini Advanced 2달간 무료

[IT이야기] - [AI]코알라 700m - ETRI, 문장 입력 후 2초 만에 이미지 생성 기술 개발

[AI]코알라 700m - ETRI, 문장 입력 후 2초 만에 이미지 생성 기술 개발