코딩에 특화된 대규모 언어 모델...메타, 코드 라마(Code LIama) 공개

아직 상상이 끝나지 않았는데 이미 현실이 되어 버렸다. 최근들어 메타가 대규모 언어 모델을 비롯해 AI 역사에 남기고 있는 족적을 보면 그런 생각이 든다. 이번에는 코딩 전용 대규모 언어 모델인 '코드 라마(Code Llama)'가 그 중심에 놓였다. 프로그래밍을 배우는 초보자에게는 선생님 역할을 해주고, 개발자들에게는 경력 많은 도우미 또는 파트너가 될 수 있는 인공 지능이다.

코드 라마는 메타가 2023년 7월 18일 출시한 차세대 대규모 오픈소스 언어 모델인 '라마 2(Llama 2)'를 코드 작성과 검토에 최적화한 코딩 전용 AI 모델이다. 라마 2가 박학다식한 만물박사라면 코드 라마는 코딩 능력에 초점을 맞춘 코딩 전문가인 셈이다. 이번에도 역시 연구는 물론 상업적 용도로 누구나 무료로 사용할 수 있는 오픈소스다.

메타가 선보인 코드 라마는 라마 2를 코딩에 적합하도록 학습시킨 코딩 전용 대규모 언어 모델이다. 코드 라마, 코드 라마 - 파이썬, 코드 라마 인스트럭트 세 가지 모델을 오픈 소스로 공개했다. (자료 : Meta)

 

코드 라마는 기본형 모델인 코드 라마, 이름 그대로 파이썬에 특화된 모델인 코드 라마 - 파이썬(Codel Llama - Python), 자연어 명령어 이해를 높이도록 세밀하게 조정한 코드 라마 - 인스트럭트(Code Llama - Instruct) 세 가지 모델로 제공된다. 라마 2를 코딩에 특화된 모델로 진화 시키고, 이를 더욱 세분화해서 재주와 능력을 끌어 올렸다.

코드 라마는 라마 2에서 코드와 자연어 처리를 위한 코드별 데이터 세트를 추가로 훈련하고, 동일한 데이터 세트에서 더 많은 데이터를 더 오랫동안 샘플링하는 과정을 통해 탄생했다. 코드 라마는 매개변수의 크기에 따라 70억 개, 130억 개, 340억 개를 가진 세 가지 모델이 있고, 각 모델은 5,000억 개의 코드 토큰과 코드 관련 데이터로 학습했다.

지원하는 코딩 언어는 파이썬(Python), C++, Java, PHP, Typescript(Javascript), C# 및 Bash를 포함하여 현재 사용되는 대부분의 프로그래밍 언어를 지원한다. '피보나치 수열을 출력하는 함수를 작성하라'처럼 자연어로 코드를 작성할 수도 있고, 직접 코딩 작업을 하거나 디버깅에도 활용할 수 있다.

코드 라마 - 파이썬은 1,000억 개의 파이썬 코드 토큰을 통해 파이썬에 대한 코딩 능력을 향상했다. 코드 라마 - 인스트럭트는 자연어로 코딩 작업을 수행할 때 더욱 유용하고 효율적인 답변이 가능하도록 미세 조정하고 훈련된 모델이다. 이를 통해 연구, 산업, 오픈 소스 프로젝트, NGO, 비즈니스 등 다양한 분야의 소프트웨어 엔지니어를 지원하는 것이 코드 라마가 지향하는 목표다.

메타는 "AI 모델, 특히 코딩을 위한 LLM이 혁신과 안전성 측면에서 개방형 접근 방식을 통해 가장 많은 이점을 얻을 수 있다고 믿는다. 누구나 자유롭게 이용 가능한 코드별 모델은 사람들의 삶을 개선하는 새로운 기술의 개발을 촉진할 수 있다. 코드 라마와 같은 코딩 전용 대규모 언어 모델을 출시함으로써 전체 커뮤니티는 기능을 평가하고, 문제를 식별하고, 취약점을 수정할 수 있다"고 밝혔다.

⧉ Syndicated to WWW.CIOKOREA.COM