8개월 만에 GPT-3의 최소 성능에 준하는 모델 GPT-Neo 오픈소스로 공개
기술 제한 반대파, 연구 그룹 엘레우테르AI(EleutherAI) 자체 결성  
“GPT의 민주화 첫 발걸음”, "오픈소스보다 오픈" 커뮤니티 환영

 

 

 

2020년 자연어처리 인공지능 모델 GPT-3는 세계를 놀라게했다. 심리상담을 하고 블로그 글을 작성해 사람의 글을 제치고 조회 수 1위를 차지하며 인간 언어를 완벽히 구사하는 모습을 보였다.

 

하지만, 얼마 지나지 않아 오픈AI가 마이크로소프트에 GPT-3 독점권을 넘겼고 GPT-3를 활용한 웹사이트들과 서비스들이 자취를 감췄다.

 

( 사진 = 일론 머스크 트위터 )

( 사진 = 일론 머스크 트위터 )

 

오픈AI의 설립 멤버 중 한 명인 일론 머스크(Elon Musk)도 이러한 결정에 “OpenAI의 ’Open‘이 열린(Open) 이 아닌가 보다”라며 비판하기도 했다. 

 

이에, 인공지능 발전에 핵심 기술의 제한을 반대하는 이들이 2020년 7월 자체 연구 그룹 엘레우테르AI(EleutherAI)를 결성, 21일(현지 시간) 8개월 만에 GPT-3 오픈소스 버전 GPT-Neo 모델을 공개했다.

 

오픈소스 자연어처리 모델 GPT-Neo의 개발사 EleutherAI ( 사진= EleutherAI 깃허브)

오픈소스 자연어처리 모델 GPT-Neo의 개발사 EleutherAI ( 사진= EleutherAI 깃허브)

 

1월 825GB 분량의 수집 및 훈련에 사용이 가능한 영어 텍스트 데이터셋 더파일(The Pile)을 무료 공개하며 커뮤니티에서는 “GPT의 민주화(Democratization) 첫 발걸음”이라며 환영받은지 두 달 만이다. 

 

개발 초기 엘레우테르AI는 텐서플로 리서치 클라우드(TFRC)만을 이용해 GPT-2를 재현하며 GPT-Neo 기반 코드를 구축했다. 하지만 GPT-3 급의 모델 학습을 위해 부족한 TFRC의 TPU의 컴퓨팅 능력을 암호화 자산 채굴 업체 코어위브(CoreWeave)로부터 무상공급 받는 클라우드를 통해 투트랙으로 개발하며 보완했다.

 

엘레우테르AI는 자사 깃허브를 통해 “GPT-Neo가 GPT-3의 최소 성능에 준한다”고 밝혔다. 미래에는 매개변수 자릿수를 하나 떨어뜨리고 경량화한 최종 모델을 계획하고 있다.  [기사 더보기]

 

 

[출처 : AI타임스(http://www.aitimes.com/)]

[기자 : 장준하 기자(juny6287@aitimes.com)]