메타(Meta)의 AI 언어모델 라마 2(Llama2), 챗GPT 뛰어넘을까?

 

달리로 만든 AI가 발전한 미래의 소셜 네트워킹 플랫폼

28일 마크 저커버그(메타 CEO)가 10년 만에 한국을 찾아서 화제입니다.

 

LG전자, 삼성 등 우리나라 기업들과 인공지능(AI)과 확장현실(XR) 사업 협력을 논의하기 위해 온 걸음인 만큼, 메타(Meta)의 다양한 핵심 기술들이 접목된 차세대 기기들이 개발되지 않을까 기대가 됩니다.

메타(Meta)는 페이스북의 변경된 이름으로, 소셜 미디어 플랫폼의 대모 격이라 할 수 있습니다.

2004년에 개발되어 현재까지도 전 세계에서 가장 큰 소셜 네트워킹 서비스를 제공하고 있습니다.

지금은 거의 30억 명의 사용자들이 실제로 사용하고 있고, 또 세계에서 가장 많은 사람이 들어온 웹사이트라고도 합니다.

그러면 이 메타(Meta)가 이렇게 큰 소셜 네트워킹 플랫폼을 운영할 수 있는 요소를 AI 기술에 집중해서 알아볼까요?

 

 

---

 

매섭게 성장하는 메타(Meta)의 AI 기술들

 

2022년까지만 해도 메타버스에 올인했던 저커버그가 이제는 AI 기술에 더 집중하고 있습니다.

 

생성형 AI가 맹렬한 속도로 시장을 잡아먹고 있고, 리얼리티 랩(Reality Labs, 메타플랫폼의 비즈니스 및 연구팀. 메타버스를 주력으로 연구하고 있다가 2022년 시작으로 여러 AI 개발을 더 중점 하게 됨)의 적자가 137억 달러(약 18조 원)에 달한 것도 그 이유가 될 것 같은데요.

이제는 단순한 소셜 미디어 플랫폼을 넘어 다양한 디지털 세계를 제공하고자 하는 것 같습니다.

현재까지 메타(Meta)가 주력으로 개발 중인 AI 기술를 살펴봅시다.

 

 

 

1. 기술 혁신을 꿈꾸는 메타 AI | 라마(Llama) 2

 

2023년 2월에 메타는 대규모 언어모델인 ‘라마’(Llama)를 공개했습니다. 

메타의 라마는 오픈AI의 GPT와 같이 학습한 텍스트를 통해 사람이 쓰는 언어와 비슷한 수준의 문장을 생성합니다.

오픈 AI의 GPT-3.5의 수준에 비하면 작은 규모지만, 방대한 데이터를 학습해 높은 수준의 성능을 보여주고 특히 컴퓨터 파워가 적게 사용돼서 오픈 AI보다 반응속도가 더 빠르다는 장점이 있습니다.

7월에는 라마의 다음 버전인 라마(Llama) 2를 공개하기도 했는데요.

100만개 이상의 인간 주석으로 훈련된 라마 2는 기존보다 더 많은 데이터 훈련 덕에 컨텍스트(context-특정 단어, 문장, 아이디어가 사용된 상황이나 환경) 길이가 두배로 늘었고, 사용자 질문에 대해서도 더 정확하고 유용한 응답을 제공합니다.

복잡한 질문에 답할 뿐 아니라 글쓰기, 코드 생성, 예술적 아이디어를 제공하기도 하는데요.

예를 들어 “바닷속에 인간이 살 수 있게 된다면 그 일상생활을 묘사하는 짧은 이야기를 만들어 달라”고 요청하면 라마 2가 바다에 대한 데이터와 미래 기술, 인간관계 등에 대한 데이터를 바탕으로 이야기를 써 내려갑니다.

문체나 장르, 테마 또한 다양하게 제공해 주어 크리에이터가 아이디어를 참고해 2차 가공할 수 있습니다.

또 강화 학습(RLHF)을 통해 사람과의 피드백에서 유해한 단어나 문장, 불쾌감을 주는 요소들을 검열하여 훈련합니다.

크기에 대한 변화도 생겼는데 라마가 다양한 크기(7B, 13B, 33B, 65B 파라미터)로 제공되는 반면, 라마 2는 7B, 13B, 70B 파라미터 모델만 제공한다고 합니다.

 

라마 2의 변화
1) 100만개 이상 주석으로 훈련돼 컨텍스트 길이가 늘어나고, 더 정확하게 대응함
2) 강화 학습(RLHF)를 통해 사용자의 피드백에서 불쾌감이나, 유해한 단어를 검열하여 훈련
3) 7B, 13B, 70B 파라미터 모델 제공

 

 

 

2. 나만의 메타버스 세계 | AI 빌더 봇(Builder Bot)

 

빌더 봇은 라마 전에 공개된 AI 도구로 메타버스 세계를 구축할 수 있는 프로그램입니다.

사용자의 음성 명령만으로 가상 세계에서 새로운 것을 만들거나 조작할 수 있는데 앞서 말씀드린 것처럼 메타의 주력 기술 개발이 메타버스에서 AI로 넘어간지라 최근 공식 발표된 내용은 많지 않은 것으로 보입니다.

모든 언어를 자유롭게 | 생성 음성 AI

메타는 또한 음성과 이미지, 텍스트를 라벨링 된 데이터 없이 스스로 학습할 수 있는 알고리즘 시스템을 가지고 있습니다.

인공지능이 사람과 같이 주변의 소리와 상황을 관찰하고 학습할 수 있지요.

이를 통해 200개 언어로 텍스트를 번역해 주고, 현장에서 하는 대화도 바로바로 통역해 주는 음성 번역 시스템을 개발했습니다.

메타가 이렇게 빨리 기술을 발전시킬 수 있는 건 지구촌 20억 명이 사용하는 페이스북과 인스타그램에서 쌓이는 대량의 데이터 때문이라고 할 수 있습니다.

메타의 생성 AI가 얼마나 더 발전할지 기대가 되는 바입니다.

 

 

---

챗GPT와 라마 2의 차별점

 

챗GPT는 웹사이트, 책 기사 등과 같이 인터넷상의 광범위한 데이터를 기반으로 학습하지만, 라마 2는 그에 더해 메타 자체 데이터도 활용합니다.

메타는 2013년 ‘페이스북 인공지능 연구소’라는 이름으로 시작해 현재 ‘메타 AI’라 불리는 인공지능 연구소를 보유하고 있는데요.

사진, 영상인식에 탁월한 AI 모델인 CNN 알고리즘을 개발한 미국 뉴욕대 컴퓨터공학과 얀 르쿤 교수를 영입하기도 했습니다.

이런 다양한 연구를 통해 메타가 활용할 수 있는 데이터가 방대하고, 또 소셜 네트워킹 플랫폼의 데이터가 만들어주는 트렌드 하고 더욱 자연스러운 상호작용이 현재의 챗GPT와의 차별점이 될 수 있을 것 같습니다.

둘 다 강력한 언어 모델인 것은 분명하지만 이에 따라 선호도가 달라지지 않을까 예상해 봅니다.

 

 

---

 

 

📧 마무리 인사

메타가 사명을 변경하고부터 인공지능 기술에 주목하고 있습니다.

최근에는 초거대 AI 개발을 위해 엔비디아의 최고 성능 AI칩셋 H100을 올해 말까지 34만 개 이상 확보하겠다 밝히기도 했습니다.

저커버그 CEO가 “메타는 다른 어떤 회사보다도 더 큰 규모로 AI 연구를 수행할 수 있는 역량을 구축했고 치열한 인재 경쟁도 익숙하다”라고 강조한 것에 그와 메타가 얼마나 AI에 사활을 걸고 있는지 느낄 수 있습니다.

메타가 가져올 또 다른 AI 혁신이 벌써 궁금해집니다.

읽어주셔서 감사합니다.