소프트웨어 딥러닝을 가능하게하는 스타트업 Neural Magic

---

한 MIT의 교수가 쥐의 뇌 지도를 재구성하는 프로젝트를 진행하는데 딥러닝의 도움이 필요했습니다. MIT의 한 학생이 일반적으로 딥러닝에 사용되는 그래픽카드 GPU를 프로그래밍하는 방법을 몰라 일반처리장치인 컴퓨터 CPU로 딥러닝에 대한 개발을 하기 시작했습니다.

Nir Shavit은 올바른 방식으로 프로그래밍하다면 CPU가 GPU의 기능을 수행할수 있다는걸 찾아냈습니다.

이 통찰력은 그의 첫번째 제품라인업을 출시한 그의 스타트업 Neural Magic의 시초였습니다. 이 아이디어는 모든 회사가 특수한 하드웨어 없이 딥러닝을 사용하고 배포할수 있도록 하는것이었습니다. 이러한 노력은 고가의 장비를 사용해야만했던 딥러닝에 대한 장벽을 낮춰 인공지능 AI의 접근성을 높이는데 도움을 주고 있습니다.

MIT의 컴퓨터과학 및 인공지능 연구소의 과학자인 네일 톰슨(Neil Thompson)은 이것이 기존 컴퓨터와 다른 많은 컴퓨터에서 뉴럴 네트워크를 사용할수 있어 특별한 고가의 하드웨어없이 사용가능하다고 합니다.

GPU 그래픽 프로세서는 대부분의 의견 일치로 딥러닝에 적합한 하드웨어가 되었습니다. 일반적으로 GPU는 비디오게임과 같은 응용프로그램에서 그래픽을 빠르게 렌더링하도록 설계되었습니다. 다양한 계산을 수행하기 위해 4-8개의 복잡한 코어가 있는 CPU와는 달리 GPU에는 특정작업만 수행할수 있는 수백개의 간단한 코어가 있어 계산하는 시간을 단축하면서 동시에 많은 작업을 처리할수 있어 집중적인 계산을 하는 작업에 적합합니다.

인공지능 AI 연구 커뮤니티는 이 대규모 병렬화로 인한 GPU 프로세서가 딥런닝에 적합하다는 사실을 깨닫는데 오랜 시간이 걸리진 않았습니다. 그래픽 랜더링과 마찬가지로 딥러닝에는 수십만번 수행되는 간단한 수학계산의 작업이 실행됩니다. 2011년 구글은 엔비디아와의 협력에서 고양이와 사람을 구별하는 딥러닝훈련 프로젝트에서 2,000개의 CPU가 연산한 데이터양이 12개의 GPU가 연산한 데이터양과 동일한 성능을 보여준다는 결과를 얻게 되었습니다. 이 프로젝트의 성과로 인해 GPU의 딥러닝에 대해 적합하다는 결과가 공론화되었습니다.

하지만 GPU는 독립적으로 딥러닝 기능을 수행할수 없습니다. 작업유형이 제한되어 있기 때문에 GPU가 처리한 결과를 CPU에서 다시 조합해야 되며, 또한 GPU 프로세서에 가장 까까운 데이터 저장영역인 캐시 메모리의 양이 제한되어 있기때문에 대량의 데이터는 프로세서 외부에 저장되어 처리되야하기 때문에 검색의 기능이 들어가야 됩니다. 데이터의 흐름은 계산에 병목되어 GPU가 딥러닝 알고리즘을 실행할수 있는 속도를 제한합니다.

많은 회사들이 이러한 문제를 우회하는 인공지능 AI 칩을 개발하기 위해 노력하고 있습니다. 문제는 하드웨어가 더 전문화될수록 가격이 더 비싸진다는 것입니다.

Neural Magic는 이런 상황을 극복하기위해 하드웨어를 개발하는 대신 소프트웨어를 수정하는 방식을 택했습니다. 칩의 대용량 메모리와 복잡한 코어를 활용하여 CPU에서 보다 효율적으로 실행되도록 딥러닝 알고리즘을 재 설계했습니다. 이러한 접근방식은 GPU병렬화를 통해 달성되는 속도를 포기하는 반면 칩의 데이터를 주고받을필요가 없어 거의 같은 시간에 작업을 완료하는 성과를 얻었습니다. 이 회사의 알고리즘은 CPU에서 GPU와 같은 속도록 실행되비만 비용은 아주저렴해집니다.

 

 

---

Neural Magic은 아무도 도전하지 않았던 방법을 시도했던 이유는

---

첫번째 직관적이지않습니다. 딥러닝에는 특수하드웨어가 필요하다는 아이디어가 너무나 강력해 다른 접근방식을 쉽게 간과할수 있습니다.

둘째 기전의 산업구조에 인공지능 AI를 적용하는것은 새로운 일이면서 생소한 일입니다. 기업들은 딥러닝 알고리즘을 보다 쉽게 배포할수 있는 방법을 찾고 있습니다.

Neural Magic의 딥러닝에 대한 새로운 방식에 대한 수요는 아직 불분명합니다. Neural Magic은 10개 회사의 딥러닝 비지니스 모델을 베타테스트 하고 있는중이며 더 광범휘한 인공지능 AI영역에대한 접근을 시도하고 있습니다.

Neural Magic은 향후 인공지능 AI모델을 CPU에서 사용될수 있도록 교육할수 있는 서비스를 확대할 계획이라고 합니다. 10년 20년후 CPU가 머신러닝 알고리즘을 실행할수있는 실제 산업모델이 될것이라고 포부를 밝히고 있습니다.

Neural Magic의 시각은 기존 하드웨어에서 머신러닝에 사용할수 있는데 그치지 않고 근본적인 하드웨어의 발전이 이 아이디어를 더욱 가속화시켜줄것이라고 믿고있습니다. Neural Magic의 최종 목적은 신경망 성능을 향상시키는 부분만이 아니라 전체 컴퓨팅성능을 향상시키고 싶다고 합니다.

---

---