‘행동하는 AI’ 피지컬 AI가 뜬다

AI 전쟁의 다음 전선은 움직임이다. 드디어 기계와 AI가 만난다.

전 세계 인공지능(AI) 개발에 가장 큰 영향을 미치는 기업이 있다. 바로 AI용 반도체를 만드는 엔비디아다. AI 반도체를 만드는 곳은 많지만 엔비디아의 AI 반도체 ‘H100’과 ‘A100’, ‘B200’ 등은 오픈AI, 구글, 메타 등 전 세계 내로라하는 AI 기업은 물론이고 네이버, SK, LG 등 국내 기업도 널리 사용하면서 AI 개발의 필수품이 됐다. 오죽하면 엔비디아의 공급량에 따라 업체들의 AI 개발 일정이 좌우될 정도다.

그런 엔비디아가 의미심장한 선언을 했다. 지난 5월 대만의 최대 디지털 전시회 <컴퓨텍스>에 등장한 젠슨 황 엔비디아 최고경영자(CEO)는 “이제 AI는 물리적으로 움직일 수 있어야 한다”며 피지컬 AI 시대를 예고했다. 

피지컬 AI는 로봇, 산업용 제조시설, 전기자동차, 각종 전자제품 등 모든 기기를 제어하는 AI를 말한다. 그동안은 사람의 질문에 대답하는 대화 위주의 거대언어모델(LLM)이 주목받았다. 하지만 말로 사람들의 생활을 바꾸기에는 한계가 있다. AI가 사람의 생활을 바꾸려면 각종 기기와 제품에 탑재돼 움직일 수 있어야 한다. 이를 현실화하는 것이 피지컬 AI다.

지난 10월 피겨AI가 공개한 휴머노이드 피겨 03. 화분 물주기, 설거지, 빨래를 비롯해 음식 서빙까지 척척 해낸다.  © 피겨AI 유튜브 영상 캡처

움직이는 AI가 온다

그렇다면 사람들에게 익숙한 챗GPT, 제미나이, 클로드, 퍼플렉시티 같은 생성형 AI인 LLM과 피지컬 AI는 무엇이 다른가. LLM은 사람의 질문에 적절한 답변을 내놓는 데 최적화되어 있다. 그만큼 수많은 데이터를 빠르게 검색해 필요한 답을 찾아 정리하는 쪽에 초점을 맞췄다. 반면 피지컬 AI는 사람이 원하는 행동을 잘 하도록 설계되었다.

즉 AI가 사람의 질문을 이해해 기계를 움직일 수 있어야 한다. 따라서 기계나 자동차, 비행기, 전자제품 등과 연동돼 이를 제어할 수 있는 기능이 필수다. 한마디로 LLM이 사람의 입에 해당하는 AI라면, 피지컬 AI는 사람의 손과 발이라 하겠다.

따라서 피지컬 AI가 발달해야 로봇이 사람을 대신해 일을 하는 세상이 본격적으로 열린다. 로봇이 공장에서 각종 제품을 생산하고 재난 재해 현장에서 사람이 하기 힘든 위험한 일을 대신하거나 집 또는 상점에서 사람을 돕고 병원에서 환자를 돌보는 일을 하려면 모두 피지컬 AI가 필요하다. 궁극적으로 사람들의 생활을 지금과 다른 모습으로 바꾸는 것이 피지컬 AI다.

이렇게 되면 기업들은 LLM과 달리 더 많은 돈을 벌 수 있는 새로운 세상이 열린다. 당연히 AI 기업은 너나없이 LLM의 다음 단계로 피지컬 AI 개발에 뛰어들고 있다

사람의 움직임을 그대로 재현하는 모방학습

이때 중요한 것이 모방학습이다. 모방학습이란 일일이 가르치지 않아도 사람이 하는 행동을 보고 그대로 따라 하는 것을 말한다. 예를 들어 만두 장인이 만두를 예쁘게 빚는 영상을 360도 촬영해 피지컬 AI가 학습하게 한 뒤 로봇 손이 그대로 재현하도록 하는 것이다.

모방학습이 가능하면 말로 설명하기 힘들고 오랜 시간 훈련이 필요한 작업을 로봇이 쉽게 따라 할 수 있다. 예를 들어 수술 로봇이 외과의사의 정교한 손놀림을 따라 하고, 용접 명장의 비법을 단시간에 재현하는 식이다.

사람도 모방학습을 통해 편하게 피지컬 AI를 움직일 수 있다. 로봇에게 요리를 만들게 하거나 물건을 움직이는 일 등을 간단히 말 한마디로 해결할 수 있기 때문이다. 사람의 명령을 들은 피지컬 AI가 모방학습을 통해 익힌 방법대로 로봇이나 기기를 작동한다.

모방학습은 피지컬 AI가 LLM과 근본적으로 다른 부분이다. 답변하는 일에 특화된 LLM은 수많은 자료를 입력해 공부하게 한다. 하지만 피지컬 AI는 해야 할 일에 대해서만 자료를 제공해 이를 완벽하게 재현하는 데 초점을 맞춘다. 즉 만물박사가 아닌 특수한 일을 잘하는 전문가를 키우는 셈이다.

현대자동차그룹 싱가포르 혁신센터에서 보스턴다이내믹스의 로봇 ‘스팟’이 아이오닉 5의 조립 상태를 검사하고 있다. © 현대자동차그룹

세계 선점을 노리는 글로벌 기업들

피지컬 AI 개발에 적극 뛰어든 대표적인 기업이 GPT를 개발한 미국의 오픈AI다. 오픈AI는 최근 피지컬 AI 개발자를 집중 채용하고 있다. 그뿐 아니라 자체 개발한 피지컬 AI를 이용해 로봇을 움직이는 시험을 한다. 원래 오픈AI는 2019년 피지컬 AI 개발팀을 구성했으나 뚜렷한 성과를 내지 못해 2021년 사업을 중단했었다. 

이를 지난해부터 다시 가동하면서 미국의 대표적 피지컬 AI 개발업체 피겨AI와 협업을 시작했다. 오픈AI가 개발한 피지컬 AI를 피겨AI의 사람을 닮은 인간형 로봇(휴머노이드)에 탑재하는 프로젝트다.

그런데 올들어 오픈AI는 피겨AI와 협업을 돌연 중단했다. 피겨AI의 휴머노이드에 적합한 AI가 아니라 독자 피지컬 AI를 개발하기 위해서다. 이 얘기는 곧 오픈AI가 로봇을 자체 개발하거나 로봇업체를 인수할 가능성이 매우 높다는 뜻이다. 

그래야 오픈AI가 원하는 대로 움직이는 로봇이나 기기를 통해 직접 개발하는 피지컬 AI의 성능을 입증할 수 있기 때문이다. 많은 피지컬 AI 업체가 그렇듯 오픈AI는 자체 개발하는 피지컬 AI에 모방학습 기능을 탑재한다.

오픈AI가 피지컬 AI를 구현할 수단으로 휴머노이드를 택한 것은 사람이 생활하는 집과 산업현장에 그대로 투입하기 용이하기 때문이다. 사람의 생활 공간에서 손과 발을 움직여 일을 하려면 결국 사람 형태를 닮은 로봇이 가장 낫다는 판단이다.

피겨AI는 피지컬 AI와 휴머노이드를 함께 개발한다. 마이크로소프트(MS), 엔비디아, 오픈AI 등에서 6억7500만 달러를 투자받은 이들은 휴머노이드 ‘피겨 01’을 개발해 테슬라의 전기자동차 생산 공장에 투입했다. 또 이들이 만든 피지컬 AI ‘헬릭스’는 초당 200회 속도로 로봇의 손가락과 관절 움직임을 제어할 수 있다.

LLM 제미나이를 개발한 구글도 지난 3월 ‘제미나이 로보틱스’라는 피지컬 AI를 공개했다. 제미나이 로보틱스는 사람 말을 이해해 명령을 수행할 뿐 아니라 사진, 영상, 그림 등 각종 이미지 정보를 이용해 로봇이나 기기를 제어할 수 있다. 

예를 들어 산업현장의 설계도나 사진을 보여 주고 A지점에서 B지점까지 이동하라고 지시하면 로봇이 알아서 현장의 설비나 물건을 피해 이동하는 식이다.

엔비디아에서 개발한 피지컬 AI용 반도체 ‘젯슨 AGX 토르’. © 엠비디아 홈페이지

엔비디아는 다양한 방법으로 피지컬 AI 개발에 뛰어들었다. 우선 피지컬 AI용 반도체 ‘젯슨 AGX 토르’를 개발했다. 빠른 속도의 연산에 주력하는 일반 AI 반도체와 달리 피지컬 AI용 반도체는 주변 인식과 기기 제어 기능 등이 복합적으로 결합됐다.

따라서 LLM에 필요한 최상위 AI 반도체 ‘B200’에 주변 상황을 판단하고 제어하는 시각언어모델(VLM)과 행동모델까지 결합된 반도체다. 피겨AI는 물론이고 현대자동차가 인수한 보스턴다이내믹스, 아마존 로보틱스 등 다수의 기업이 토르를 이용해 피지컬 AI를 개발하고 있다.

그뿐 아니라 엔디비아는 지난 8월 피지컬 AI 개발을 위한 ‘코스모스’라는 플랫폼도 만들어 발표했다. 코스모스는 피지컬 AI 개발에 필요한 다양한 기능을 모아놓은 소프트웨어 생태계로 문서, 영상 등 다양한 자료를 토대로 피지컬 AI의 훈련에 필요한 자료를 만들어내는 합성 데이터 생성 기능이 있다.

합성 데이터 생성은 피지컬 AI 학습을 위해 중요한 기능이다. 피지컬 AI가 모방학습을 해도 자료가 있으면 가능하지만 그렇지 않으면 새로 영상을 촬영하는 등 자료를 만들어야 한다. 하지만 수만 개 공정으로 구성된 생산 현장의 자료를 일일이 만들면 피지컬 AI 활용보다 더 많은 돈과 시간이 들어 배보다 배꼽이 커지게 된다. 

이런 부작용을 막을 수 있는 것이 없는 자료를 만들어내는 합성 데이터 생성 기능이다. 이를 통해 피지컬 AI 학습을 위해 필요하지만 부족한 자료 문제를 해결할 수 있다. 또 코스모스는 자체 추론 기능을 통해 피지컬 AI가 각종 동작을 이해하고 움직일 수 있도록 설계할 수 있다.

결국 엔비디아는 피지컬 AI용 반도체 토르와 함께 피지컬 AI의 학습 및 상황 판단, 움직임까지 코스모스 하나로 해결하도록 만들어 피지컬 AI용 생태계에서 영향력을 키우겠다는 계산이다. 이를 뒷받침하듯 젠슨 황 엔비디아 CEO는 <컴퓨텍스> 행사에서 “수십 억대의 로봇과 수억 대의 자율주행차량, 수천 개 로봇 공장이 엔비디아 기술로 움직이는 세상을 꿈꾸고 있다”라고 역설했다.

국내 스타트업이 만드는 피지컬 AI

그렇다면 국내 기업은 어떨까. 국내에서도 피지컬 AI 개발에 뛰어든 스타트업이 있다. 카본식스는 지난 9월 세계 최초로 사람의 동작을 그대로 따라 해 모방학습이 가능한 로봇 손과 피지컬 AI ‘시그마키트’를 공식 출시했다. 

이 업체가 만든 로봇 손은 손가락이 2개 있어 사람이 두 손가락으로 하는 작업을 따라 할 수 있다. 예를 들어 얇은 필름을 떼었다 붙이거나 성냥개비처럼 가느다란 나사를 집어 올리고 공중에서 흔들리는 고리를 잡을 수 있다.

지난해 미국 델라웨어에 설립된 카본식스는 로봇이나 기계설비, 자동차 등에 필요한 피지컬 AI를 개발한다. 이미 일부 기업은 이 업체에서 만든 로봇 손과 피지컬 AI 도입을 검토 중이다. 2019년 미국 코그넥스에서 2300억원에 인수해 화제가 된 스타트업 수아랩의 사업총괄 부대표였던 문태연 공동대표가 설립했다. 미국 벤처투자사 풋힐벤처스, 스톰벤처스, 자이트가이스트 캐피털과 국내 벤처투자사 엑스퀘어드 등에서 60억원을 이 업체에 투자했다.

유명 연쇄창업가 류중희 퓨처플레이 대표도 지난 4월 피지컬 AI 업체 리얼월드를 창업했다. 카이스트 전기전자공학부에서 박사학위를 받은 류 대표는 2006년 얼굴 인식 기술업체 올라웍스를 창업해 2013년 미국 반도체업체 인텔에 매각했고, 이후 스타트업 육성 업체 퓨처플레이를 설립해 스타트업 투자와 육성에 주력해 왔다.

리얼월드가 피지컬 AI를 통해 구현하려는 것은 사람처럼 정교하게 움직이는 로봇 손이다. 류 대표는 “정교하게 움직이는 사람의 손에 인간의 지능 대부분이 들어간다”며 “사람의 손처럼 복잡하고 정교한 움직임을 제어할 수 있는 피지컬 AI를 만들겠다”라고 공언했다.

실제로 산업현장에 쓰이는 로봇은 물건을 옮기거나 제품을 조립할 수는 있지만 정교한 손재주가 필요한 일은 잘 하지 못한다. 일례로 도시락 공정에 로봇을 투입하는 일본에서도 도시락 뚜껑을 닫는 일은 사람이 한다. 또 다양한 크기의 짐 가방을 구분해 비행기에 싣는 일도 사람이 한다.

리얼월드는 자체 개발한 피지컬 AI로 작동하는 휴머노이드를 위로보틱스 등 외부 로봇업체와 협력해 만들 예정이다. 류 대표는 “하반기에 위로보틱스와 공동 개발하는 휴머노이드를 기반으로 사람의 손처럼 다섯 손가락을 사용해 물건을 집는 시연을 할 것”이라며 “그때 피지컬 AI 일부를 공개하겠다”라고 설명했다.

이 업체는 피지컬 AI를 개발하면 로봇을 임대 형태로, 피지컬 AI는 구독형 소프트웨어 서비스(Saas)로 제공할 방침이다. 류 대표는 “손재주에 의지하는 노동은 종말을 고했다”며 “힘든 일은 로봇에게 시키고 사람은 즐겁고 행복하게 살자는 것이 우리의 목표”라고 강조했다.

완전자율주행자동차 상상도. 피지컬 AI의 대중화, 상용화는 안전과 책임에 대한 강력한 규범과 시스템 구축이 선결 조건이다. © freepik

구글의 ‘아시모프’가 시사하는 점

사람이 AI와 함께 생활하는 피지컬 AI의 대중화를 위해서는 사전에 갖춰야 할 것이 있다. 무엇보다 중요한 것이 안전이다. 지난 6월 미국 캘리포니아 주정부는 피지컬 AI가 오작동할 경우 심각한 피해를 입힐 수 있으니 안전성을 검증하고 책임 주체를 명확히 할 필요가 있다고 경고했다.

유럽연합(EU)도 AI 규제법을 통해 피지컬 AI로 제어되는 로봇, 자율주행차와 의료 AI 등을 고위험 AI 시스템으로 보고 안전성 평가와 인증 절차를 사전에 거치도록 했다. 우리 정부도 내년부터 시행되는 AI 기본법을 만들어 AI의 안전한 이용과 데이터 활용의 투명성, AI 운영 주체의 책임성을 강조하고 있다.

재미있는 것은 구글이 피지컬 AI를 위해 마련한 행동 강령이다. 구글은 세계적인 공상과학(SF) 소설가 아이작 아시모프의 이름을 딴 ‘아시모프’라는 행동강령을 만들었다. 아시모프는 피지컬 AI에 따라 움직이는 로봇의 안전성을 평가하는 기준이다. 

소설가 아이작 아시모프는 ‘로봇은 사람을 해치면 안 된다’는 첫 번째 원칙을 비롯해 ‘첫 번째 원칙에 위배되지 않는 한 로봇은 사람의 명령에 복종한다’는 두 번째 원칙과 ‘첫 번째와 두 번째 원칙에 위배되지 않는 한 로봇은 자신을 보호한다’라는 로봇 3원칙을 제시했다. 

구글이 만든 아시모프도 피지컬 AI가 사람의 명령을 잘못 이해하거나 판단해 로봇이나 기기에 잘못된 행동을 지시하지 않는지 시험을 통해 사전 확인할 수 있는 기준을 제시한다. 그만큼 피지컬 AI의 책임성을 강조한 것이어서 여러모로 시사하는 바가 크다.

최연진(한국일보 IT 전문기자) denmagazine@mcircle.biz

박유리 에디터 abrazo@mcircle.biz

추천기사

1. 몰입의 문을 여는 열쇠, 향
2. 쓰여 오늘이 된 전통
3. 자유로 향하는 히치하이커를 위한 안내서