출처 : jungle light speed

오랜 시간 동안 소프트웨어 개발 분야에 몸을 담고 소프트웨어 기술의 발달을 지켜보다 보면 여기에도 분명히 트랜드가 있습니다. 최근 빅데이터 분야의 기술발전을 살펴보면 초기에는 빅데이터 플랫폼인 하둡, 몽고DB, HBase 와 같은 NoSQL 기술의 등장이 그랬었고 Spark, Storm 과 같은 실시간처리 플랫폼이 등장하고 요사이에는 머신러닝, 딥러닝, 인공지능에 이르기까지 기술의 진화속도도 빠르고 이러한 제법 어려운 기술들도 일반인들의 관심들을 크게 받는 시대가 되었습니다.

다른 분야도 마찬가지겠지만 워낙 이쪽이 핫하고 그 변화의 속도를 직접 체험을 통해서 가지게 된 제 나름의 해석과 결론이 있습니다. 그래서 이 얘기를 좀 해볼까 합니다.

실리콘 밸리를 중심으로 핵심 기술, 핵심 소프트웨어라고 하는 것이 슬금슬금 오픈소스로 만들어져 공개되고 여러 커미터들이 늘어나고 빠르게 업그레이드가 되기 시작하면 관련 기술을 보유한 핵심 인력들의 기술 창업이 늘고 경쟁사나 해당기술이 필요한 회사로의 이직이 활발히 일어나는 것을 관찰할 수가 있게 됩니다. 

 

이렇게 몇 년 지나면 이러한 기술은 점점 보편적인 기술로 자리잡게 되면서 특히 실리콘밸리를 중심으로 관련 기술이 빠르게 전파되고 이 지역의 전반적인 기술역량이 크게 높아지게 되는 것을 알 수 있고 대대적인 투자가 이루어지는 시기이기도 합니다. 물론 이 오픈소스를 통해서 세계적으로도 관련 분야의 기술적인 역량과 경험이 빠르게 업그레이드 됩니다. 자연스럽게 이러한 기술들을 발 빠르게 도입해서 각 국가별로도 여러 기술 스타트업들이 등장하기도 하구요.

이러다 보니 아무리 고도의 소프트웨어 기술을 기반으로 창업한 회사라도 매우 제한적인 시간 안에 그 가치를 인정 받지 못하면 대박 칠 수 있는 찬스를 잃게 되는 경우도 허다합니다만 여하튼 사람은 남게 마련이어서 각 분야로 흩어진 이들을 통해서 핵심 기술은 여러 산업계에 더욱 더 빠르게 퍼져나가게 되고 범용화됩니다.

물론 기술 기업으로 초기에 잘 인정을 받고 큰 투자를 받은 회사들 몇몇 살아남게 되죠. 빅데이터쪽에서 보면 클라우데라(Cloudera) 같은 경우가 그런 회사라고 보면 될 것 같습니다. 예전 리눅스가 등장했을 때는 레드햇과 같은 회사도 이런 케이스라고 생각됩니다.

아무튼 많은 스타트업들이 투자도 못 받고 비지니스도 잘 되질 않아서 문을 닫아도 기술을 가진 이들이 남게 되고 관련 소프트웨어 기술은 오픈소스로 공개되니 산업 전반에 걸쳐 매우 빠르게 기술의 전파가 이루어지고 자연스럽게 파생된 기술 발전이 폭넓게 이루어지기 때문에 소프트웨어뿐만 아니라 전체 산업 발전 관점에서도 매우 긍정적인 효과가 생기게 되는 것이죠.

앞서 말씀 드렸듯이 빅데이터 기술 분야에서는 하둡이라는 데이터 플랫폼기술과 머신러닝 기술이 부각되다가 최근 딥러닝이 이러한 기술들 중 하나로 크게 부각되고 있습니다. 

사실 이러한 현상은 다른 소프트웨어 분야에서도 동일하게 일어나고 있습니다. 웹 기술과 관련해서는 Node.js 의 등장으로 자바스크립트를 기반으로 관련 기술 생태계가 크게 확장되고 발전하고 있고 Docker 의 등장으로 클라우드 컴퓨팅 분야에서도 많은 변화와 재미있는 시도들이 활발히 일어나고 있음을 알 수 있습니다.

공교롭게도 언급한 분야의 기술들이 공개되고 오픈소스화 되는 발원지는 대부분 구글이네요. 그래서 전 실력 있는 구글러의 창업 또는 이직하고자 하는 사이클과 해당 소프트웨어의 오픈소스화 시점이 묘하게 맞아 떨어질 거라고 의심합니다.

그런데 말입니다. 생각을 달리 해보면 즉 이러한 기술을 활용하는 측면에서 보면, 이러한 데이터 기술을 활용하게 되는 여러 산업분야에서 오랜 기간 동안 축적된 노하우와 데이터의 가치는 크게 변하지 않습니다. 인공지능이니 로봇이 등장하면서 지식노동자들의 일자리를 상당수 없애거나 뺏을 거라고들 많이들 말씀하시지만 해당 분야(도메인)의 전문 지식을 제대로 갖춘 회사나 전문가들 입장에서 본다면 새롭게 등장하는 데이터 플랫폼, 데이터 처리 알고리즘을 통해서 더욱 그 가치를 높이거나 새로운 사업 창출, 확장을 할 수 있는 기회를 만들어낼 수 있다는 것을 의미하기도 합니다.

문제는 각각의 산업분야에서 오래 일한 사람들조차도 최근 등장한 여러 데이터 관련 기술이 모든 것을 해결해주리라 섣불리 기대하거나 되려 매우 부정적인 의견을 가진 경우가 많다는 것인데요. 여기저기 들려오는 얘기나 제 경험을 비추어 봐도 새로운 데이터 플랫폼이나 기계학습, 딥러닝, 추천알고리즘을 도입함으로써 해외의 사례에서 얻어지는 멋진 서비스나 사업적 성과를 쉽게 확보할 수 있다고 생각하는 분들이 적지 않습니다.

물론 이는 이러한 데이터 솔루션을 파는 벤더의 책임도 한 몫 했다고 봅니다만 이것은 자신들 지갑에 있는 돈의 가치를 보지 못하고 남이 가지고 있는 지갑의 예쁜 겉모습에 현혹된다고나 할까요. 자신들의 돈을 가지고 더 벌 생각을 하는 것이 아니라 새 지갑을 사는데 돈을 쓰는 것과 같은 거죠.

 

써놓고 보니 두서 없는 듯 하지만 제가 하고 싶은 얘기는 이것입니다.

현실적으로 새로운 기술을 스스로 개발하고 이를 기반으로 기술 회사 창업해서 성공할 가능성은 매우 적지만, (그럼에도 국내에서 여전히 고군분투하시는 여러분들이 있다는 것도 잘 알고 진심으로 존경합니다.) 반면 이러한 기술을 바탕으로 각 분야의 데이터와 노하우를 활용하는 것은 상대적으로 쉽다고 생각합니다.

하지만 여전히 많은 국내의 기업 및 공공기관은 체계적인 데이터 관리와 운영에 있어서 새로운 데이터 기술을 접목하기 위한 준비나 사전 준비가 여전히 부족한 것은 아닌가 싶습니다.

그러다 보니 데이터와 노하우를 제일 잘 알고 있는 자신들이 직접 나서질 않고 기술을 가지고 있는 회사에게 많은 부분을 맡기거나 만족할 만한 결과를 얻기 힘듦에도 비싼 컨설팅을 어설프게 맡기는 것은 아닐까 싶기도 하구요.

각 기업들이 자체 보유하고 있는 데이터에 대해서 더욱더 많은 관심을 가져야 할 것이라고 생각됩니다. 혹시 소중한 데이터가 버려지고 있는 것은 아닌지 점검하고 딥러닝과 같은 새로운 분석 알고리즘을 활용할 수 있도록 데이터 모델링과 해석할 수 있는 역량을 갖추고 있는지를 점검하고 준비하는 것이 우선이 아닐까 생각됩니다.

요즘 이세돌 9단과 한판 붙어보겠다는 구글 딥마인드의 알파고 역시 꾸준히 관리되고 있었던 16만건에 달하는 기보 정보가 없었다면 존재하지 못했을 것입니다. 즉, 각 분야의 기업이나 공공, 연구기관에서 이러한 점에 좀더 신경을 쓰고 대비하는 것이 더욱 필요한데 여전히 데이터에 대한 얘기보다는 머신러닝이나 딥러닝과 같은 기술자체에 더 많은 관심을 가지고 있는 것은 아닌가 하는 것입니다.

예전에 그토록 어렵고 활용하기 힘들다고 생각했던 많은 데이터 플랫폼, 분석기술들이 시간이 갈 수록 그 비용이 저렴해지고 사용하기 쉬워지고 있습니다. 그것도 너무나도 빠르게요. 그런데 정작 써먹을 데이터가 없다면 소용없겠죠. 있다고 해도 엉망으로 저장되고 관리되고 있다면 마찬가지이겠죠. 비슷한 얘기를 전부터 꾸준히 해왔지만 우리나라 환경에서는 여전히 쉽지 않고 잘 실행이 되지 않는 것 같습니다.

네… 솔직히 말씀 드리면 이조차도 쉽지 않지만요.