• 인사이드 캐비닛 코멘트

주는 9월 추석떄부터 아카이브해놨다가 발행시기가 늦어져서 함께 추가해서 공유드립니다. 시기가 엄청 중요하지 않은 뉴스인 것 같아 함께 공유합니다. 대부분의 기사들은 해당 최신 뉴스로 할테지만 그 주에 본 임팩트가 있거나 영감이 있던 콘텐츠도 함께 공유합니다.

1. 다이내믹 OPEN AI

openai는 요즘 매주 엄청난 소식들이 올라온다.

openai 의 23년 핵심 멤버는,

  1. Sam Altman (CEO)
  2. Mira Murati (CTO)
  3. Greg Brockman (President)
  4. Ilya Sutskever (Chief Scientist and former board member).

였다. 이 중 샘알트만만 남았다. 22년부터 CTO였던 미라 무라티(Ermira Murati)가 결국 떠났다. 요근래 몇 개월동안 줄줄이 탈출하던 기존 핵심 멤버에서는 마지막인 것 같다.

밥 맥그루 오픈AI 최고연구책임자와 바렛 조프 연구부사장까지 무라티 사임발표 이후 바로 사임하면서 주요 핵심 멤버들의 이탈이 일어났다. 2010년대 초반의 트위터, 메타같은 경우처럼 엄청 빠르게 성장하게 되면 결국 핵심 멤버들끼리의 싸움이 엄청나게 발생할 수 없고 정말 눈 뜨고 볼 수 없는 싸움이 이어졌는데, openai 도 결국 비슷하게 된 것 같다. (보통 급속도로 성장하고, 주식 보상에 대한 이슈, 경영권 장악의 문제가 생기면서 발생한다.) 향후에 샘 알트먼이 성공하더라도 뒤이은 책들이 나올 것은 분명할듯 싶다.

개인적으로 좀 걱정되는 건 AI연구를 이끌었던 사람들과 함께, 그나마 사회와 윤리에 대해서 생각했던 사람들이 다 떠나가고 있다는 건 openai의 방향성이 어떻게 될지 조금이나마 짐작할 수 있다. 스타트업계에 들어온 후, 10년 넘게 살펴본 샘 알트먼의 경우 철저한 창업자정신으로 무장한 자본가에 가까운 사람이고 정치/사회에 대해 관심이 거의 없는 사람이라 더욱더 상업적인 스타트업으로 갈 가능성이 높다고 생각한다.

요건 다음의 Is OpenAI worth anywhere near $150 billion without the employees who actually built it?, (OpenAI 의 핵심메버들이 다 떠나도 여전히 150조의 가치가 있을까?)에서도 우려가 드러난다. 그 중에서도 의미있는 말을 인용해본다.

openai의 얼라인먼트 책임이었던 얀 라이크는 지난 5월 엔트로픽으로 떠나면서 다음의 글을 남겼다.

I joined because I thought OpenAI would be the best place in the world to do this research. However, I have been disagreeing with OpenAI leadership about the company’s core priorities for quite some time, until we finally reached a breaking point… Building smarter-than-human machines is an inherently dangerous endeavor. OpenAI is shouldering an enormous responsibility on behalf of all of humanity. But over the past years, safety culture and processes have taken a backseat to shiny products.

이런 연구를 하기에 가장 최적의 곳이라고 생각해서 이 회사에 합류했습니다. 하지만 OpenAI의 경영진의 주요 우선순위에 대해서 동의할 수 없었고, 이제 한계점에 도달한 것 같습니다. 인간보다 똑똑한 기계를 만드는 것은 본질적으로 굉장히 위험한 도전의 과정입니다. OpenAI는 인류에 대한 막중한 책임을 짊어지고 있지만, 지난 몇 년간 AI 윤리와 안전을 생각하는 문화와 프로세스는 멋지고 화려한 제품 뒤로 밀려났습니다.

이 와중에 해당 기사를 보면, OpenAI 의 영리구조화가 빠르게 일어나고 있고, 회사의 주식 구조를 다시 정리하고 있다고 한다. (투자를 받을때 의례 하게되는 일들이다) 그리고 어떻게보면 그 과정에서 기존의 핵심멤버들은 꽤 오랫동안 아주 빡세게 근무했고, 돈을 엄청나게 실현할 수 있을 때 같이 떠나게 된 것 같다. 약간의 소설을 섞어 요약해보면,

  1. OpenAI는 샘 알트먼을 중심으로 완전히 수익 중심의 영리기업으로 전환되고 있다.
  2. 사실 기존의 핵심 멤버들은 연구와 AI 윤리도 다양하게 챙기고 싶어했고, 각자 원하는 방향들이 있었지만 알트먼과 맞지는 않았다.
  3. 150B(한화 약 195조)에 달하는 밸류로 투자가 진행되고 있는 과정에서 그 전 마지막 벨류에이션 규모로 엄청난 주식 보상도 받을 수 있을 것 같다.
  4. 이렇게 정리되고 난 핵심멤버들에게 향후 몇년동안 이 과정에서 일부기간 경업 금지 + 외부 노출 금지 조항을 걸었을 것 같다.

정도이고, 이정도로 고도로 빠르게 성장했던 스타트업(메타, 트위터, 스냅 등등)에도 거의 있었던 일이지만, 아쉬운 과정인 것 같기는 한다. 마지막으로, o1 모델에 대해서 정리하지는 못했는데, 정말 뛰어나고 좋은 모델이라고 생각한다. LLM 모델의 대세였던 엄청난 규모의 데이터 학습에서 또 다른 방향을 제시한 것이라고 생각한다.

참고)

2. 구글 NotebookLM 출시

구글이 놀라운 제품을 출시했다. 한국어논문도 지원가능하고, 한국에서도 서비스를 사용할 수 있다. (팟캐스트 생성은 아직 영어만 가능하다) 제품은 간단히 요약하면 연구 어시스턴트 개념인데, 들어가서 사용해보면 정말 놀랍다. 심지어 생성해주는 오디오 파일은 요약본이 아니라, 팟캐스트처럼 2명의 사람들이 질문하고 답하는 방식이라 더욱 더 이해하기 쉽고 자세하게 설명해준다. 수식에 대해서 언급은 거의 하지않지만, 전체적인 개요나 핵심은 훨씬 잘 짚어준다.

(여전히 급하게 만들어서 그런지 구글의 UX는 좋지 않은 편이다)

googleLM 데모영상

가장 최근에 allenai 에서 나온 멀티모달 오픈소스 모델인 OLMOe 모델과 관련해서 나눠 본 모습이다. 정말 웬만큼 잘 이해한다고 볼 수 있다.

연구 논문에 대해서 요약하는 것은 물론, 이해하기 쉽도록 오디오로 팟캐스트까지 만들어준다. 만약 연구와 관련한 자료들을 검색할 때 연구자처럼 직접 설명해주는 오디오부터, 자기들끼리 1대1 질문까지 만들어주는 것을 보면 인간이 만들어내는 지식에 대한 1차적인 교환은 LLM 모델과 하게 될 날도 머지 않은 것 같다.

OpenAI의 핵심멤버였던 andrej kartpathy 도 극찬

It’s possible that NotebookLM podcast episode generation is touching on a whole new territory of highly compelling LLM product formats. Feels reminiscent of ChatGPT. Maybe I’m overreacting.

NotebookLM 의 팟캐스트 생성기능은 LLM 제품에 완전히 새로운 지평을 열 가능성이 있습니다. ChatGPT를 봤을 때의 느낌을 받았습니다. 제가 너무 과하게 반응하는 것일수도 있지만.

3. 애플칩 이야기

새로운 아이폰인 아이폰 16에 애플 인텔리전스가 들어갔다. 이제 프로 모델이 아닌 범용 아이폰에서도 사용가능하도록 바뀌었다. 이를 위해서 AI 서비스를 자체 제품에서 사용할 수 있도록 칩 강화가 이루어졌다. 애플의 실리콘칩 핵심은 A18 과 아이폰 Pro 버전에 들어가는 A18 pro. 작년에는 A17 Pro에만 램 메모리를 8GB 로 지원했는데, 올해부터는 아이폰 16에도 8GB로 올려버렸다. (애플 인텔리전스, 즉 LLM 모델을 올리기 위해서는 램 용량이 정말 절대적으로 중요하다) 그 외에도 A18 에 대대적인 업데이트가 이루어졌다고 해서 애플 칩 부분의 리더인 Johny Srouji 가 인터뷰한 내용이 굉장히 애플의 칩 철학에 대해 참고할만 한 것 같아 주요 내용을 옮겨보았다.

Johny-Srouji-lab.jpg

Q. 맥북 프로의 M4에서는 코어 갯수를 더 늘렸는데 왜 A18 칩에서는 늘리지 않았나?

우리의 주요 전제를 먼저 설명해야할 것같다.

  1. 먼저 하나의 하드웨어 아키텍처로 아이폰, 아이패드, 맥북을 사용하는 것이다. 하나의 칩 설계는 무조건 동일하고 기기가 좋아질수록 칩을 여러개를 붙여 확장 가능하도록 만드는 것이다. 여러 다른 기기에서도 동일한 칩을 사용하는 것이 핵심이다.
  2. 우리는 벤더 업체가 아니다. 그래서 일어나지 않을 극단적인 경우에 대해서 크게 고려하지 않아도 된다. 어떤 벤치마크를 목표로 설정해서 우리가 꼭 달성할 필요는 없다고 생각한다. 칩 위에서 동작하는 소프트웨어를 바탕으로 유저들이 사용할 최적의 경험에만 초점을 맞춰서 준비한다.
  3. 그럼에도 최고의 성능을 보장해야한다. CPU 관점에서 정확한 최적의 에너지 효율성하에서 최고의 성능을 제공해야한다. 에너지 효율성은 너무 중요하므로 쓰레드 하나하나가 최적의 상황에서 동작해야한다. 단순하게 코어를 늘리면, 성능의 최고점을 찍을 수는 있겠지만, 에너지 사용량도 최고를 찍게 된다. 그러면 특정 상황에서 쉽게 죽을 수도 있고, 더 많은 비용이 발생할 수도 있다.

그래서 총체적인 관점에서 이들의 조합을 최적화한다. 물론 이 모든 기반은 유저들에게 가장 좋은 경험을 주기위해서다. 수많은 시뮬레이션과 테스트를 고려해봤을 때 아이폰의 A18 칩에선 코어를 늘리지 않기로 결정했다. 우리는 확실히 쓰레드 하나에서 최고의 성능을 보이므로 칩에서 싱글 쓰레드가 최적의 성능을 내도록 보장하고 총체적으로 아키텍처 내에서 나머지 부분을 잘 조합해서 제공한다. 즉, 최고 성능을 보장함과 동시에 에너지 효율성 또한 가장 효율적으로 제공한다.

Q 마이크로 CPU 아키텍처를 구성할때 PPA(에너지, 성능, 크기)의 트레이드 오프는 어떻게 고려하나?

크게 고려하지 않는다. 몇가지 제품을 위한 칩 아키텍처에서는 가장 좋은 유저 경험을 제공하는 것에만 초점을 맞춘다.

Q . 아이폰에서 자원이 많이 필요하고 유명한 게임을 지원하기 위해서 겪고 있는 문제점이 더 있을까? (GPU에 초점을 맞춰서 이야기해줄 수 있을까?)

일단 맥에서 사용하는 GPU 아키텍처 또한 아이폰, 아이패드에서와 동일하다. A18 과 18pro에서는 또한 6코어의 GPU를 제공한다. 맥북프로의 M4 10코어를 제공할 뿐이지만 전부 동일하다고 생각한다.

Q. 사진 촬영과 비디오 촬영에 대해서도 바뀌었다고 들었는데 이렇게 고도화된 이유도 있나?

이미지 프로세서와 새로운 비디오 인코더를 A18에 추가했다. 각각의 이미지 정보들이 ISP(Image signal processor, 이미지 프로세서) 를 통해서 들어오고, 머신러닝에 기반해 뉴럴 엔진을 통해서 수많은 레이어를 통과하면서 훨씬 더 많은 것을 보장해준다. 비디오 프로세서도 마찬가지다. 압축하고 나서 1초에 10억개의 픽셀을 처리한다. 4K 비디오를 찍었을 때 더 대단한것도 다 이유때문이다.

결국은 사실 가장 좋은 제품(아이폰)을 제공하기 위해서 모두 최선을 다한다. 하드웨어의 성능, 소프트웨어의 성능 개별 성능, 어떤 재료를 쓰는지도 크게 관심이 없다. 제품이라는 관점에서 총체적인 시스템을 고려해야 제공한다.

애플이 뉴럴엔진, CPU, 램, GPU 까지 적절하게 자기네들의 칩에 채워넣는 속도를 보면서 앞으로 애플의 전략이 더욱 기대된다. OpenAI 의 이번 투자때도 마지막에는 결국 빠졌는데 애플은 애플 나름의 전략이 있는 것으로 보이고 본인들의 칩에 맞춰진 모델을 최적화하는 방향으로 가지 않을까 싶다.

apple-npu-engine.jpg

참고) A18 런칭 이후 애플의 칩 부분을 이끄는 Johny Srouji 와의 인터뷰

4. 라마 3.2 모델 출시

라마 3.2가 출시되었다.

LLM 오픈소스 진영의 선두자격인 llama 모델은 사실 chatGPT 의 발표만큼 더 중요하다고 생각한다. 심지어 한국에서는 서비스하고 있지 않아 주목받고 있지 못하지만, meta AI 라는 메타에서 운영하는 AI 서비스가 클로즈드 모델에서도 TOP3에 들기 때문에 llama 모델의 방향은 늘 중요하다고 생각한다.

이번 오픈에서 눈여겨봐야할 것은 1B와 3B 모델이 출시되었다는 점이다. 전체적인 LLM 시장의 방향이 엄청나게 큰 모델들은 범용성을 가지지만 나가는 비용이 너무 많이 들기때문에 작은 LLM 모델(SLM, small lanauge model)로 방향을 많이 틀고 있는데, 메타가 이 길을 선택하면서 빠르게 전환될 것으로 보인다. 서버자원이 부족한 단일 노드, 온프레미스로 많이 들어가게 될 예정인 것 같다. 요즘 GPT4o-mini 와 Gemini Flash 모델의 사용량이 정말 많이 늘어났는데, 아무래도 이 모델들과 경쟁을 위한 것으로 보인다.

1B의 벤치마크는 좀 좋지 않은 편이라, 아마 가전을 포함한 소형기기, 3B 모델의 경우 일반 컴퓨터에서도 충분히 돌리는 동시에 가격적인 장점을 가질 수 있을 것 같다.

또한 예전에 llama2 7b, llama3 8b 의 작은 모델은 11B 모델이, llama 3.1 에서 405B 모델까지 늘었던 거대한 모델은 llama 3.2에서 90B로 가는 것 같으며, 멀티모달(이미지 등을 인식하고 텍스트로 설명해주는 등의 다양한 기능이 결합된 모델)들 위주로 출시했는데, 향후 거대 모델은 이제 텍스트 기반을 넘어서 이미지 이해, 멀티모달 작업에 특화가 이루어질 것으로 보인다.

또한, llama stack 이라는 것을 공개하면서 라마 모델을 사용한 애플리케이션 레이어 사용하게 될 API 사용을 위한 아키텍처에 대한 가이드라인을 제시한다는 생각이 들었다.

5. you.com 과 perplexity

이번에 you.com 이 소프트뱅크의 투자를 받았다. 잘 아는 쿠팡/위워크에 들어간 것은 소프트뱅크 비전펀드이고, 이번엔 소프트뱅크 아시아(SVBA)의 투자를 받았다.

you.com 은 2021년 Richard Socher(당시 세일즈포스 chief Scientest)가 세일즈포스에서 나와서 만든 검색엔진 스타트업이다. (이미 한번 머신러닝 뿜떄 창업한 회사를 세일즈포스에 판 적이 있다.) 당시에도 꽤 투자를 많이 받았고, 이 저자가 워낙 연구로서도 유명(Imagenet과 Glove 저자)하고 그전의 행보를 봐도 정말 어렵고 힘든 것에 도전한다고 생각했다.

you.com 사진

you.com 베타 서비스를 오픈했을 때 부터 꾸준히 사용했었는데, 구글 방식의 검색엔진이었다가, 작년 초 chatGPT 열풍이 불자마자 기존의 검색엔진의 UX를 전부 다 바꿔서 chatgpt 4o api와 함께 claude sonnet 과 함께 여러 AI 서비스와 자기들의 커스터마이징한 모델도 사용할 수 있도록 올려두었다. 내 생각에 괜찮은 검색엔진 회사들 중에서는 UX/UI 테스트 및 변경을 가장 많이 하고 있기는 했다.

전체적으로 LLM 검색엔진 시장에서는perplexity.ai 에 밀리기는 했다. perplexity 가 출처를 기재해준다는 장점이 있는데, you.com 은 기본적으로 검색엔진에서 시작했다보니 검색 출처가 있었던듯 싶은데, 지금보니 출처도 없앴다.

빙은 출처를 기재많이 해줬던 걸로 기억하는데 perplexity 의 무료정책과 빙에 대한 사람들의 거부감이 한 몫한 것으로 생각한다. 검색엔진이라는 것이 많은 사람들이 가장 근본적으로 사용하는 서비스를 건드리는 거라 어느 하나만 UX에서 이질적이어도 벗어나기 굉장히 쉽다. (과거의 윈도우와 구글/네이버가 그랬던 것처럼 말이다) perplexity 의 경우 아직 무료 서비스이고, 기존 검색엔진의 시장인 광고 서비스로 돈을 벌려고 한다. you.com 은 처음부터 유료구독 모델로 밀고 있다. 유료구독도 써 본 이용자인 입장에서 한글 컨텐츠 검색이 썩 좋은 편은 아니었지만, you.com 의 유료 비즈니스 또한 충분히 테스트 해볼만하다고 생각한다. (아직까지 검색엔진은 무료로 사용한다는 개념이 크지만, 보안이 강력하고 검색이 엄청나게 뛰어나다면 못할 이유가 없다고 생각한다 - 시장 점유율부터 꾸준한 BM의 확보가 장점) 퍼플렉시티도 독특한 비즈니스 모델을 가지고 있다. 바로 스포티파이 모델인데, 많이보고 인덱싱되는 만큼, 광고가 보여지는 만큼 광고주에게 어느정도의 비용을 지불하겠다는 것이다.

검색엔진 AI 시대에 밀려난 느낌이긴 하지만, 아직 시장을 점유하거나 리텐션이 너무 높은 AI 검색엔진은 아직 없으므로(참고로, 네이버는 전세계시장 점유율 0.07%, perplexity 는 0.2% 임으로 갈 길은 멀다) you.com 의 행보에 기대를 걸어본다.nvidia/ 소프트뱅크 아시아의 투자를 받으면서 좀 더 시너지가 생기지 않을까 해본다. (시리즈 B 규모가 600억 수준인 건 Socher의 유명세에 비해 작게 보이긴 한다)게다가 이 AI 시대에 50M (600억 수준)은 너무 적게 보이기도 한다. (Nvidia H100 100개는 살 수 있으려나)

참고)

https://home.you.com/articles/50m-series-b
https://www.techm.kr/news/articleView.html?idxno=129747

오피니언: 유명한 AI 연구자 출신에게 몰리는 많은 돈.

현재의 상황이 정확하게 반영된 딜인 것 같다.

정말 뛰어나고 능력이 있었던 AI 연구자 + 낙관적인 AI 비즈니스 기회 = 엄청난 금액의 투자

시대의 흐름이 정확하게 반영된 느낌이긴하지만, 일야 슈츠케버(Ilya Sutskever)의 Safe superintelligence 가 10억달러 (1.3조원)를 모금했다. 이 돈을 어떻게 사용할지에 대한 플랜은 아직 보이지 않는다. 마찬가지로 Feifei li 교수님이 창업하신 스타트업 World Labs 또한 시작하자마자 1조를 투자받았지만, 공장형 로봇에 특화된 파운데이션 모델을 제작한다고 했을 뿐 자세하게 공개된 내용은 적다.

AI 산업을 꾸준히 보고있는 스타트업 종사자이자 엔지니어로서 다음과 같은 의문이 들긴 한다.

  1. 시장을 선점하기 위해서는 충분한 돈이 필요하지만 지금 1조원은 너무 적거나 과한 측면이 있다.
  2. Ilya가 창업한 SSI가 결국 LLM 시장에 제품을 출시한다면, chatGPT 와 claude 와 같은 모델들과 경쟁을 해야하기에 시간이 더욱 필요할 것이고, LLM과 다른 것이라면 시장을 만들어내기엔 너무 턱없이 부족한 시간
  3. 아무리 그래도 스타트업 정신은 적절한 헝그리 정신과 타이밍상 중요한 투자가 이루어질 때 조직에서도 동기부여를 받기 마련인데, 지금 1-2년을 버틸만큼 충분한 투자가 이루어졌다고 해서, 팀원들을 꾸리고 유지하는 것, 서비스를 만드는 것은 당연히 다른 관점이기 때문에 같은 돈을 나누어서 5천억원 -> 7천억원 순으로 받는게 더욱 좋다고도 생각한다.
  4. 1조원 투자받고 고용한 좋은 사람들이 있다면 괜찮겠지만, VC들이 투자했을 때 여러 조건들을 달았을 것. 그 조건들이 향후에 발목을 잡거나 귀찮게 될 수 있는 일이 많이 생길꺼라는 것도 있다.
  5. 마지막으로 극소수의 천재들에게 이 정도의 돈이 몰리는 것은 비즈니스 사회에서 딱히 증명되지 않은 일이다. (금융업에서는 가능한 일일 수도 있지만 엔지니어링 산업의 관점에서 가장 다른 점은 혼자 하는 것보다 팀으로서 해야할 일들이 많다는 것)
  6. 학문적으로 정말 뛰어난 성취를 했다고 해서 비즈니스적으로 뛰어난 성취를 하는 것이 아니고, 그걸 꾸준하게 성취하기에는 만들기는 더 어렵다. 실제로도 Ilya 나 Richard socher 같은 걸출한 연구자들이 엄청나게 발전시킨 건 많지만, 이미 연구의 속도는 더욱 가팔라졌으며 더 똑똑한 사람들도 업계에 많이 들어왔다. 연구적으로 엄청난 성과를 냈던 분들이 비스니스 영역에서도 잘 녹여진다면 AI 업계에서도 그만큼의 혁신이 이뤄낼 수 있을 것이라 생각한다.
  7. 하지만 그 투자 금액의 속도와 현금 사용의 속도가 너무 빠른 것 같고, 그 속도를 빠른 속도로 따라잡지 못했을 때 느끼는 두려움과 과도하게 투자해야한다는 자신감 또한 과하게 있다고 본다.
  8. 개인적으로 Ilya sutskever 팬이기도 하고, 그의 비전과 철학에 상당히 공감하지만 이렇게 빠르고 강하게 투자를 받아서는 그 다음을 만들기 쉽지 않다고 생각한다.
  9. 비슷한 맥락으로 최근까지 카카오의 KoGPT 언어 모델 개발을 주도했던 브레인 대표를 포함한 분들이 나와서 LLM 모델을 시장에 내놓는다고 창업한다고 한다. 100억원 투자를 받았지만 1조에 비하면 너무 초라해보인다. (미국과 한국의 차이는 100배인걸까)

아래는 각 회사들의 비전.

  1. Feifei Li의 WorldLabs
  2. Ilya Sutskever의 SSI
  3. 카카오 브레인 김일두 대표의 오픈리서치