링크드인을 통해 구글 클라우드의 컨퍼런스가 열리는 것을 보고 신청하여 참여하게 되었다.
기존에 클라우드에 관심이 많았기 때문에 클라우드 분야의 선두주자인 구글에서는 어떤 혁신이 있었을까 기대하며 참여하였다.
1. Welcome to Innovators!
- Ankur Kotwal, Head of Cloud Global Advocacy(Google)
첫 번째 주제에서는 클라우드의 미래에 관련하여 이야기를 나누었다. 현재의 클라우드에서 미래의 클라우드로 어떻게 바뀔 지에 대한 것이었다. 7가지 정도의 주제가 있었는데, 그 중에서 특히 AI assist를 받는 클라우드와 멀티 클라우드 간의 상호호환 보장이 가능할 것이라는 점이 인상깊었다. 이 주제를 보고 클라우드와 접목되는 분야들이 점점 많아지는데, 앞으로도 클라우드 산업의 성장 가능성에 대해 기대를 가질 수 있었다.
2. 개발자 키노트 1: AI Innovation, 구글 클라우드로 거듭나는 개발자 생산성
- Ankur Kotwal, Head of Cloud Global Advocacy(Google)
두 번째 주제에서는 멀티모달 생성형 AI인 Gemini가 어떻게 구성되어 있는지에 대해 이야기를 나누고, 개발자 생산성을 향상시키기 위해 어떻게 노력하고 있는지를 다루었다. Langchain을 이용해 앱을 만들어 LLM 모델을 통해 인터페이스를 제공한다는 점도 매력적이었다. 특히, Gemini Pro에서는 2M개의 컨텍스트 윈도우를 활용해 매우 큰 비디오 혹은 코드베이스, 오디오 등도 이해할 수 있었다. 이러한 거대 컨텍스트 윈도우가 전체 코드 베이스를 이해하고 더 효율적인 코드를 작성할 때의 생산성 향상에 기여할 수 있을 것이란 생각이 들었다. 또한, LLM 모델이 실 환경에 배포될 때는 신뢰도가 매우 높아야 하는데, Gemini의 경우 인용 출처를 같이 제공해준다는 점이 매우 좋았다.
3. 개발자 키노트 2: Google이 전합니다, 개발자 여러분을 위한 최신 뉴스가 여기에.
- Manikantan Krishnamurthy, Head of Developer Ecosystem APAC(Google)
AI가 할 수 있는 일이 굉장히 많고, 지루한 준비 작업에 우리가 집중할 필요가 없다는 점을 말하는 토픽이었다. 이번엔 Gemini가 아닌 Gemma 모델에 대한 설명이 이뤄졌다.
Pali Gemma는 구글이 Gemini 모델을 만드는 데 사용한 연구 및 기술로 제작된 경량 개발형 모델 제품군이다. 이 모델은 이미지 혹은 짧은 비디오의 캡션에 장점이 있고, 이미지 구분 능력이 뛰어나다.
뿐만 아니라 개발자들을 위해 AI 기반 자원과 클라우드 기반 환경을 제공하는 Project IDX와 구글의 시각적 프로그래밍 프레임워크인 Visual Blocks for WebAI를 통해 워크플로우를 빠르게 프로토타이핑 할 수 있는 것으로, 개발자 생산성을 위해 구글이 얼마나 고군분투하고 있는지 느꼈다.
4. AI: 개발자를 위한 Google Cloud AI Research 소개
- 윤진성, Senior Research Scientist(Google Cloud AI Research)
LLMs 모델들의 한계점을 찾고, 그걸 어떻게 해결하려고 노력하고 있는지 Google cloud AI Research팀의 소개가 이루어졌다.
LLMs의 한계
LLMs에는 환각 현상(할루시네이션, 세종대왕 맥북, 거북선 라이트닝볼트 등)이라는 문제점이 있다. 이를 위해 검색을 위한 LLMs 맞춤화라는 방법을 제시하였다. 검색 기반의 답변을 통해 관련된 출처(source)를 제공하고, 이를 통해 신뢰도 향상을 꾀한다는 것이었다. 뿐만 아니라, Dual Encoder 기법도 소개하였다. 간단히 요약하자면, 유저의 질문과 고객의 문서를 각각 임베드하여 두 데이터 간의 관계를 학습하는 기법이었다.
LLMs Distillation
또한, LLMs 증류(Distillation)를 통해 적은 데이터를 이용해 큰 모델을 학습하는 방식도 소개하였다. 적은 데이터를 통해 답을 내고, 추론 과정(Rationale)을 제공함으로써 답변의 근거를 제시하는 방식이었다.
Google Cloud AI Research 팀의 연구
현재 LLM의 거대화에 따른 실용성 저하라는 한계점에 대해 어떠한 연구를 진행하고 있는 지에 대해서도 간단히 소개하였다. 기업들이 소유한 많은 정형적인 데이터를 해석하는 정형 데이터 해석 관련 연구였다. 해당 연구의 주제는 ‘정형 데이터를 이용해 유저의 질문에 맞는 테이블의 컬럼을 찾을 수 있는가?’ 였다.
Google Cloud AI Research 팀에서 어떠한 연구를 진행하고, 현재는 어떤 목표로 달려갈 수 있는 지를 알 수 있어 좋았던 아젠다였다.
5. 미래를 위한 LLMs: 개발자를 위한 Long-Context LLM 활용 전략
- 임현욱, Developer Advocate(Google)
Long-Context LLM의 관련 용어들과 앞으로 어떻게 활용될 것인지에 대한 것을 명료하게 설명해주었다.
먼저, 사용되는 용어인 Token, LLM Context에 관해 언급하였다. Context Window는 입력 프롬프트와 답변의 토큰 수의 합인데, 이게 클 수록 AI를 더 효율적으로 사용할 수 있다. 하지만 윈도우를 늘리기 위해선 매우 많은 자원이 필요하기 때문에 현재는 한계가 존재한다고 한다.
Gemini 1.5 Pro의 경우 1M의 컨텍스트 윈도우를 가진다. 이 크기는 700K 개수의 단어, 1시간의 비디오, 11시간의 오디오, 30K 라인 이상의 코드를 담을 수 있다고 한다. 큰 컨텍스트 윈도우로 코드를 담고, 몇 달에 걸친 멀티 턴의 대화를 함으로써 생산성의 향상을 훨씬 이끌어낼 수 있겠다고 생각하였다.
설명 뿐 아니라, 한자로 된 ‘이충무공전서’ 문서를 가지고 Gemini를 학습해 프롬프트로 대화를 나누는 데모를 보여줬는데, 해당 문서만 가지고 ‘이순신 장군의 성격을 요약해줘’ 등의 질문을 어떤 페이지의 어떤 근거를 통해 썼는지를 작성해주는 것을 볼 수 있었다.
이 아젠다를 보고 생성형 AI가 발전해가면서 사람이 파악하지 못한 부분을 찾아내고, 맥락과 근거를 찾음으로써 어려운 질문에도 체계적으로 답변할 수 있을 것이라는 생각을 하였다.
6. Google I/O 24 직격 리포트: 미래를 향한 개발자들의 여정
- 우수연, GDG Cloud Korea Organizer, Technology Engineer(IBM)
GDG(Google Developer Group)의 일원으로서 Google I/O 행사가 어땠는지, 어떠한 점이 나왔는지 이야기하는 시간을 가졌다. Multi-Modality, Long Context, LLM에서 Search의 중요성 등 어떠한 문제점이 있고, 이를 해결하기 위해 구글은 어떤 행동을 하고 있는지를 들을 수 있었다. 특히, 웹에서 모바일로 이동하면서 나의 위치, 나의 상태 등을 고려해 검색을 진행하는 방식을 알 수 있었다.
총평
클라우드 엔지니어가 꿈인 취업준비생으로서의 소감을 말하자면, 정말정말 좋았다. Google의 서밋을 참여해 클라우드에 대해 Google이 어떻게 준비하고 있는지, 어떤 혁신을 이루어내고 있는지를 알 수 있었다. 기존에는 클라우드 분야에만 중점적으로 관심을 가지고, Infrastructure를 어떻게 구축할 지에만 관심을 가졌는데, 거의 대부분의 아젠다들에서 AI 이야기를 듣고 클라우드와 밀접하게 관련되어 있는 분야라는 것을 깨닫게 되었다.
발전하는 클라우드와 AI 분야의 접점을 생각하고, 어떠한 방식으로 문제를 해결해나가는지 관심을 갖고 여러 컨퍼런스에 꾸준히 참여해야겠다는 생각을 했다. 좋은 이야기 나누어주신 연사분들, 감사합니다!