Google AI Edge Foresight

구글이 AI Edge Foresight Mac 앱을 런칭했다. Gemma 모델을 기반으로 작동하며 회의 내용을 요약하고 문서를 이해하도록 설계되었다. 이번 앱은 사용자가 컴퓨터에 저장한 작업 자료와 연동하여 '지능형 메모 작성'을 지원한다.

이 앱에는 구글이 자체 개발한 EmbeddingGemma-2 모델이 탑재되어 있다.

구글은 콘텐츠가 컴퓨터를 벗어나지 않을 것을 보장하며, 모든 AI 추론은 '기기에서 100% 로컬로 실행된다'고 밝혔다. 개인적인 지식 자료, 회의 오디오, 메모, 파일, 녹음 파일, 녹취록 또한 외부 클라우드 서버로 전송되지 않는다.

구글은 로컬 AI 시스템을 앱 형태로 'AI Edge'라고 부른다. Google AI Edge Foresight는 Google meet, Zoom 또는 마이크를 통해 회회의 내용을 듣고 실시간으로 로컬 시스템 오디오를 텍스트로 변환할 수 있다. 요약 및 추가 처리를 위해 앱은 컴퓨터의 기존 콘텐츠에 접근한다. 여기에는 Office 문서, 텍스트 및 마크다운 파일, PDF 등이 포함될 수 있다.

또한, 통합된 의미 검색 기능도 제공한다. 이 앱은 Apple Silicon이 탑재된 모든 시스템에서 실행되며, Intel Mac은 지원하지 않는다. (지못미...) 구글은 경량 Gemma 양자화 및 메모리 효율적인 벡터 커널 덕분에 Foresight는 가벼운 용량과 낮은 배터리 소모량을 유지한다.

조금 더 자세히 살펴보면,
EmbeddingGemma 2는 7억 4천만 개의 파라미터로 구성되어 있고 텍스트, 이미지, 오디오, 비디오까지 처리할 수 있는 멀티모달로 설계되었다. Gemma4와 결합하여 로컬 RAG 기능을 통해 사용자의 데이터를 검색할 수 있다.

알아둬야 할 부분은 로컬 접근 방식은 위험을 제거하는 것이 아니라, 다른 관점에서보면 나의 노트북이 공급자가 되는 것이다. 그래서 사용시에는 아래의 사항을 고려해야 한다.

모든 녹취록, 모든 녹음 파일, 검색 색인이 맥에 저장된다. 맥의 암호화 상태가 데이터 보호에 대한 모든 것을 결정한다.

• 전체 디스크를 암호화를 활성화해야 한다.
• 복잡한 로그인 패스워드를 설정해야 한다. 그리고 자동 잠금 기능도 필수다.
• 공유 로그인 계정에서는 사용하지 않아야 한다.

또한, 지식 기반의 범위를 설정해야 한다. 즉, 신뢰의 경계가 필요하다. 모든 권한을 주면 편리해지지만, 동시에 공격의 취약점이 될 수 있다.

• 필요한 부분만 인덱싱하자.
• 민감한 프로젝트 및 자료는 분리하자.

Foresight와 같은 온디바이스 AI는 개인정보 보호 측면에서 꽤 좋다. 클라우드로 전송하는 것보다 온디바이스 AI를 이용해 정리하는 것은 현 시점에서 옳은 방향이다.

기기가 암호화되었는지, 도구가 읽을 수 있는 범위를 작게 조정했는지 등을 고려해서 사용한다면 꽤 좋은 도구가 될 것이라 생각한다.