AI에 조금이라도 관심이 있다면 허깅페이스(Hugging Face)에 대해 들어봤을것이다. 오늘은 허깅페이스에 대해서 알아보자.
허깅페이스는 자연어 처리(NLP) 및 머신러닝(ML) 분야의 기술을 발전시키기 위한 오픈소스 플랫폼이자 커뮤니티이다. 개발자와 연구자가 머신러닝 전문 지식 없이도 고급 AI 모델을 구축하고 미세 조정할 수 있도록 라이브러리, 모델, 데이터세트 및 도구등으로 구성된 생태계를 제공하고 공유하는 공간이다. AI와 관련된 모든 것을 아우르는 허브라고 생각하면 되지만, 조금 다른 점이 존재한다. 바로 협업과 개방성을 기반으로 구축되었다는 점이다.
2016년 챗봇 회사로 설립된 허깅페이스는 처음엔 대화형 AI에 집중했다. 그러다가 트랜스포머의 잠재력을 알게되고 자연어 처리 도구와 라이브러리 개발레 집중하게되었다.
허깅페이스는 사전 훈련된 방대한 모델과 데이터세트 저장소로 알려져 있다. 클라우드 기반 플랫폼인 허깅페이스 허브는 90만개 이상의 사전 훈련된 모델과 9만개 이상의 데이터세트를 보유하고 있다. 이 리소스는 누구나 무료로 사용할 수 있기에 AI 실무자들에게는 꼭 필요한 자료이다. 자연어 처리부터 컴퓨터 비전 그리고 기타 AI 관련 작업을 수행할 때 유용한 정보를 찾을 수 있다.
허깅페이스의 가장 큰 특징은 Transformer 라이브러리이다. 이 라이브러리는 BERT, GPT 등과 같은 고급 모델의 구현을 제공한다. 이 라이브러리를 이용해서 프로젝트를 진행할 경우 많은 시간을 절약할 수 있다. 모델을 처음부터 구축하는 대신, 다른 사람들의 작업을 활용하여 특정 요구에 맞게 모델을 미세 조정하는데 집중할 수 있다.
그외에 사용자가 머신러닝 애플리케이션을 제작, 배포 및 시연할 수 있는 Space 기능도 제공한다. Space는 개발자가 데모를 쉽게 제작하고 다른 사용자와 작업을 공유할 수 있도록 해준다. 특히 프로젝트에 대한 협업이나 피드백이 필요할 때 유용하다.
허깅페이스의 가장 큰 이점은 커뮤니티와 오픈소스 협업이다. AI 개발의 민주화라는 신념으로 플랫폼이 구축되었기에 최첨단 도구와 리소스를 전 세계 사용자에게 제공함으로써 공정한 경쟁의 장을 조성하는데 기여하고 있다. 노련한 연구자 혹은 취미로 하는 사람이든 누구나 동일한 도구를 활용하고 동일한 프로젝트에 기여할 수 있다.
자, 그럼 허깅페이스를 어떻게 사용해야 할까?
우선 수천 개의 모델과 데이터 세트를 찾을 수 있는 허깅페이스 허브를 검색하는 것이다. 예를 들어서 오픈 소스 언어 모델을 다운로드하여 로컬 PC에서 실행할 수 있다.
처음에는 Transformers 라이브러리만 사용했지만, 현재는 다른 기능도 사용중이다.
- Transformers: 모든 모델에 접근할 수 있는 Python 라이브러리이다. 몇 줄의 코드만 작성하면 강력한 결과를 얻을 수 있다.
- Model Hub: 바로 사용 가능한 AI 모델의 거대한 온라인 카탈로그이다. "summarization", "translation" 과 같은 작업을 검색하면 효과적인 모델을 찾을 수 있다.
- Space: 데모를 완성하고 다른 사람들에게 보여주고 싶다면, Space를 사용하면 공유 가능한 웹앱으로 만들 수 있다. 복잡한 배포나 백엔드 설정 없이 업로드하고 실행만 하면 된다.
- AutoTrain: 나의 데이터를 기반으로 모델을 미세 조정할 때 유용하다. 훈련 코드를 직접 작성할 필요없이, 모든 것을 자동으로 처리해준다.
허깅페이스는 단순한 플랫폼이 아니라 커뮤니티이다. 사람들이 모여 아이디어를 공유하고, 프로젝트를 함께 하며, AI의 한계를 뛰어넘는 공간이다.
아직 참여하지 않았다면, 바로 참여해보자! => https://huggingface.co/