허깅페이스 트랜스포머 라이브러리 (Huggingface Transformers)

AI가 어떻게 인간 언어를 이해하거나 마치 사람이 쓴 것처럼 보이는 텍스트를 생성하는 등 놀라운 성과를 낼 수 았는지 궁금한 적이 있나요?

마법처럼 보이는 것의 상당 부분은 Transformer 라는 모델에서 비롯됩니다. 자연어 처리(NLP) 분야에 출시된 많은 프레임워크는 Transformer 모델을기반으로 하며, 그중에서도 Huggng Face Transformer Library가 중요한 역할을 합니다.

본 글에서는 이 라이브러리가 엔지니어와 연구자 모두에게 강력한 도구인 이유를 살펴봅니다.

Transformers 라이브러리란?

이 라이브러리는 자연어 처리(NLP) 관련하여 사전에 학습된 다양한 모델을 제공하는 오픈 소스 라이브러리입니다. PyTorch, TensorFlow를 기반으로 구축되어 매우 다재다능하고 강력합니다.

이 라이브러리가 사람들에게 각광을 받고 있는 이유는 매우 쉽기 때문입니다. 딥러닝 전문가가 아니어도 쉽게 사용할 수 있습니다. (제가 사용하는걸 보면 말 다했죠?)

몇 줄의 코드만으로 복잡한 모델을 구현할 수 있습니다. 단순하고 쉬운 사용성으로 인해 다양한 개발자와 연구자들이 AI를 활용할 수 있습니다.

오늘날 우리가 사용하는 딥러닝 모델의 장점은 처음부터 학습시킬 필요가 없다는 것입니다. 대부분의 모델은 사전 학습되어 있으며, 엔지니어는 맞춤형 데이터를 사용하여 모델을 학습시키는 역할을 하게 됩니다.

텍스트 분류, 질의응답 등 어떤 작업이든 바로 사용 할 수 있는 모델이 준비되어 있습니다. 처음부터 시작할 필요가 없기에 시간과 리소스를 크게 절약할 수 있습니다.

사전 학습된 모델은 특정 요구에 적합하지 않을 수 있습니다. 이런 상황에서 허깅페이스가 힘을 발휘합니다. 이 라이브러리를 사용하면 데이터 세트에서 모델을 미세 조정 할 수 있기에 특정 요건에 맞게 모델을 커스텀 할 수 있습니다.

커뮤니티의 힘

허깅페이스를 특별하게 만드는 것은 기술력외에 활발한 커뮤니티입니다. 커뮤니티에 참여하면 풍부한 지식과 자원을 얻을 수 있습니다.

사용자들은 라이브러리에 지속적으로 기여하고 새로운 모델, 기능을 추가하면서 점점 진화하는 생태계를 만들어갑니다. 이런 점 때문에 라이브러리는 AI 연구 및 응용 분야에서 트렌드를 유지할 수 있습니다.

라이브러리 사용법

Trnasformers 라이브러리를 사용하는 것이 얼마나 쉬운 것인지 살펴보도록 하겠습니다. 긴 텍스트를 입력 받아서 요약본을 반환하는 간단한 요약 스크립트를 만들어 보겠습니다.

먼저 transformers 라이브러리에서 데이터를 가져옵니다.허허깅페이스에서 “pipeline”은 데이터를 원하는 형태로 변경하기 위한 단계를 수행하는데 도움이 되는 도구 입니다.

from transformers import pipeline

파이프라인을 사용하면 내부 작동 방식에 대한 복잡한 것을 알 필요 없이 다양한 작업에 간편하게 사용할 수 있습니다. 이번 예시에는 요약을 위한 파이프라인을 사용하겠습니다.

summarizer = pipeline(“summarization”)

요약 파이프라인을 사용할 준비가 되었네요. 긴 텍스트를 전달하고 응답이 나오는지 확인해보도록 합니다.

text = “When I find myself in times of trouble,  (이하 생략)"
summary = summarizer(text)
print(summary[0][‘summary_text’])

아래는 응답 결과입니다.

When I find myself in times of trouble, Mother Mary comes to me. She speaks words of wisdom, let it be. When the broken hearted people living in the world agree. There will be an answer. There is still a chance that they will see each other again.

Hugging Face Transformers 라이브러리를 이용하는 것이 얼마나 쉬운지 알 수 있습니다.

허깅페이스 트랜스포머 라이브러리는 단순한 AI 모델 모음 그 이상입니다. 일반 수준의 사용자도 고급진 AI를 활용할 수 있도록 해주는 관문입니다.

본 글에서 작성된 샘플 코드는 https://github.com/monocleface/docs/blob/main/codes/transformers-text-summerization-sample.py 에서 확인할 수 있습니다. 

다음에는 Transformers 라이브러리에 대해서 자세하게 살펴보도록 하겠습니다.