우리는 매일 웹사이트에 접속합니다. 화려한 디자인, 편리한 메뉴 구성, 광고 배너들이 우리를 반깁니다. 하지만 이 모든 시각적 요소들은 AI에게는 그저 소음에 불과하다는 사실을 알고 계셨나요?
ChatGPT, Claude, Gemini와 같은 대규모 언어 모델(LLM)의 능력은 대단합니다. 사람들은 이제 검색을 하고 링크를 찾아다니는 대신, AI에게 질문을 합니다. 이때 AI는 웹사이트를 방문하여 정보를 읽어옵니다.
문제는 여기서 발생합니다. 사람을 타겟으로 보기 좋게 만들어진 웹사이트는 AI가 읽기에는 매우 복잡합니다. 광고 스크립트, 복잡한 레이아웃, 스타일 시트 등이 섞여 있어, 중요한 정보(텍스트)를 찾아내기 어렵게 만듭니다. 도서관에 갔는데 책의 내용보다 책 표지의 디자인과 도서 위치를 설명하는 안내표기가 더 많은 상황입니다.
이 문제를 해결하기 위해 등장한 것이 llms.txt 입니다. 본 글에서는 이 텍스트 파일이 왜 중요한지 알아보려 합니다.
llms.txt란?
쉽게 설명하면 llms.txt는 AI를 위해 특별히 준비된 전용 메뉴판입니다.
예를 들어서 레스토랑에 가면, 음식 사진이 포함된 메뉴판을 줍니다. 이는 사람을 타겟팅한 메뉴판입니다. 만약 LLM이 손님이라면 어떨까요? 사진이나 디자인은 필요 없습니다. 음식이름, 가격, 설명만 깔끔하게 정리된 것을 원할 것 입니다.
llms.txt가 이 역할을 해주게 됩니다. 웹사이트의 복잡한 디자인 요소를 모두 걷어내고, AI가 이해하기 쉬운 형태인 Markdown 형식을 사용해 핵심 정보만 제공합니다.
사람을 위한 웹사이트는 UX 관점에서 레이아웃, 메뉴 구조, 이미지, 버튼, 텍스트등이 필요했다면, LLM용 웹사이트는 제목, 요약, 핵심 문서로 가는 직관적인 링크만 필요할 뿐입니다.
왜 만들었지?
이 개념은 2024년 9월, Answer AI의 제러미 하워드가 제안하며 널리 알려지기 시작했습니다. AI 개발자들은 웹사이트의 정보를 AI에게 학습시키거나 검색하게 할 때마다 불필요한 HTML 코드를 걸러내는 작업이 지쳐 있었습니다.
“그냥 웹사이트 소유자들이 AI가 읽기 쉽게 요약본을 올려두면 안될까?”
이 단순한 아이디어가 llms.txt 프로젝트의 시작이었습니다.
왜 필요하지?
단순히 AI에게 친절하기 위해 필요한 것은 아닙니다. 여기에는 매우 현실적이고 경제적인 이유가 숨어 있습니다.
AI 모델을 사용할 대 정보의 양은 곧 비용입니다. AI는 글자를 읽을 때 “토큰”이라는 단위로 계산하는데, 불필요한 HTML 태그도 전부 토큰을 사용하게 됩니다.
만약에 웹사이트의 정보가 100인데, 디자인 코드 때문에 전체 데이터가 1000이 된다면, AI는 핵심 정보를 얻기 위해 10배의 비용과 노력을 들여야 합니다. llms.txt를 제공하면 알짜배기 정보 100만 읽으면 되기에 훨씬 효율적입니다.
또한, 아무리 똑똑한 AI라도 한 번에 기억하고 처리할 수 있는 정보의 양에는 한계가 있습니다. 쓸데없는 코드로 이 공간을 채워버리면, 중요한 내용을 AI가 잊어버리거나 놓칠 확률이 높아집니다.
깨끗하게 정리된 텍스트를 제공하면, AI는 한정된 기억 공간을 정보를 이해하는데 온전히 쓸 수 있습니다. 결과적으로 사용자가 웹사이트에 대해 질문했을 때, AI가 더 정확하고 똑똑한 답변을 할 수 있게 됩니다.
robots.txt와 차이점
기존의 robots.txt의 개념과 혼동하는 사람들이 존재합니다. 둘 다 웹사이트의 root에 위치하는 텍스트 파일이라는 점은 같지만, 목적은 완전히 반대입니다.
robots.txt의 목적은 “통제” 입니다. 어디를 들어오면 안되는지를 알려주는 역할을 합니다.
llms.txt의 목적은 “안내”입니다. 무엇을 읽어야 가장 정확한지 알려주는 역할을 합니다.
위 두 파일은 경쟁 관계가 아니라 상호 보완적인 관계입니다. 완벽한 웹사이트 관리를 위해서는 두 파일이 모두 필요합니다.
llms.txt 작성법
그렇다면 이 파일은 어떻게 생겼을까요? 생각보다 단순합니다. 개발자가 아니더라도 금방 만들 수 있습니다.
파일의 위치
웹사이트의 가장 최상위 주소 뒤에 붙습니다. e.g. https://example.com/llms.txt
기본 구조
llms.txt 파일 내부는 Markdown 문법을 따릅니다. 마크다운은 우리가 카카오톡이나 슬랙에서 글자를 굵게 만들거나 리스트를 만들 때 쓰는 아주 간단한 서식입니다.
| # 사이트 이름 > 사이트에 대한 아주 짧은 요약 ## 핵심 문서 - [가이드](https://...md) [사용법](https://...md) - [자주 묻는 질문](https://...md) ## 추가 정보 이 사이트는 AI가 쉽게 읽을 수 있도록 구성되었습니다. 상세한 내용은 위 링크의 마크다운 파일을 참고하세요. |
AI에게 “우리 사이트 이름은 이거고, 핵심 내용은 저 링크들에 있으니 저기를 읽어”라고 알려주는 Index 역할을 합니다.
Blot.new의 llms.txt는 여기서 확인해 보실 수 있습니다.
llms-full.txt
때로는 링크를 타고 가는 것조차 귀찮거나, 한 번에 모든 정보를 AI에게 주고 싶을 때가 있습니다. 이럴 경우 llms-full.txt라는 파일도 함께 만드는 것이 권장됩니다.
이 파일은 웹사이트의 모든 핵심 문서를 하나의 거대한 텍스트 파일로 합쳐둔 것입니다. AI는 여러 페이지를 왔다 갔다 할 필요 없이, 이 파일 하나만 읽으면 전체를 파악할 수 있게 됩니다.
기대효과
우리는 지금까지 구글이나 네이버 검색 결과 상단에 노출되기 위해 검색 엔진 최적화(SEO)를 적용했습니다. 하지만 이제는 인공지능 엔진 최적화(AEO) 또는 생성형 엔진 최적화(GEO)를 준비해야 할 때입니다.
사용자가 ChatGPT에게 “A회사 제품의 환불 규정이 뭐야?”라고 질문하면, AI가 복잡한 웹페이지를 해매다가 엉뚱한 답변을 할 수 도 있기에, llms.txt를 통해 명확한 환불 규정 텍스트를 제공한다면, AI는 정확한 답변을 사용자에게 전달할 수 있습니다.
개발자 도구나 API 문서를 제공하는 기업이라면 llms.txt는 필수입니다. 요즘 개발자들은 코딩할 때 AI의 도움을 받는데, AI가 해당 라이브러리의 사용법을 잘 숙지하고 있을수록 개발자들의 선택을 받을 확률이 높아지기 때문입니다.
결론
llms.txt를 작성하다 보면 한 가지 흥미로운 사실을 깨닫게 됩니다. 군더더기를 빼고, 핵심만 명료하게 정리하고, 목차를 일목요연하게 만드는 작업이 사실은 “사람”에게도 필요한 일이라는 점입니다.
AI가 읽기 쉬운 글은 사람도 읽기 쉽습니다. llms.txt의 도입은 단순히 기계를 위한 작업을 넘어, 웹사이트가 담고 있는 정보의 본질이 무엇인지 다시 한번 점검하고 정제하는 계기가 될 것입니다.
아직 이 표준은 초기 단계입니다. 구글이나 오픈AI가 공식적으로 따르겠다라고 선언한 것은 아닙니다. 하지만 웹의 역사가 증명하듯, 유용한 약속은 결국 표준이 됩니다.
지금 당신의 웹사이트 루프에 작은 텍스트 파일 하나를 추가해보는 것은 어떨까요? 다가오는 AI 검색 시대에, 당신의 콘텐츠가 가장 먼저, 가장 정확하게 읽히는 티겟이 될지 모릅니다.