2026-08-03 · 7분 읽기
llms.txt가 뭔가요? AI가 내 사이트를 알아보게 하는 설정 방법
llms.txt는 ChatGPT·Perplexity·Claude 같은 AI 크롤러가 사이트를 읽을 때 '이 사이트는 이런 서비스다'라고 먼저 알릴 수 있는 텍스트 파일입니다. 아직 표준이 확정된 규격은 아니지만, 사이트 루트(/)에 llms.txt를 두고 핵심 서비스 설명을 구조화하면 AI 검색 결과에서 더 정확하게 인용될 가능성을 높이는 데 도움이 될 수 있습니다. 서우 AI에이전트오피스는 llms.txt·robots.ts·sitemap.ts 설정을 통해 ChatGPT-User·PerplexityBot·OAI-SearchBot이 사이트 콘텐츠를 올바르게 인식하도록 구성되어 있습니다.
llms.txt가 뭔가요? robots.txt와 무엇이 다른가요?
robots.txt는 검색 크롤러에게 '이 경로는 크롤링하지 마세요'를 알리는 파일입니다. 접근 허용·차단이 목적입니다. llms.txt는 다른 목적으로, AI가 사이트를 읽을 때 '이 사이트가 무엇인지, 어떤 서비스를 제공하는지'를 요약해 알리는 파일입니다. 크롤링 허용 여부가 아니라 콘텐츠 맥락을 전달하는 것이 핵심입니다.
AI 크롤러는 전체 페이지를 읽기 전에 이 파일을 참조해 사이트 전체 맥락을 파악할 수 있습니다. 맥락을 먼저 알면 어떤 페이지가 어떤 질문에 답하는지를 더 정확하게 판단하는 데 도움이 됩니다. AI 검색 최적화(GEO·AEO) 전략 전반은 AI 검색 노출 전략 총정리에서 확인할 수 있습니다.
두 파일은 역할이 달라 함께 써야 합니다. robots.txt가 없으면 크롤러가 접근 자체를 못 할 수 있고, llms.txt가 없으면 AI가 사이트를 읽어도 맥락 없이 단편적으로 해석할 수 있습니다.
AI 크롤러는 어떻게 사이트를 읽나요?
ChatGPT-User, PerplexityBot, OAI-SearchBot 같은 AI 크롤러는 sitemap.xml에 등록된 URL을 순서대로 방문해 페이지 콘텐츠를 읽습니다. 이때 각 페이지의 제목·본문·메타설명·구조화 데이터(JSON-LD)를 인덱싱 대상으로 처리합니다.
robots.txt로 허용된 경로만 크롤러가 방문할 수 있습니다. 서우 AI에이전트오피스는 robots.ts에서 ChatGPT-User·PerplexityBot·OAI-SearchBot을 명시적으로 허용해 AI 크롤러가 블로그·서비스 페이지를 읽을 수 있도록 구성되어 있습니다.
크롤러가 방문했다고 바로 AI 검색 결과에 노출되는 것은 아닙니다. 인덱싱 후 AI가 특정 질문에 답할 때 우리 사이트 콘텐츠를 인용 자료로 선택하는 과정이 필요합니다. 이 선택은 콘텐츠 품질과 신뢰도에 따라 달라지는 경향이 있습니다.
llms.txt는 어떻게 작성하면 되나요?
기본 구조는 마크다운 형식입니다. 사이트 루트(/)에 llms.txt 파일을 두고, 사이트 이름·목적·주요 서비스·핵심 페이지 URL을 순서대로 기술합니다. 예시 형태는 이렇습니다. 첫 줄에 사이트 이름, 그 아래 서비스 개요 섹션, 주요 페이지 링크 목록 순서입니다. AI가 빠르게 핵심을 파악할 수 있도록 간결하게 씁니다.
작성 시 주의할 점은 간결하고 사실에 근거해야 한다는 것입니다. 과장 표현이나 막연한 수식어보다, 구체적인 서비스명·기능·대상 고객을 명확하게 기술하는 것이 AI 크롤러에게 더 유용합니다. 서비스가 여러 개라면 각각 항목으로 나눠 설명합니다.
llms.txt 외에도 llms-full.txt를 두는 경우가 있습니다. llms.txt가 핵심 요약이라면 llms-full.txt는 더 상세한 설명을 담는 확장 파일입니다. AI 크롤러가 상세 정보가 필요할 때 참조할 수 있도록 준비해 두면 도움이 될 수 있습니다.
llms.txt만으로 AI 검색에 노출되나요? 다른 설정도 필요한가요?
llms.txt 하나만으로 AI 검색 노출이 보장되지는 않습니다. 함께 갖춰야 할 설정이 있습니다. 첫째, robots.txt(또는 Next.js의 robots.ts)에서 AI 크롤러 접근을 허용해야 합니다. 허용하지 않으면 llms.txt가 있어도 크롤러가 나머지 페이지를 읽지 못합니다. 둘째, sitemap.xml을 최신 상태로 유지해야 합니다. 새 페이지가 sitemap에 없으면 크롤러가 찾지 못합니다.
셋째, 각 페이지의 콘텐츠 품질이 중요합니다. AI 크롤러는 읽은 콘텐츠 중 질문에 가장 잘 맞는 것을 인용하는 경향이 있습니다. 질문에 직접 답하는 구조(답변 우선 단락, FAQ)를 갖춘 페이지가 인용되는 데 유리할 수 있습니다. 민감 데이터 보호를 위한 로컬 실행 환경 구성은 민감 업종을 위한 로컬 실행 가이드에서 볼 수 있습니다.
AI-SEO 관련 실제 운영 사례는 AI-SEO로 직접 구축한 에이전트오피스 블로그 운영기에서 확인할 수 있습니다. 어떤 설정이 어떤 크롤러에 영향을 줬는지를 운영 경험으로 기술했습니다.
설정 후 효과는 얼마나 기다려야 하나요?
크롤링 주기는 크롤러마다 다르며, 설정 후 AI 검색 결과에 반영되기까지 수 주에서 수개월이 걸릴 수 있습니다. 이 기간은 크롤러 정책에 따라 달라지며 일정하지 않습니다. llms.txt 설정만으로 즉각적인 노출 변화를 기대하기는 어렵습니다.
그보다 빠른 방법은 콘텐츠를 꾸준히 쌓는 것입니다. 주제 권위(topical authority)가 쌓이면 AI 크롤러가 해당 주제 질문에서 우리 사이트를 인용 자료로 선택할 가능성이 높아질 수 있습니다. 발행 주기를 일정하게 유지하고 sitemap을 최신으로 관리하는 것이 기반입니다.
Google Search Console에서 sitemap을 제출하고 색인 상태를 주기적으로 확인하는 것도 병행을 권합니다. AI 검색 크롤러와 전통적 검색 크롤러가 겹치는 부분이 있어, Google 색인이 잘 되어 있으면 AI 검색에도 긍정적인 영향을 줄 수 있습니다.
자주 묻는 질문
llms.txt를 안 만들면 AI 검색에 아예 안 나오나요?
그렇지 않습니다. llms.txt 없이도 robots.txt·sitemap.xml이 올바르게 설정되어 있고 콘텐츠 품질이 높다면 AI 검색에 인용될 수 있습니다. llms.txt는 AI 크롤러에게 맥락을 더 명확하게 전달하는 데 도움이 되는 보조 파일입니다.
llms.txt 작성에 개발 지식이 필요한가요?
기본 마크다운 형식으로 작성하는 파일이라 개발 지식이 없어도 텍스트 에디터로 만들 수 있습니다. 사이트 루트에 파일을 배치하는 것은 호스팅 환경에 따라 다를 수 있어, 그 부분만 개발자의 도움이 필요할 수 있습니다.
어떤 AI 서비스가 llms.txt를 읽나요?
2026년 현재 ChatGPT(OAI-SearchBot), Perplexity(PerplexityBot) 등의 크롤러가 사이트를 방문합니다. llms.txt를 모든 크롤러가 동일하게 지원한다는 보장은 없으며, 각 서비스의 정책은 변경될 수 있습니다. 최신 상태는 각 서비스의 공식 문서를 확인하는 것을 권합니다.
기존 robots.txt나 sitemap.xml과 함께 써도 되나요?
네, 함께 써야 합니다. llms.txt는 robots.txt나 sitemap.xml을 대체하지 않습니다. 세 파일이 함께 있을 때 AI 크롤러가 사이트 구조와 맥락을 가장 정확하게 파악할 수 있습니다.