直接回答：面向 AI 搜索的 robots.txt，正确做法是默认放行、按用途分类、只精确屏蔽你确实不想给的那一类。绝大多数站点不需要拦任何爬虫；而用一条 Disallow: / 一刀切，会把检索和引用链路一起切断。