火车头采集器使用：开始前需要哪些网站资料
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8019c02c3d8a.html
📄
火车头采集器使用：开始前需要哪些网站资料
在打开火车头采集器之前，最需要准备的不是软件配置，而是目标网站的资料清单：你要采哪些页面、页面里哪些字段要留下、列表页如何翻页、正文链接从哪里取。资料准备得越具体，后面写采集规则就越快。对时间和人手有限的情况，建议只选一个栏目、一类页面先做通，再考虑扩展。
先确定采集范围与页面类型
不要一上来就想着整站采集。先打开目标网站，把页面分成三类并记录：列表页、内容页、可选的分类或标签页。列表页负责提供内容链接，内容页负责提供标题、正文、发布时间等字段。你至少需要确认：
- 列表页的完整地址，以及翻页后的地址变化规律；
- 一篇文章内容页的完整地址；
- 该栏目大约有多少页、每页多少条，用于估算工作量；
- 是否存在需要登录、验证码或付费才能看到的内容。
如果列表页地址是 list-1.html、list-2.html 这样递增，翻页规则就比较容易写；如果翻页由按钮触发、地址不变，就要先判断能否直接拿到分页接口或静态列表链接。
整理每个字段的来源与格式
字段清单是准备阶段最关键的一步。它决定采集规则要抓哪些内容，也决定后期要不要清洗。以常见文章为例，可以先列出这样一张表（假设示例）：
- 标题：来自内容页的
<h1>或页面标题； - 正文：来自内容区域的多个段落；
- 发布时间：来自页面上的日期文本；
- 来源或作者：来自正文附近的一行说明；
- 原文链接：来自列表页中指向内容页的链接。
每个字段都要写清三件事：在哪个页面取、对应哪段 HTML、取到后是否要替换或去掉多余字符。比如日期显示为“2024年5月1日”，而你希望入库为“2024-05-01”，这就属于采集后的处理需求，应提前标注，而不是等采完再回头补。
记录选择器依据与翻页规律
火车头采集器使用中，规则能否稳定运行，主要看选择器是否可靠。准备资料时，用浏览器开发者工具查看目标元素的标签、类名或结构层级，并记录可用的定位依据。优先选择稳定特征，例如固定类名、固定属性，避免依赖容易变化的相邻元素位置。
翻页同样要提前验证。手动翻到第二页、第三页，观察地址或请求参数如何变化，记录页码变量所在的位置。如果翻页依赖脚本加载，先确认列表内容是否直接出现在 HTML 中；若不在，需要考虑是否值得继续，或改用其他数据来源。
用一页样本做最小验证
资料齐了以后，不要立刻批量采集。先拿一条列表页加一条内容页做最小验证：配置好链接提取和字段规则，只采一条，检查标题是否完整、正文是否缺段、日期格式是否符合预期、原文链接是否可访问。验证通过后再增加页数，观察是否出现重复、漏采或字段错位。
判断结果的标准很直接：随机抽三条采集结果，与网页原文逐项对照。如果标题和正文一致、链接能打开、日期没有明显偏差，说明规则基本可用；如果正文混入广告或推荐阅读，就要回到字段范围重新划定内容区域。
维护时先看页面是否改版
采集规则不是一次配置就永久有效。目标网站调整模板、更换类名或改变翻页方式后，原来能跑的规则可能失效。日常维护可以先做两项检查：一是列表页是否还能提取到内容链接，二是内容页字段是否仍然落在预期位置。发现异常时，先对比页面结构变化，再决定是修选择器还是调整采集范围。
时间和人手有限时，下一步建议只做一件事：选一个栏目，按上面的清单写出字段表和翻页规律，用一条样本跑通验证。这个最小闭环成立后，再复制到其他栏目，比一开始铺开整站更省力。
