和付费版本(不限制 URL 数量和对所有功能的完全访问权限对用户,下载访问可能会被阻止,因此建议使用VPN。 在撰写本文时,该程序的当前版本是 v.20.2。界面可能会发生变化,但关键设置将保持相关。 设置程序 设置 RAM 使用情况 转到文件→设置→内存分配 对于较大的项目,建议使用 8GB,或者当前 RAM 的一半。
内存分配 设置数据存储位置 转到文件 → 设置 → 存储 克罗地亚电话营销数据 模式 默认为内存存储。 建议切换到数据库存储(硬盘)。非常重要的是这个磁盘是 SSD,否则扫描会花费很长时间。 存储方式 代理安装 转到文件 → 设置 → 代理 如果您的 IP 屏蔽了您要抓取的网站,您可以设置代理来绕过屏蔽。 代理人 设置扫描速度 转到配置→抓取配置→速度 Max Threads(线程数)最佳设置为 5。
如果将其设置得更高,则会增加被禁止的风险,并且还可能在扫描期间使网站超载。 线程值越低,扫描速度越慢,但被封禁的风险也会降低。 Limit URL/s(每秒抓取 URL 的限制)保留默认值 2.0。如果出现问题,例如频繁出现 5XX 错误,您可以将该值降低到 1.0 或 0.5,以获得更稳定的扫描。 速度 爬虫设置 转到配置→爬网配置→蜘蛛→爬网 资源链接和页面链接可以保留默认值。