在线代理由于它提供的保护和匿名性，使用代理服务器是在线抓取公共数据的最便捷方式。但是，管理代理服务器可能比提取 Web 数据本身消耗更多时间，因此在开始下一个 Web 抓取项目之前了解如何正确执行此操作至关重要。
什么是代理？
在进入代理服务器的定义之前，了解什么是 IP 地址以及它们如何工作非常重要。IP（Internet 协议的缩写）地址是一串唯一的数字，用于标识连接到 Internet 的任何设备。IP 地址由四个用点分隔的数字组成，通常看起来像这样：217.138.192.20。
IP 地址是设备或服务器相互通信所必需的。例如，如果您搜索“最佳 SEO 软件”，您的 IP 将向搜索引擎的服务器发送请求。然后，使用您的 IP 地址，搜索引擎会找到答案并返回。
同时，代理服务器充当您的设备和您正在访问的网站之间的中继。当您在连接到代理的情况下进入网站时，您的流量将通过其服务器进行路由。因此，您的原始 IP 地址被屏蔽并替换为代理服务器的 IP。
由您的 ISP（Internet 服务提供商的缩写）分配的 IP 是一个静态 IP 地址，因此 Web 服务器在您每次上网时都会看到确切的数字字符串。但是，通过连接到代理服务器并隐藏您的 IP，可以在隐私和大规模的情况下进行网络爬取或抓取。
为什么选择代理进行抓取？
使用代理服务器并不是抓取网络的唯一方法。但由于它带来的许多好处，它被认为是最可靠的。让我们仔细看看代理服务器的一些上述好处：
- 可靠性。为了防止网络爬虫发出过多请求，网站对您可以收集的数据量设置了限制。结果，您的蜘蛛可能会被禁止或阻止。使用代理池，您可以绕过限制并从不同的 IP 地址发送多个请求。
- 访问以地理为中心的数据。作为一种营销或销售策略，网站（尤其是在线零售商）会根据访问者的实际位置或设备以不同的方式显示内容。使用代理服务器，您可以绕过这些限制并更改 IP 的位置。看起来您正在从不同的区域发出请求，允许您从世界任何地方抓取公共数据。
- 数据量增加。虽然无法判断网站是否被抓取，但可以检测到可疑的抓取活动。例如，如果您的抓取工具没有像人类那样非理性地浏览网页，或者您连续多天同时访问该网站，则更容易检测和禁止您。同时，代理服务器允许您对一个或多个网站进行无限的并发会话。
- 增强了安全性。最后，通过隐藏设备的 IP 地址，代理服务器提供了额外的安全和匿名层。
使用代理是否合法？
当谈到网络抓取时，“它合法吗？” 是一个经常出现的问题。事实上，网络抓取的合法性是数据社区中一个备受争议的话题。
在最简单的形式中，使用代理和抓取公共数据本身并不违法。但是，该声明有很多细微差别——有几十个特定的非法网络抓取示例。
例如，如果您使用代理服务器来抓取受版权保护的数据，您仍然会遇到麻烦。也就是说，在开始您的网络抓取项目之前，您应该就您的具体情况寻求专业的法律建议。
解释了不同的代理类型
有多种代理类型可供选择，每一种都有其独特的优缺点。由于在线代理类型的信息量很大，因此可能很难为您的用例选择最佳选项。让我们来看看三种最常见的代理类型——住宅、数据中心和移动——以及它们的功能。
住宅代理
住宅代理使用来自实际家庭的物理设备的 IP。由于住宅 IP 是 Internet 提供商分配的真实 IP 地址，因此它们允许您轻松复制有机用户行为。隐藏在真实 IP 地址后面可以最大限度地降低被检测到、接收验证码或被禁止的风险。
住宅代理有子类型代理，它们被称为轮换代理。在抓取时，轮换代理的 IP 地址会定期更改，因此反机器人更难检测和禁止它们。
使用实际 IP 地址的住宅代理是他们最大的优势之一。另一方面，它们非常昂贵，因为它们很难获得。在某些情况下，住宅 IP 可能是一种过度杀伤力，因为您可以使用不同的代理类型获得相同的结果，而不会破坏银行。
数据中心代理
网络抓取的另一个常见解决方案是使用数据中心代理，它使用位于数据中心的 IP。
单个服务器可以托管多个数据中心代理，它们将具有相同的 IP 子网，例如：1.2.3.4、1.2.3.5 和 1.2.3.6。
换句话说，任何一批这些代理都会看起来很相似，从而增加了在网络抓取时被禁止的风险。但是，可以通过选择提供私有代理的值得信赖的代理服务提供商来防止这种情况发生。
从积极的方面来说，数据中心代理非常快，因此如果您想快速完成项目，它是一个不错的选择。此外，它们比住宅便宜得多，所以如果你有预算，它们就是要走的路。
移动代理
移动代理的原理类似于住宅代理——它们使用分配给移动网络运营商提供的私有移动设备的 IP 地址。移动 IP 通过连接到蜂窝网络的移动设备引导用户的请求。
正如您可能已经猜到的那样，移动 IPS 也很难获得，因此它们往往更昂贵。长话短说，当您需要专门抓取移动网络结果时，移动 IP 是最佳选择。
请记住，我们刚刚介绍的三种代理类型也可以根据其访问类型分为三类——您可以使用公共、半专用或专用服务器。
管理代理池：挑战和解决方案
为网络抓取选择正确类型的代理并找到信誉良好的提供商至关重要。然而，它并没有就此结束。为避免被禁止，您需要一个代理池和一个代理管理器工具。
如果您尝试使用单个第三方代理进行抓取，最终结果将类似于使用您自己的 IP 地址——被检测到的风险会增加，地理定位选项会缩小，等等。也就是说，您需要构建一个池并使用代理管理软件，将流量分配给大量代理。
代理池大小
让我们谈谈您的代理池的大小，也就是您的网络抓取项目所需的代理 IP 地址的数量。代理池大小受各种因素的影响，例如您选择的代理类型或您每小时将提交的请求数。
还应考虑目标网站的复杂程度——抓取采用反僵尸措施的大型网站将需要更大的代理池。最后，池的大小将取决于您的代理管理系统有多复杂，您是否设置了会话管理和代理轮换。
潜在挑战
现在让我们来看看您的代理管理软件可能遇到的最常见的困难及其解决方案。
- 错误。如果您的代理遇到技术问题——超时、禁止或错误——池应自动切换到不同的 IP 并重试请求。
- 禁止识别。在网页抓取时，您可能会遇到不同类型的技术困难，包括验证码、重定向和阻止。因此，您的代理解决方案应该能够识别遇到的问题——只有这样，您才能进行故障排除和纠正。
- 延迟随机化。应用节流和随机延迟将有助于隐藏网络抓取活动，降低被检测到的机会。
- 基于地理位置的定位。在您的代理池中，您应该拥有位于不同位置的 IP，以防您需要抓取受地理限制的数据。
- 用户代理管理。用户代理是一串文本，供 Web 服务器识别用户的设备、操作系统和浏览器。定期更换字符串——也称为练习字符串欺骗——将最大程度地降低被检测到的可能性。
- 会话控制。通过实施轮换会议，您将能够模仿有机行为，并再次降低禁令风险。
管理几个代理池很容易；但是，如果是成百上千个代理，它很快就会变得困难。通过使用代理管理器并结合上述策略，您将能够防止验证码、IP 禁令或其他技术问题，使网络爬取和抓取毫不费力。