如何测试代理

许多执行网页抓取操作的企业可能会发现自己想知道如何检查他们的代理是否正确有效地运行。虽然测试代理的最有效方法是使用您自己的脚本,但即使缺乏技术经验,也有其他方法可能有用。

本文将阐明如何测试代理、应考虑哪些参数以及可能提供帮助的工具,包括简单和高级工具。

你需要什么来测试代理?

首先可以做的最重要的事情是检查您的代理是否实际运行。通常代理是在浏览器中设置的,您还可以在其中跟踪它们的活动。在我们之前的一篇文章中,我们已经解释了如何在Chrome中使用代理设置。

另一种查看代理是否正在运行的方法是通过代理管理器。如果您使用多个代理并希望在它们之间轻松切换,代理管理器是完美的选择。易于使用的代理管理器之一是Oxylabs 代理管理器。 

知识产权检查器

您还可以使用在线 IP 检查器来查看您的代理是否正常工作。其中许多都可以在互联网上访问,但为了演示它们的一般逻辑是如何工作的,我们可以参考whatismyproxy.com。您必须访问该网站,它会立即显示您的 IP 地址和位置,以及您正在使用的软件的 HTTP 标头。

尽管某些 IP 检查器可以显示您的 IP 地址以及您是否通过代理进行连接,但它们的功能非常有限。要进行更详细的分析,需要更高级的工具。

知识产权数据库

一些网站使用第三方 IP 位置数据库,例如IP2LocationMaxMind来了解什么样的用户访问他们的网站,以及他们是否是真实的。要弄清楚这一点,必须检查 IP 状态或使用类型。IP 位置数据库有自己的方法来确定 IP 地址是属于数据中心还是住宅。

检查代理状态的最简单方法是访问ip2location.com。该 IP 数据库被广泛认为是最准确的数据库之一,可让您检查 IP 地址的详细信息,包括可能的使用类型。

假设您尝试使用的住宅代理被此数据库识别为数据中心。在这种情况下,您的许多目标网站很可能会看到相同的信息,并且可能会更快地阻止此代理和实际住宅 IP 地址。

IP 数据库确定代理的使用类型

FOGLDN 代理测试仪

要评估代理的速度,可以使用诸如 FOGLDN Proxy Tester 之类的工具。它支持直接 ping 时间到全球任何网站。由于它显示了连接所需的时间,因此您可以使用它来监控代理的延迟。使用此代理测试器,您可以测试任何代理类型,包括轮换代理。

FOGLDN Proxy Tester 有其缺点。例如,如果测试运行失败,您将无法知道确切的原因。它不会透露代理的位置、使用类型和匿名级别。最后,您无法控制发出的请求数量以及它们的频率。

该代理测试仪易于使用。您可以通过完成以下步骤使用此工具测试您的代理:

  1. 下载工具
  2. 添加要测试的代理列表。如果您使用的是轮换网关地址,则可以多次添加
  3. 输入要测试的 URL
  4. 选择“测试代理”

Hidemy.name

一个更高级的免费代理检查器是hidemy.name。它可以检测代理类型、精确位置、速度和匿名级别。Hidemy.name 代理检查器提供从 Internet 上的众多网站(包括私人数据库)自动收集的代理列表。代理可以按其协议类型分类,例如 HTTP、HTTPS 和 SOCKS。 

hidemy.name 可以确定的另一个功能是匿名级别,即您的实际 IP 地址是否仍然隐藏,以及目标服务器是否有可能怀疑您在代理服务器后面。此代理检查器在其代理列表中提供的匿名类别包括:

  • 没有匿名。您访问的服务器知道您的真实 IP,并且您正在通过代理进行连接。
  • 低匿名性。远程服务器知道您使用代理。但是,您的实际 IP 地址将保持隐藏状态。
  • 平均匿名。目标服务器可能会被欺骗以为它知道您的 IP 地址,但显示的 IP 地址并不准确。服务器知道您使用代理。
  • 高匿名性。您访问的服务器既不会检测到您的实际 IP 地址,也不会检测到是否涉及代理。

更可能引起关注的另一件事是您的代理是否被特定网站阻止。判断代理是否被阻止的唯一方法是直接在目标网站上测试代理。您的 IP 可能在某些时候被标记为可疑,但它可能需要在任何阻止之前发出许多请求。

定制的软件

检查代理的另一种方法是编写自己的脚本或软件。这样,您可以更好地控制如何检查您的代理。然而,这需要时间和精力。基本方法是编写一个抓取器,它接受一个列表的代理,并使用它从一个简单的、最好是静态的网站中提取数据,该网站返回的信息最少。

第一步是了解代理是否响应。您需要通过在 HTML 输出中查找特定字符串或通过检查内容大小(如果内容是静态的)来检查正文的内容。您可以查看响应标头中的状态代码。HTTP 状态代码 200 表明代理工作正常并且您能够获取内容,但检查实际输出总是更可靠。

每个带有代理的请求都应该设置一个合理的超时时间。数据中心代理可能需要 10 秒,住宅代理可能需要 30 秒。如果在这段时间内没有内容返回,您可以认为代理不可用。记录完成每个请求所花费的时间也很有意义。有些请求可能不会超时,但对于现实生活中的用例来说,它们仍然可能太慢。所有这些数据都应写入数据库或打印在屏幕上以供分析。

编写自己的脚本是测试代理最可靠的方法之一

结论

您可以使用多种工具来测试代理。IP 检查器可以在线访问,并且可以显示您的软件的 IP 地址、位置和 HTTP 标头。IP 数据库,例如 IP2Location 或 MaxMind,可能有助于检查您的代理的 IP 状态及其使用类型。FOGLDN Proxy Tester 是一款易于使用的测试器,适用于多种代理类型,有助于监控代理的延迟。hidemy.name 代理检查器可以确定匿名级别。

尽管存在许多代理检查器和测试器,但测试代理的最有效和最可靠的方法是编写能够向特定网站发送请求并获得响应的脚本,以及计算完成请求所花费的时间。

赞(0) 打赏
未经允许不得转载:在线代理 » 如何测试代理

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址