Bright Data 是一家成立于 2014 年的以色列公司。它提供对各种代理服务器、多个数据收集 API、无代码网络爬虫甚至预先收集的数据集的访问权限。
Bright Data 可以安全地被视为优质提供商,这意味着其服务成本高于市场平均水平并且规模良好。这自然而然地偏向了需求量大的企业和客户。公平地说,该公司确实提供了一种随用随付的选项,不需要太多承诺。
作为通用提供商,Bright Data尝试服务于它认为可以接受的每个用例。该列表包括用于价格比较、搜索引擎优化和其他目的的多种形式的网络抓取——甚至运动鞋抢购也在用例上。但就代理提供商而言,Bright Data 被认为是非常严格的,并且会毫不犹豫地否认有问题的用途。
从技术角度来看,Bright Data 是一个强者。它的代理服务器充满了许多竞争对手无法提供的功能。它们也表现出色:在我们的测试中,住宅代理的成功率超过 99%,并且比许多替代方案快几倍。除了Oxylabs和Smartproxy之外,很少有供应商在性能或池大小方面能够接近。
工具是 Bright Data 的另一项优势:代理管理基础架构和数据收集工具都经过完善且功能强大。事实上,Bright Data 的产品给我们留下了深刻的印象,因此我们授予它最佳数据收集工具奖。
那么,Bright Data 是不是很简单?不必要。尽管它提供了一切,但该公司不可能对每个人或所有事物都是最好的。这就是更便宜或更专业的供应商找到机会插足的地方。在本次审查中,我们将尝试找出这些裂缝以及它们如何影响您的决定。
优点
- 伟大的基础设施
- 所有代理类型
- 许多功能
- 强大的代理控制
缺点
- 昂贵的
- 可能很难使用
主要特征
- 代理类型:数据中心(专用、共享)、住宅、ISP、移动
- 网络抓取工具:基于代理的 API、搜索引擎抓取 API、无代码数据收集器
- 地点:全球
- 受众:大中型企业
- 附加功能:API、浏览器扩展、代理管理器
- 支持:24/7,客户经理
- 付款方式:PayPal、信用卡、电汇、支付宝、Payoneer
- 试用:7天(企业),3天退款(个人)
Bright Data背景
Bright Data是一家以色列数据收集基础设施提供商,成立于 2014 年。它目前归一家名为 EMK Capital 的英国股权公司所有。
大多数老前辈记得 Bright Data 的另一个名字是Luminati。该公司于 2021 年初更名,引用了与该名称相关的负面含义。(公平地说,Luminati对一个著名的组织来说确实非常熟悉。)
Bright Data 是最早引入住宅代理的服务之一——从真人的计算机和电话中借用的 IP。在大多数竞争对手仍在销售数据中心 IP 的时候,这给了公司很大的优势,并使其成长为领先的代理提供商。尽管竞争日趋激烈,但 Bright Data 至今仍是一家,其客户中拥有顶尖大学和财富 500 强公司。
该提供商非常保护其技术。2022 年年中,它与三个主要竞争对手——GeoSurf、NetNut 和 Oxylabs——就代理轮换和住宅 IP 的专利提起诉讼。
Bright Data 还非常关心采购和使用代理的道德方面。它是最早公开谈论如何获得住宅 IP 的公司之一。更重要的是,它对审查客户和防止滥用有严格的程序。该公司甚至将其代理池减少了 10%,以切断不道德的合作伙伴。尽管如此,Bright Data 多年来一直存在争议,例如Hola VPN或盗版应用Mobdro。
在过去的几年里,Bright Data一直在扩大其服务范围。虽然代理仍然很重要,但它们现在必须与其他工具共享焦点。Bright Data 的最终目标是成为网络数据的首选来源,无论您是开发人员还是没有网络抓取经验的公司。
Bright Data代理服务器
数据中心 | 住宅 | 互联网服务提供商 | 移动的 |
✅
(旋转,共享专用) |
✅ | ✅
(轮换、共享、专用) |
✅ |
Bright Data 提供各种可用的代理网络。您将能够从共享和专用数据中心 IP、旋转住宅代理、ISP 代理和移动 IP 中进行选择。
这些代理类型如何交互?数据中心代理最适合访问宽松的目标。住宅代理更难被阻止,因此它们可以更好地处理受保护的目标或当您需要精确的位置覆盖时。ISP 代理类似于住宅 IP,但它们可以保持更长的不间断会话。而且移动代理更难识别,因此您应该将它们用于最具挑战性的网站。
Bright Data 提供了一个有趣的功能,称为代理瀑布,它会自动为任务选择最佳 IP 类型。我会在用户体验部分详细讨论它。
特征
数据中心 | 互联网服务提供商 | 住宅 | 移动的 | |
池大小 | 1,600,000+ | 600,000+ | 72,000,000+ | 7,000,000+ |
类型 | 共享、专注 | 共享 | ||
地点 | ~100 | ~50 | 全球的 | |
定位 | 国家,州,城市 | 国家、州、城市、ASN | ||
回转 | 可选,可使用代理管理器进行自定义 | 每个请求,只要可用,都可以使用代理管理器进行自定义 | ||
一体化 | 网关地址/IP列表 | 网关地址 | ||
并发 | 无限 | |||
协议 | HTTP(S)、SOCKS5 | |||
授权 | 凭证、IP 白名单 | |||
子用户 | 最多 50 个(更多付费) | |||
其它功能 | 多个域,无限带宽,100% 正常运行时间 | 独家IP |
代理池是随时变动的,就像一个巨大的网吧,不是所有电脑都始终保持开机,意思是网络(代理proxy)的链接和数量随时都是变动的.
如果我必须用一个词来描述 Bright Data 的代理网络,那这个词就会被堆叠起来。这适用于所有四种类型。
首先,可以选择在可能的情况下获取共享、专用或轮换 IP,即在数据中心或 ISP 代理下。例如,您可以获得 10 个数据中心 IP 并与其他几个人共享或支付更多费用并单独使用它们;或者,您可以购买对 20,000 个地址池的访问权并按流量付费。有很多种类。甚至住宅和移动服务也提供专有 IP 选项——3 到 200 个地址,其他人不会将其用于该特定域。
其次,Bright Data 支持细粒度的定位选项。每种代理类型都带有至少 50 个国家/地区。您可以针对这些国家/地区,或者更深入地选择其中的城市。住宅和移动服务也允许将选择范围缩小到特定的 ASN。此功能在代理提供商中仍然很少见。
第三,您可以获得灵活的轮换选项,以及一次建立无限连接请求的能力。默认情况下它们不是那么灵活:您可以选择轮换每个请求,或者尽可能长时间地保留 IP。但是,Bright Data 的代理管理器可让您根据自己的喜好微调设置。
总体而言,无论您获得哪种代理类型,它都可能包含您的用例可能需要的所有内容。
价钱
非常昂贵,特别是如果您选择启用高级功能。
数据中心 | 互联网服务提供商 | 住宅 | 移动的 | |
模型 | 随用随付,订阅 | |||
格式 | 流量/流量+IP | 交通 | ||
追加销售 | 无限流量、域名、IP刷新 | 城市、ASN 定位、独家 IP | ||
审判 | 企业7天试用,3天退款 | |||
起始价 | 0.8 美元/IP + 0.11/GB | 15 美元/GB + 0.5 美元/IP | 15 美元/GB | 40 美元/GB |
与功能一样,Bright Data 的定价也非常灵活。您可以随用随付,也可以每月投入一定金额以获得更好的利率。
从理论上讲,这使得所有类型的用户都可以轻松访问该服务,因为您只需 15 美元即可开始使用。然而,在实践中,现收现付计划的单位成本非常高,您可能希望投资于固定计划。最小的 500 美元计划成本降低 15%,而且您可以将初始价格降低多达 35%——如果您选择年度合同,甚至更多。
但即便如此,您也会看到一些市场上最高的价格。例如,以下是Bright Data 的住宅代理与其中档和高端竞争对手的比较。此表涵盖了 Bright Data 的所有计划,而无需进入自定义企业领域:
提供者 | 5GB | 50 GB | 100 GB | 250 GB |
Bright Data | 15.00 美元/GB | 12.50 美元/GB | 11.25 美元/GB | 10.50 美元/GB |
GeoSurf | 12 美元/GB | 9 美元/GB | 8.00 美元/GB | |
NetNut | 18.00 美元/GB | 12.00 美元/GB | 8 美元/GB | 6.50 美元/GB |
Oxylabs | 12.00 美元/GB | 9 美元/GB | 9 美元/GB | |
Smartproxy | 15.00 美元/GB | 8.00 美元/GB | 7 美元/GB | 6 美元/GB |
Soax | 9.00 美元/GB | 7 美元/GB |
当您需要优质代理但流量很少时,即付即用的一个例外情况。在这种情况下,其他高级提供商根本没有任何计划来处理 1 或 3 GB 的数据。我可以看到 Bright Data 与许多以高价转售的运动鞋代理店竞争,或者与要运行小项目的网络爬虫竞争。
也就是说,Bright Data 网站上的简化定价表并不能说明全部情况。您可以获得很多小额追加销售,这既可以改善您的体验,也可以增加成本。
例如,默认情况下,专用数据中心代理的流量有限,并且只允许定位一个网站。如果我们启用所有域和无限定位(就像大多数提供商所做的那样),我们将不得不为 10 个代理支付近 4 美元/IP – 或者几乎是市场价格的两倍。同样,为住宅代理启用城市或 ASN 定位选项实际上会使价格翻倍。
最近brightdata调整了价格!让价格更加的实惠,建议你到brightdata官网获取最新的价格!
DailiServers性能测试
出色的住宅和移动代理,不错的的数据中心性能。
我们在今年的代理市场研究中对 Bright Data 的专用数据中心、住宅和移动代理进行了基准测试。我们的一些测试涉及在几周内发出数百万个连接请求,因此我们可以对代理网络做出非常自信的假设,我们测试服务器用的意大利的16核的i7, 128G内存的甲方服务器。
专用数据中心代理
让我们从专用数据中心代理开始。我们在美国测试了 100 个 IP,针对亚马逊和 Craigslist 等七个流行的抓取目标。总的来说,我们为每个目标发出了约 1,500 个连接请求。
平均 成功率:86.48% | 平均 响应时间:1.05 秒 | 下载速度:38.67 Mbps |
数据中心 IP的总体结果不错,但 Bright Data 未能脱颖而出。大约只有9.0%的google请求, 12.2% 的亚马逊请求和 12.5% 的 Craigslist 请求被阻止。考虑到我们每个 IP 只发出 30 个请求,这意味着当我们开始时,很大一部分地址已经被阻止。
平均响应时间和下载速度只是平均水平。您可以在下面找到详细信息。
住宅代理
我们的住宅代理基准更加全面。我们运行了 100 万个连接请求来测试未过滤的池,然后为几个受欢迎的位置中的每一个运行了 300,000 个。
平均 成功率:99.86%平均 响应时间:1.38 秒 | 实际池大小:非常大住宅 IP 百分比:~98.5% |
事实证明,Bright Data 的住宅代理表现出色。在我们测试的所有提供商中,我们获得了最独特的 IP ;代理池是平衡的,包括适当的住宅地址。为您提供一些背景信息,Bright Data 在美国为我们提供的 IP 数量是 PacketStream 或 IPRoyal 的 20 倍——这是一个巨大的优势。
此外,基础设施几乎没有发生故障,并且代理服务器连接得非常快。Bright Data在欧洲尤其快,其平均响应时间徘徊在 0.72 秒左右。此级别的唯一其他服务是 Oxylabs 和 Smartproxy, 主要的原因是这两家都是立陶宛的公式,他们的gateway服务器,应该就是在欧洲.
移动代理
我们的移动代理基准与住宅代理评估非常相似。唯一的区别是我们缩小了范围以考虑较小的代理池。
平均 成功率:98.52%
平均 响应时间:2.73 秒 |
实际池大小:中
移动 IP 百分比:超过 97% |
Bright Data在这里也表现出色。基础架构处理了大部分请求,响应时间比Oxylabs和smartproxy这些商家都快,比 SOAX(中端代理提供商)快两倍。
唯一让我犹豫的地方是IP代理池的大小。尽管广告代理的代理数量是 SOAX 的两倍,但 Bright Data 实际上在大多数位置拥有更少的唯一 IP。例如,我们在美国只收到了 6,000+ 多个代理,而 SOAX 的 13,000 个。这让我质疑供应商的营销主张,不过代理池的的IP是动态的,这个数据可能会有不小的偏差,你们作为参考就好了.
网页抓取工具
Universal scraper | SERP scraper | E-commerce scraper | No-code scraper |
✅ | ✅ | ✅ | ✅ |
Bright Data 提供了三种数据收集工具:Web Unlocker、Search Engine Crawler和Data Collector。第一个是具有集成网络抓取功能的代理网络,以确保 100% 成功交付。第二个是用于从搜索引擎收集结构化数据的 API(SERP API)。第三个是完整的云托管网络爬虫,无需开发人员资源(或开发知识)即可使用。
特征
网络解锁器 | 搜索引擎收集器 | 数据收集器 | |
类型 | 基于代理的 API | 基于代理的 API | 无代码网页爬虫 |
目标 | 普遍的 | 搜索引擎 | 普遍的 |
数据解析 | – | 谷歌、必应、Yandex、DuckDuckGo | 超过 100 个网站 |
地点 | 具有国家和城市定位的全球性 | 基于模板 | |
一体化 | 代理人 | 代理,API | 通过仪表板、API 的模板 |
输出格式 | HTML | HTML、JSON | JSON、CSV、XLSX |
数据交付 | 即时的 | 实时、批量 | 实时、批处理、计划 |
Bright Data 的网络抓取工具的功能取决于工具。例如,Web Unlocker 在三者中的广度最大但深度最小。我的意思是,它的目的是从任何网站返回数据;虽然它确实应用了相当复杂的技术来呈现 JavaScript、克服验证码和模仿浏览器指纹,但最终你仍然可以获得 HTML 代码。顾名思义,该工具确实可以解锁您需要的网站。
另一方面,搜索引擎收集器不仅可以访问搜索引擎,还可以构建数据以供进一步使用。支持网络搜索的所有元素以及 Google 购物和酒店等其他一些属性。此外,您可以通过更多方式集成 Collector:例如,作为带参数的 API。这允许通过 webhook 发送批处理请求和收集数据。
数据收集器更进一步。它完全托管在 Bright Data 的平台上,这意味着您不需要任何基础设施来收集数据。此外,它不需要编码经验。相反,您可以从预制模板中进行选择,勾选您需要的数据类型,然后选择您希望接收它的方式(例如,每周二通过电子邮件发送的 Excel 文件)。
如果模板太基本——或者你不需要——你可以申请一个新的或者开发你自己的。Bright Data 提供云开发环境 (IDE) 来编写或调整代码。技术用户还可以通过 API 发起收集和检索他们抓取的数据。
价钱
网络解锁器 | 搜索引擎收集器 | 数据收集器 | |
模型 | 随用随付,订阅 | ||
格式 | 成功的请求 | ||
起始价 | $3/1,000 请求 | $3/1,000 请求 | 5/1,000 美元的页面加载 |
镜像其代理网络,Bright Data 允许您订阅或随用随付。自然,第一种选择的单位成本要低得多,但您必须每月至少投入 300 美元。以下是四个定价计划:
实验(300 美元) | 开胃菜(500 美元) | 生产(1,000 美元) | 加(3,000 美元) | |
网络解锁器和搜索引擎收集器 | $2.73/1k 请求 | $2.55/1k 请求 | $2.40/1k 请求 | $2.10/1k 请求 |
Bright Data 并未真正宣传其 Data Collector 计划。它只是说他们“从 500 美元开始”,仅提供现收现付选项的具体数字。
激活条件,复制本链接,给你的账户经理, 一激活Offer!
性能基准
我们为 2024年代理市场研究测试了 Bright Data 的搜索引擎收集器。范围有限(向 Google 发出 30,000 个连接请求),但它应该让我们了解该工具的性能如何。
成功率: 100% | 平均 响应时间: 3.81 秒 |
超时阈值为 200秒,搜索引擎爬虫成功完成请求没有问题。事实上,它是我们尝试过的 API 中最快的,以两倍的优势击败了最接近的竞争对手。输出被巧妙地解析并包含网络搜索的所有功能(尽管有时它会错过一些付费结果)。
如何使用Bright Data
一个复杂但丰富的代理管理工具生态系统。
KYC 程序
众所周知,Bright Data对合规性非常严格,尤其是在住宅代理网络方面。您可能会被要求输入您的信用卡信息并在平台上添加一些资金。此外,您可能需要通过提供身份证明文件甚至参加视频通话来验证您的身份。
Bright Data最近简化了流程:它现在允许客户通过住宅代理访问 200 多个网站,而无需进行完整的 KYC。然而,某种形式的身份证明(很可能是以交易的形式)仍然存在。
仪表板
Bright Data 的仪表板充满了选项。虽然每个角落都有说明,但第一次曝光可能会有点不知所措。好消息是,与一年前相比,它已经被清理成一个多层次的层次结构,让事情变得不那么混乱了。
仪表板支持完整的自助服务:您将能够执行所有操作,从向您的帐户充值、设置和授权代理到查看使用统计信息和联系支持人员。
自然,大部分不动产被分配给管理 Bright Data 的工具。这不仅包括代理网络,还包括支持服务,例如浏览器扩展或代理管理器。仪表板还允许您使用 Bright Data 的收集器工具的模板直接收集数据。
安全是另一个优先事项。Bright Data 不仅显示涉及登录和区域的事件列表,甚至允许设置 2FA 身份验证以保护帐户。您可以获得身份不明登录的自动警报。
最后一个值得一提的特性是网络状态。它实时显示每项服务的正常运行时间,如果出现问题,可以通过电子邮件向您发送通知。
仪表板有六种语言版本,包括俄语、西班牙语、葡萄牙语和中文。
使用情况跟踪
Bright Data 在统计方面投入了大量精力。可视化图表支持非常精细的过滤,包括时间段和指标。对于所有或单独的产品,您可以在一小时到两年之间的任何时间查看您的使用情况。这些指标不仅包括带宽使用,还包括请求、使用的 IP、错误率等。
我真的很喜欢该图表可以可视化多种产品的使用情况。其他提供商通常为不同类型的代理提供单独的选项卡——更不用说网络爬虫了——这可能很不方便。
我的一个烦恼是,您不能真正从日历中选择特定的日子,而是将当前时间作为参考点。也就是说,Bright Data 允许您插入其代理管理器,从而实现更精细的跟踪。
代理设置
要设置代理,您首先必须创建一个名为 Zones 的东西。区域是计划和子用户的组合。要创建一个,您需要选择代理类型、定价计划并添加其他权限(如果有)。配置向导将根据您的选择向您显示估计成本。最后一步是命名区域并确认其创建。
例如,假设我想为一个小项目轮换住宅代理。我会选择住宅区和现收现付计划。在Permissions下,国家定位对我来说就足够了;否则,我可以启用州、城市和 ASN 作为附加功能。然后,我会选择共享 IP,因为我不需要它们来独占使用。最后,我会按Add Zone。
为了简化代理网络之间的选择,Bright Data 提供了一个特殊的建议框。您可以在其中输入您的域,该框将推荐该网站的最佳代理类型。我的轶事证据表明,您最有可能被引导使用 Web Unlocker。
创建区域后,您需要集成代理。您将能够使用通常的主机名:端口格式来执行此操作。但是 Bright Data 的仪表板还提供了所有主要编程语言的动态代码示例,包括 Python、PHP 和 node.JS。一些示例具有高级切换功能,例如添加用户代理或选择解析 DNS 的位置。
对于某些人来说,这已经足够了。但最有可能的是,您需要使用 Bright Data 的代理管理器。
代理管理器
代理管理器是用于管理 Bright Data 代理网络的开源工具。它适用于所有主要操作系统:Windows、macOS 和 Linux 发行版。为代理安装额外的软件可能听起来很麻烦,但这是值得的。
简而言之,代理管理器使您使用代理的工作的各个方面都变得更好。它用详细的实时日志代替了(仍然有限的)使用统计;它可以更好地管理旋转设置(仪表板在这方面非常棒);它为需要它的人启用了 SOCKS5。这些只是基础知识。
一个有趣的功能是代理瀑布。基本上,每当您向网站发出请求时,它首先通过效率最低(也是最便宜)的代理网络。如果失败,系统会再次尝试使用另一种代理类型,直到您成功。虽然这在理论上听起来不错,但我可以看到一些警告:首先,您需要同时订阅多个 IP 网络;其次,这种方法可能更慢,因此使用瀑布来衡量域的容差水平可能是有意义的。
代理管理器提供的功能范围确实很大。他们可能会帮助你,或者只是让你感到困惑,但他们就在那里。我只是不确定我对你需要这个工具来调整旋转时间这样简单的事情的感觉。
API
Bright Data 提供了一个 API,用于以编程方式管理代理服务器。这是我在这个行业中见过的最全面、最精细的 API ,你可能需要获得一个新学位才能充分利用它。
浏览器扩展
另一个工具是Google Chrome 的浏览器扩展。它非常可定制,可让您根据区域或位置更改 IP 地址。您可以设置粘性会话,甚至修改请求标头。Bright Data 将该扩展程序宣传为手动抓取的工具,但我认为它更适合查看内容而不是提取内容。
文档
有了如此复杂的服务,Bright Data 需要有适当的文档来理解它。它确实如此。您将找到文本和视频格式的答案和说明。
也许您的第一个资源应该是Bright Data 的常见问题解答页面。它大到足以让一些速度较慢的计算机崩溃并回答有关使用该服务的所有基本问题。然后,还有网络研讨会——它们涵盖了更窄的问题,例如避免 reCAPTCHA 和浏览器自动化。还有一个基于视频的学习中心,尽管相比之下它看起来已经过时并且被遗弃了。
亮数据的客户支持
如果您有任何机会找不到您的答案——或者只是迷失了寻找答案——这里有动手支持。
Bright Data 在仪表板上提供票务系统。承诺计划的客户还会获得一名客户经理。否则,您可以使用 WhatsApp、Telegram 甚至电话联系提供商。
我们发现回复时间很快: 我们全天发送多封电子邮件,平均 14 分钟内回复。与客户经理的沟通甚至更快,但他们并非全天候工作。
结论
Bright Data 自称是世界第一的网络数据平台,测试它让我有充分的理由相信这个说法。
他们的代理网络非常出色:快速、稳定且庞大。它们具有丰富的功能,Bright Data 确保提供充分利用它们的工具。以磅为单位,很少有供应商可以比较。
然而,特权是有代价的。有些人可能会因为 Bright Data 的技术复杂程度而感到厌烦;其他人可能会发现其合规过程过于侵入;但最有可能的是,主要的亮点——如果有的话——将是价格。很难找到更昂贵的提供商,特别是如果您需要 Bright Data 认为优质的功能(例如专用代理的无限带宽)。
但是,如果您认为价格不是问题,Bright Data 确实是您可以获得的最佳选择之一。
Bright Data 的替代品
- 如果您需要精确的位置但又不想支付 Bright Data 的保费,SOAX可能是一个不错的选择。它支持开箱即用的地区、城市和 ASN 定位。
- 如果您想在轮换代理上节省一些钱,Smartproxy 是一个不错的选择。它提供多种 IP 类型、更优惠的价格,并且更易于使用以换取更少的功能。
- Oxylabs是Bright Data 在高端市场中最接近的竞争对手。它提供了所有主要的代理类型和多种用于网络抓取的 API,以及个性化的客户服务。