Oxylabs

Oxylabs是一家网络爬虫服务公司,能够大规模检索公共网络数据,并配有专门用于突破区域限制的工具。

Oxylabs文档加载器节点

功能特性

  • 从谷歌、亚马逊和任何其他网站检索数据

  • 设置地理位置

  • 利用浏览器渲染

  • 解析数据

  • 指定用户代理类型

  • 使用文本分割工具处理内容

必选参数

  • 连接凭证:Oxylabs API凭证

  • 查询:搜索查询或网址

  • 来源:可选来源之一:

    • 通用 - 抓取任何网站

    • 谷歌搜索 - 抓取谷歌搜索结果

    • 亚马逊产品 - 抓取亚马逊产品信息

    • Amazon Search - 抓取亚马逊搜索结果

可选参数

  • 地理位置:设置代理的地理位置以检索数据。有关更多详细信息,请参阅文档

  • Render:当设置为true时,启用JavaScript渲染。

  • 解析:当设置为true时,只要存在针对所提交URL页面类型的专用解析器,就会返回解析后的数据。

  • 用户代理类型:设备类型和浏览器。

输出

  • Document:包含元数据和页面内容的文档对象数组

  • 文本:从文档的pageContent中拼接而成的字符串

文档结构

每份文件包含:

  • pageContent:提取的页面内容

Last updated