Oxylabs
Oxylabs是一家网络爬虫服务公司,能够大规模检索公共网络数据,并配有专门用于突破区域限制的工具。

功能特性
从谷歌、亚马逊和任何其他网站检索数据
设置地理位置
利用浏览器渲染
解析数据
指定用户代理类型
使用文本分割工具处理内容
必选参数
连接凭证:Oxylabs API凭证
查询:搜索查询或网址
来源:可选来源之一:
通用 - 抓取任何网站
谷歌搜索 - 抓取谷歌搜索结果
亚马逊产品 - 抓取亚马逊产品信息
Amazon Search - 抓取亚马逊搜索结果
可选参数
地理位置:设置代理的地理位置以检索数据。有关更多详细信息,请参阅文档。
Render:当设置为true时,启用JavaScript渲染。
解析:当设置为true时,只要存在针对所提交URL页面类型的专用解析器,就会返回解析后的数据。
用户代理类型:设备类型和浏览器。
输出
Document:包含元数据和页面内容的文档对象数组
文本:从文档的pageContent中拼接而成的字符串
文档结构
每份文件包含:
pageContent:提取的页面内容
Last updated