SearchApi For Web Search

用于网页搜索的SearchApi

Web搜索的SearchApi加载器通过SearchApi服务提供对来自多个搜索引擎的实时搜索结果的访问。此加载器使您能够获取、处理搜索结果,并将其结构化为可在您的工作流中使用的文档。

功能

  • 来自多个搜索引擎的实时搜索结果

  • 可定制的搜索参数

  • 文本分割功能

  • 元数据灵活处理

  • 多种输出格式

  • API密钥认证

输入

必选参数

  • 连接凭证:SearchApi API密钥凭证

  • 以下至少一项:

    • 查询:搜索查询字符串

    • 自定义参数:包含搜索参数的JSON对象

可选参数

  • 查询:要执行的搜索查询(如果不使用自定义参数)

  • 自定义参数:包含额外搜索参数的JSON对象

    • 支持SearchApi文档中的所有参数

    • 可以覆盖默认设置

    • 允许进行针对特定引擎的配置

  • 文本分割器:用于处理提取内容的文本分割器

  • 附加元数据:一个JSON对象,其中包含要添加到文档中的附加元数据

  • 忽略元数据键:以逗号分隔的需排除的元数据键列表

    • 格式:key1, key2, key3.nestedKey1

    • 使用*来移除所有默认元数据

输出

  • Document:文档对象数组,包含:

    • metadata: 搜索结果元数据

    • pageContent:搜索结果内容

  • 文本:所有搜索结果内容的拼接字符串

文档结构

每份文件包含:

  • pageContent:搜索结果中的主要内容

  • 元数据

    • 默认搜索结果元数据

    • 自定义元数据(如已指定)

    • 已过滤元数据(基于省略的键)

元数据处理

自定义元数据的两种方式:

  1. 附加元数据

    • 通过JSON添加新的元数据字段

    • 与现有元数据合并

    • 有助于添加自定义跟踪或分类

  2. 省略元数据键

    • 移除不需要的元数据字段

    • 以逗号分隔的需排除的键列表

    • 支持嵌套键移除

    • 使用*来移除所有默认元数据

使用提示

  • 提供具体的搜索查询以获得更好的结果

  • 使用自定义参数进行高级搜索配置

  • 对于大型搜索结果,考虑使用文本拆分工具

  • 管理元数据以保留相关信息

  • 通过适当的查询间隔来处理速率限制

注意事项

  • 需要SearchApi API密钥

  • 遵守API速率限制

  • 支持多个搜索引擎

  • 实时搜索结果

  • 内存高效处理

  • API请求的错误处理

Last updated