游乐游手机版
首页/编程语言/文章详情

Python Selenium搭建免费Web搜索API服务方法

时间：2026-06-19 06:43
基于Selenium与Flask搭建免费Web搜索API，利用无头浏览器模拟用户访问Bing，绕过官方API收费与限制。该服务使AI智能体能实时获取网络信息，适用于个人开发者及小型项目。

一、引言：为什么我们需要这个工具？

人工智能智能体发展到今天，一个非常现实的需求是——让它们能够实时联网进行思考与推理。想象一下，你的AI助手不仅能调用训练数据中的旧知识，还能即时抓取最新新闻、股价、科研成果——这就好比给盲人装上了一双洞察世界的眼睛。

python利用Selenium搭建免费Web搜索API服务的方法

然而现实往往不如预期。主流的搜索API服务（例如Google Search API、Bing Search API）要么需要付费，要么注册流程复杂且有严格的调用次数限制。对于个人开发者、学生或小型项目而言，这些门槛常常令人望而却步。

本文的目标是：借助 Selenium（一款浏览器自动化工具）搭建一个完全免费的Web搜索API服务，让你的AI智能体能够随时获取实时网络信息。内容全部为实战干货，可直接上手操作。

二、核心思路：模拟人类行为，获取网页数据

解决方案其实并不复杂：既然AI无法直接调用搜索API，那就让它“像人类一样使用浏览器”进行搜索。

流程如下：

  1. 使用Selenium启动一个“隐身”的浏览器（无头模式）。
  2. 直接访问Bing的Copilot搜索页面。
  3. 从页面中提取并整理搜索结果。
  4. 通过一个简单的Web API将结果返回给调用方。

简而言之，就是绕过官方API的限制，直接与搜索引擎的公开界面交互。这种方法可称为“曲线救国”，但非常实用有效。

三、分步实现

1、搭建搜索服务端（server.py）

服务端的核心是一个Flask Web应用，负责接收搜索请求，利用Selenium执行搜索，然后返回结果。下面是完整代码，可直接复用。

import datetime
from tqdm import tqdm
import os
import time
import json
import re
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import urllib.parse
from flask import Flask, jsonify, request
from flask_cors import CORS
import traceback

app = Flask(__name__)
CORS(app)  # 允许跨域请求

# 设置Chrome选项
chrome_options = Options()
chrome_options.add_argument('--headless')  # 无头模式，可选
chrome_options.add_argument('--disable-gpu')  # 禁用GPU加速
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--enable-features=AllowSoftwareGLFallbackDueToCrashes,AllowSwiftShaderFallback')
chrome_options.add_argument('--enable-unsafe-swiftshader')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
chrome_options.add_argument('--disable-extensions')  # 禁用扩展
chrome_options.add_argument('--disable-infobars')  # 禁用信息栏
prefs = {
    'profile.managed_default_content_settings.images': 2,  # 2 表示禁止加载图片
}
chrome_options.add_experimental_option('prefs', prefs)

def get_result(wait,driver):    
    combined_texts=[]
    combined_text=""
    # Bing的搜索结果放在iframe中，需要切换进去
    driver.switch_to.default_content()
    iframes = driver.find_elements(By.TAG_NAME, "iframe")
    try:
        for i,iframe in enumerate(iframes):
            src=iframe.get_attribute('src')
            if src.startswith("https://www.bing.com/search"):
                driver.switch_to.frame(iframe)
                wait.until(EC.presence_of_all_elements_located((By.XPATH, "//div[contains(@class, 'answer_container')]")))
                answer_elements = driver.find_elements(By.XPATH, "//div[contains(@class, 'answer_container')]")
                if answer_elements:
                    for element in answer_elements:
                        p_elements = element.find_elements(By.TAG_NAME, "p")                    
                        if p_elements:
                            p_texts = [p.text for p in p_elements if p.text.strip()]
                            combined_text = 'n'.join(p_texts)
                            combined_texts.append(combined_text)
                combined_text="n".join(combined_texts).replace("查看所有链接","")
    except:
        pass
    return combined_text

def search_impl(key_world = "介绍一下中国的首都"):
    driver = webdriver.Chrome(options=chrome_options)    
    wait = WebDriverWait(driver,5)
    key_world_url_encoded = urllib.parse.quote(key_world)
    url = f"https://www.bing.com/copilotsearch?q={key_world_url_encoded}"
    t0=time.time()
    driver.delete_all_cookies()
    driver.get(url)
    for i in range(30):
        combined_text = get_result(wait,driver)
        print(len(combined_text))
        if len(combined_text)>4:
            break
        time.sleep(1)
    t1=time.time()
    output_data = {
        "success":True,
        "message":combined_text,
        "query": key_world,
        "duration": t1-t0,
        "url": driver.current_url,
        "page_title": driver.title
    }
    driver.quit()
    return output_data

@app.route("/search", methods=["POST"])
def search():
    try:
        data = request.get_json()
        if not data:
            return jsonify({"success": False, "message": "params invalid"}), 400
        key_world = data.get("query") 
        body=search_impl(key_world)
        return jsonify(body), 200
    except Exception as e:
        traceback.print_exc()
        return jsonify({"success": False, "message": f"服务器内部错误: {str(e)}"}), 500

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000, debug=True)

为什么要采用无头模式？

  • 服务器通常没有图形界面，无头模式恰好符合部署环境。
  • 能减少资源消耗，运行更为轻量高效。
  • 避免浏览器窗口干扰其他进程的运行。

为什么需要引入等待机制？

  • 网络速度与服务器响应时间存在不确定性，不能刚加载就立即抓取。
  • 页面元素需要一定时间才能完全加载展现。
  • 若未等待内容加载就提取，极大概率会返回空结果。

2、创建客户端（client.py）

客户端是一个简单的Python脚本，用于测试搜索服务是否正常工作。

import requests
import json

def send_search_request(query, timeout=30):
    """
    发送搜索请求
    
    Args:
        query: 查询字符串
        timeout: 超时时间（秒）
    
    Returns:
        响应结果或错误信息
    """
    url = "https://localhost:5000/search"
    
    try:
        response = requests.post(
            url,
            json={"query": query},
            headers={"Content-Type": "application/json"},
            timeout=timeout
        )
        response.raise_for_status()  # 如果状态码不是200，抛出异常
        # 尝试解析JSON响应
        try:
            return response.json()
        except json.JSONDecodeError:
            return {"text": response.text, "status_code": response.status_code}
            
    except requests.exceptions.Timeout:
        return {"error": "请求超时"}
    except requests.exceptions.ConnectionError:
        return {"error": "连接失败，请检查服务是否启动"}
    except requests.exceptions.RequestException as e:
        return {"error": f"请求异常: {str(e)}"}

# 使用示例
if __name__ == "__main__":
    result = send_search_request("获取最新的AI咨询")
    print(json.dumps(result, indent=2, ensure_ascii=False))

四、如何运行？

1. 启动服务端

打开终端，执行以下命令：

python server.py

正常情况下你会看到类似下方的输出信息：

 * Serving Flask app 'server'
 * Debug mode: on
 * Running on all addresses (0.0.0.0)
 * Running on https://127.0.0.1:5000
 * Running on https://[你的IP地址]:5000

2. 测试客户端

在另一个终端中运行：

python client.py

输出示例（实际结果会根据搜索内容的不同而有所不同）：

{
  "duration": 4.231590747833252,
  "message": "。GPT Image 1.5 在图像生成中实现详细特征保留与光线精准渲染n。GPTnImagen1.5n在图像生成中实现详细特征保留与光线精准渲染n。nAnthropic Claude系列：发布Claude Opus 4.6与Claude Cowork，支持百万token上下文、代码编译及零日漏洞自发现能力nAnthropicnClaude系列n：发布ClaudenOpusn4.6与ClaudenCowork，支持百万token上下文、代码编译及零日漏洞自发现能力n。n通义千问 Qwen 系列：开源 Qwen3-TTS、Qwen3-Coder-Next、Qwen3-VL-Embedding，覆盖语音生成、编程与多模态检索场景n通义千问nQwenn系列n：开源nQwen3-TTS、Qwen3-Coder-Next、Qwen3-VL-Embedding，覆盖语音生成、编程与多模态检索场景n。n多模态与视频AI：可灵AI 3.0和2.6版本实现音画同步、自动分镜控制，PixVerse V5.5可在几秒内生成导演级多镜头短片n多模态与视频AIn：可灵AIn3.0和2.6版本实现音画同步、自动分镜控制，PixVersenV5.5可在几秒内生成导演级多镜头短片n。美团LongCat系列与Vidi2显著提升视频编辑和理解能力n。美团LongCat系列与Vidi2显著提升视频编辑和理解能力n。n端侧与嵌入式AI：MiniMax、智谱GLM系列、阿里通义Fun-Audio-Chat、腾讯混元3D Studio 支持本地计算，提升端侧推理效率，支持音乐、语音、文本、图像等多模态任务n端侧与嵌入式AIn：MiniMax、智谱GLM系列、阿里通义Fun-Audio-Chat、腾讯混元3DnStudion支持本地计算，提升端侧推理效率，支持音乐、语音、文本、图像等多模态任务n。n行业企业与融资动态n港股上市与融资：MiniMax、智谱AI纷纷启动或完成港股IPO，融资数额达数十亿港元，推动全球化布局与算力扩展n港股上市与融资n：MiniMax、智谱AI纷纷启动或完成港股IPO，融资数额达数十亿港元，推动全球化布局与算力扩展n。nAI创业与投资：xAI完成200亿美元E轮融资，Meta、迪士尼、亚马逊、英伟达等加码投入AI应用及硬件nAI创业与投资n：xAI完成200亿美元E轮融资，Meta、迪士尼、亚马逊、英伟达等加码投入AI应用及硬件n。国内新型AI公司如DeepWisdom、Vidu、Kimi、Luma AI、RockFlow等也完成战略融资n。国内新型AI公司如DeepWisdom、Vidu、Kimi、LumanAI、RockFlow等也完成战略融资n。n开源社区发展：面壁智能、Mistral AI、阿里Qwen、谷歌Gemini 3 Flash等项目开源，推动算法、模型和工具的全民可用性n开源社区发展n：面壁智能、MistralnAI、阿里Qwen、谷歌Geminin3nFlash等项目开源，推动算法、模型和工具的全民可用性n。nAI应用趋势n办公与生产力：AgentOS、扣子2.0、MiniMax Agent 2.0、ChatExcel等智能体平台，实现办公自动化、代码协作和科研辅助n办公与生产力n：AgentOS、扣子2.0、MiniMaxnAgentn2.0、ChatExcel等智能体平台，实现办公自动化、代码协作和科研辅助n。n多模态交互与智能助手：蚂蚁“灵光”、京东AI购、Meta WorldGen、OpenAI购物研究等，推动AI在现实生活场景的便利化应用n多模态交互与智能助手n：蚂蚁“灵光”、京东AI购、MetanWorldGen、OpenAI购物研究等，推动AI在现实生活场景的便利化应用n。n个性化与自动化生成：AI视频、音乐、图像、3D内容生成实现自动化与定制化生产，支持多语言、角色扮演及场景复现n个性化与自动化生成n：AI视频、音乐、图像、3D内容生成实现自动化与定制化生产，支持多语言、角色扮演及场景复现n。n推荐获取平台nAI工具集：实时更新产业新闻、融资动态、产品发布，覆盖多模态、智能体及工具类AI应用nAI工具集n：实时更新产业新闻、融资动态、产品发布，覆盖多模态、智能体及工具类AI应用n。nAIbase.cn：每日AI日报、热点资讯及产品数据库，内容专业全面nAIbase.cnn：每日AI日报、热点资讯及产品数据库，内容专业全面n。nAI日报：每天3分钟掌握最新AI模型、行业动态及前沿技术nAI日报n：每天3分钟掌握最新AI模型、行业动态及前沿技术n。n用户可根据兴趣选择平台，结合社群或订阅功能获取n实时资讯与深度分析n。这些平台适用于技术研究、行业分析、投资决策及产品应用探索。",
  "page_title": "获取最新的AI咨询",
  "query": "获取最新的AI咨询",
  "success": true,
  "url": "https://www.bing.com/copilotsearch?q=%E8%8E%B7%E5%8F%96%E6%9C%80%E6%96%B0%E7%9A%84AI%E5%92%A8%E8%AF%A2"
}

五、实际应用：集成到AI智能体

拥有了这个搜索API之后，下一步就是将其嵌入到你的AI框架中。操作非常简单，例如在LangChain中的使用方法如下：

示例：在LangChain中调用自定义搜索工具

from langchain.tools import Tool

def search_tool(query: str) -> str:
    """调用我们的本地搜索服务"""
    result = send_search_request(query)
    if result.get("success"):
        return result.get("message", "未找到相关信息")
    return f"搜索失败: {result.get('error', '未知错误')}"

# 创建工具实例
search_tool_instance = Tool(
    name="Web搜索",
    func=search_tool,
    description="用于搜索最新的网络信息"
)

# 将工具添加到你的AI智能体中

六、结语

通过本项目的实践，你不仅获得了一个完全免费的搜索API，更重要的是掌握了一种思维方式：当现有方案受限时，利用自动化工具“模拟用户行为”来突破限制。这种思路可以广泛延伸到自动化测试、数据采集、系统监控报警等多个应用场景。

技术的本质就是不断创造可能性。灵活组合工具、打破常规思维，往往能开辟出意想不到的解决路径。

最后提醒一句：请合理使用本方案，遵循目标网站的robots.txt协议，避免给对方服务器造成过大压力。本文仅用于学习交流，切勿用于非法用途。

来源：https://www.jb51.net/python/365713yrw.htm
搭建
上一篇C#.NET给PDF添加平铺背景与固定水印方法 下一篇Python AI基础 Matplotlib和Seaborn两大可视化库从入门到实战代码精讲
本站内容用于信息整理与展示，如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容，方便继续浏览更多相关内容。

svnsync双向同步搭建异地容灾SVN版本库方案 phpEnv Xdebug断点调试环境搭建完整教程 VSCode搭建Flutter开发环境与编写调试应用教程 Laravel框架安装与本地环境配置详细教程

同类最新

继续查看同栏目最近更新的文章。

更多
详解如何使用Apache服务器进行防盗链配置步骤
编程语言 · 2026-06-30

详解如何使用Apache服务器进行防盗链配置步骤

Apache使用mod_rewrite模块实现图片防盗链，通过 htaccess文件配置Rewrite规则，检查HTTP_REFERER来源，若非本站域名且来源不为空，则对jpg等常见图片格式返回403禁止访问。此方法能有效阻止大多数盗链行为。

 Filebeat日志转发实现步骤详解
编程语言 · 2026-06-30

Filebeat日志转发实现步骤详解

Filebeat通过配置输入源读取日志，输出目标转发至Elasticsearch或Logstash。安装后编辑filebeat yml文件，指定日志路径和输出地址。支持直接转发或经Logstash处理。通过systemctl启动并验证数据到达，可选SSL加密和多行日志合并配置。

 手把手教你如何在CentOS上使用PhpStorm构建项目的详细步骤
编程语言 · 2026-06-30

手把手教你如何在CentOS上使用PhpStorm构建项目的详细步骤

在CentOS上使用PHPStorm构建项目需先准备环境：安装Java、PHP及扩展、Nginx、MariaDB并开放端口。然后安装配置PHPStorm，设置SSH解释器与Web服务器映射。导入或创建项目后安装Composer依赖，调整php ini。配置SFTP部署并同步文件，最后设置Xdebug进行调试运行。

 CentOS下GitLab集成其他工具的详细配置方法与完整指南
编程语言 · 2026-06-30

CentOS下GitLab集成其他工具的详细配置方法与完整指南

在CentOS平台中，GitLab通过Webhooks、API与CI CD配置，深度集成Jenkins、SonarQube、Docker及Slack，构建代码托管、自动构建、质量检查与协作通知的自动化链路，覆盖开发、测试、部署全流程，实现从提交到上线的自动化，大幅提升团队效率与交付质量，推动开发运维一体化。

 CentOS设置Node.js定时任务的方法
编程语言 · 2026-06-30

CentOS设置Node.js定时任务的方法

在CentOS上为Node js应用设置定时任务常用两种方案：systemd适合长期运行服务，需创建服务文件并配置开机自启；cron更灵活，适合定期唤醒任务，通过编辑crontab添加时间计划和执行命令。两种方法均需指定Node js路径和应用入口。