如何使用 Selenium 滚动 Flickr 页面以加载并提取全部图片链接

本文详细讲解如何利用 Selenium 自动化工具，模拟用户滚动行为，将 Flickr 群组页面滚动至底部，触发其懒加载机制，确保所有图片元素（如 .overlay 链接）完全渲染后，再结合 BeautifulSoup 解析 HTML，从而提取出完整的图片详情页 URL 列表。

在抓取 Flickr 这类采用无限滚动（懒加载）技术的网站时，开发者常会遇到一个棘手问题：页面显示有数百张图片，但脚本仅能获取到最初加载的几十个链接。其根本原因在于，页面内容并非一次性全部加载，而是随着用户滚动屏幕逐步动态加载。如果直接解析初始的 HTML 源码，必然会遗漏大量后续动态生成的图片元素。

那么，如何确保能够完整抓取所有图片链接呢？核心解决方案非常明确：通过 Selenium 精准模拟真实用户的浏览滚动操作，驱动浏览器持续向下滚动页面，直至页面高度不再变化，确认所有待加载内容均已呈现。下文提供的方案兼顾了抓取的完整性与代码的健壮性，可直接应用于实际项目。

✅ 核心滚动逻辑（防重复、防过早终止）

实现一个可靠的滚动循环是关键。本方案采用监测文档滚动高度是否变化作为循环终止条件，能有效避免因网络延迟或加载速度慢而导致的脚本过早退出，确保所有懒加载内容被触发。

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 启动无头 Chrome（生产环境推荐）
options = Options()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(options=options)

url = "https://www.flickr.com/groups/allfreepictures/pool/page3041"
driver.get(url)

# 滚动到底部，直到页面高度稳定（懒加载完成）
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
    # 滚动到底部
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(1.5)  # 留足加载时间（可根据网络调整）
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break  # 高度未变 → 已到底部
    last_height = new_height

# 再次等待确保 DOM 完全就绪（可选增强）
time.sleep(2)

✅ 解析所有图片链接

当页面通过滚动完全展开后，数据提取工作就变得简单直接。在 Flickr 群组页面中，图片缩略图通常被包裹在 class 包含 overlay 的 锚点标签内，其 href 属性值正是指向单张图片详情页的路径，这正是我们需要抓取的目标链接。

soup = BeautifulSoup(driver.page_source, 'html.parser')
image_urls = [a['href'] for a in soup.find_all('a', class_='overlay') if a.has_attr('href')]
print(f"共提取 {len(image_urls)} 个图片链接")
print(image_urls[:5])  # 示例输出前5条