AI网络爬虫：用deepseek提取百度文心一言的智能体数据
真实网址：https://www.php.cn/link/becbba75f70a129327afa2d6dfc4a1ac
返回的json数据：{
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
"errno": 0,
"msg": "success",
"data": {
"total": 36,
"pageNo": 1,
"pageSize": 36,
"plugins": [
{
"name": "零基础学习路径规划",
"description": "你好，请你给出一个主题，我将给你一份完整的学习路径规划",
"logoUrl": "https://www.php.cn/link/e23909d8468ff4942ccea268fbbcafd1",
"logoText": {
"bgImage": "",
"labelValue": "1",
"color": 0,
"labelType": 2
},
"previewUrl": "https://www.php.cn/link/1b81139cc390ee1ce67042addf1d32cd",
"appId": "UjRqa5SBZzwvbRH8I06qp19H6OZdzjCR",
"pluginSource": 3,
"useNum": "786492",
"buildType": 1,
"isOwner": null,
"packageStatus": 6,
"dialogueCount": "2030481",
"developerName": "好想出去玩2020",
"isFavorited": false
},
deepseek中输入提示词：
你是一个Python编程专家，完成一个Python脚本编写的任务，具体步骤如下：
在F盘新建一个Excel文件：baiduaiagent20240619.xlsx
请求网址:
https://www.php.cn/link/becbba75f70a129327afa2d6dfc4a1ac请求方法:
GET
状态代码:
200 OK
获取网页的响应，这是一个嵌套的json数据；
获取json数据中"data"键的值，然后获取其中"plugins"键的值，这是一个json数据，提取这个json数据中所有的键写入Excel文件的表头 ，提取这个json数据中所有键对应的值写入Excel文件的列 ；
保存Excel文件；
注意：每一步都输出信息到屏幕；
每爬取1页数据后暂停5-9秒；
需要对 JSON 数据进行预处理，将嵌套的字典和列表转换成适合写入 Excel 的格式，比如将嵌套的字典转换为字符串；
在较新的Pandas版本中，append方法已被弃用。我们应该使用pd.concat来代替。
源代码：
import requestsimport pandas as pdimport timeimport json请求URL
url = "https://www.php.cn/link/becbba75f70a129327afa2d6dfc4a1ac"
请求头
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"}
创建Excel文件
file_path = "F:/baiduaiagent20240619.xlsx"df = pd.DataFrame()
发送GET请求
response = requests.get(url, headers=headers)if response.status_code == 200:data = response.json()products = data['data']['plugins']
# 提取所有产品的键作为表头headers = set()for product in products: headers.update(product.keys())# 创建DataFrame并填充数据for product in products: product_data = {header: json.dumps(product.get(header, ''), ensure_ascii=False) if isinstance(product.get(header), (dict, list)) else product.get(header, '') for header in headers} new_data = pd.DataFrame([product_data]) df = pd.concat([df, new_data], ignore_index=True)print("Data processed.")登录后复制else:print(f"Failed to retrieve data. Status code: {response.status_code}")
保存Excel文件df.to_excel(file_path, index=False)print(f"Data saved to {file_path}")
暂停5-9秒time.sleep(5 + (time.time() % 5))
相关攻略
如何彻底卸载 OpenClaw？多种清洁卸载方法详解 OpenClaw 是一款广受好评的开源应用程序，许多用户选择在 Windows 操作系统上安装使用。然而，当你不再需要它时，如何确保将其从电脑中完全、彻底地移除呢？许多用户反馈，简单的卸载操作常常会遗留冗余文件和注册表项，这些“残余数据”长期累积
DeepSeek 崩上热搜！宕机背后暗藏重大升级信号 一次持续超过8小时的服务中断，让国产AI大模型DeepSeek意外登上社交媒体热搜榜。这场突如其来的技术故障，让无数正在赶论文、进行角色扮演对话，甚至单纯想找AI聊天的用户，共同体验了数字时代的“依赖戒断反应”。 然而，行业观察人士普遍认为，此次
（更新：已恢复） DeepSeek崩了 冲上热搜，服务突发故障无法加载内容 3月29日晚间，国内人工智能领域出现突发服务异常。大量用户反映，备受关注的大语言模型DeepSeek出现访问故障，界面持续加载无法正常使用。话题“DeepSeek 崩了”迅速登上微博热搜榜，引发广泛讨论。 从社交媒体实时反馈
4月1日消息，随着AI不断深入日常生活，大家有没有发现AI越来越会拍彩虹屁了？近期发表在权威期刊《Science》上的一篇论文，对目前全球最先进的11个大语言模型进行了系统评估，揭露了一个有趣的真相
3月最后一周，DeepSeek突发大规模服务中断，OpenAI宣布关闭AI视频生成工具Sora。当前的AI行业，技术领先不等于商业成功，惊艳亮相不等于能笑到最后。原标题：《视频 | DeepSeek
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票