首页 游戏 软件 资讯 排行榜 专题
首页
编程语言
如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库)

如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库)

热心网友
35
转载
2026-05-05

如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库)

本文详解 Django 中将 JSON 文件数据批量写入数据库的正确方法,重点解决单次循环中仅保存最后一条记录的问题,并推荐使用 bulk_create() 实现高性能、低开销的一次性批量插入。

在 Django 开发中,从外部 JSON 文件导入数据到数据库,是个高频操作。但不少新手容易踩一个坑:在循环里创建了模型实例,却把保存操作放错了位置,结果数据库里只孤零零躺着最后一条记录,前面的数据全丢了。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

比如下面这段典型的“问题代码”:

for item in data:
    my_model_instance = MyModel(...)  # 每次覆盖引用
my_model_instance.sa ve()  # ❌ 只保存最后一次迭代的对象

问题出在哪?关键在于,.sa ve() 必须放在循环内部,每创建一个实例就立刻保存。但更优的方案是:先把所有实例“攒”起来,然后一次性入库。这正是 Django ORM 的 bulk_create() 方法大显身手的地方。

这个方法会把成百上千条记录,打包成一条或极少数几条 SQL INSERT 语句发送给数据库。比起在循环里调用 N 次 .sa ve()(意味着 N 次数据库连接和事务),性能提升可不是一星半点,尤其是在处理大量数据时,效率差异能达到数十倍。

那么,具体该怎么写呢?下面是一个优化后的、可直接使用的视图函数示例:

from django.shortcuts import render
import json
from .models import MyModel
import os

def display(request):
    # 构建 JSON 文件绝对路径(注意:建议使用 settings.BASE_DIR 更健壮)
    json_file_path = os.path.join(
        os.path.dirname(__file__), '..', '..', 'jsondata.json'
    )

    try:
        with open(json_file_path, 'r', encoding='utf-8') as f:
            data = json.load(f)

        # ✅ 使用列表推导式批量构建模型实例
        model_instances = [
            MyModel(
                end_year=item.get('end_year'),
                intensity=item.get('intensity'),
                sector=item.get('sector'),
                topic=item.get('topic'),
                insight=item.get('insight'),
                url=item.get('url'),
                region=item.get('region'),
                start_year=item.get('start_year'),
                impact=item.get('impact'),
                added=item.get('added'),
                published=item.get('published'),
                country=item.get('country'),
                relevance=item.get('relevance'),
                pestle=item.get('pestle'),
                source=item.get('source'),
                title=item.get('title'),
                likelihood=item.get('likelihood'),
            )
            for item in data
        ]

        # ✅ 批量写入数据库(自动跳过空列表,支持 batch_size 参数分批)
        MyModel.objects.bulk_create(model_instances, batch_size=1000)

    except FileNotFoundError:
        data = []
        # 可选:记录日志或抛出自定义异常
        # import logging; logging.error("JSON file not found: %s", json_file_path)
    except json.JSONDecodeError as e:
        data = []
        # 处理 JSON 格式错误
        raise ValueError(f"Invalid JSON format: {e}") from e
    except Exception as e:
        # 建议捕获更具体的异常(如 IntegrityError),便于调试
        raise

    return render(request, 'display.html', {'data': data})

代码写好了,但魔鬼藏在细节里。想让这段代码足够健壮,能上生产环境,有几个关键点必须注意:

  • ✅ 使用 .get(key) 替代直接 item[‘key’]:这能有效避免因为 JSON 里某个字段意外缺失而导致的 KeyError 崩溃,让程序更从容。
  • ✅ 指定 encoding=‘utf-8’:处理包含中文或其他非 ASCII 字符的数据时,这行代码能救命,确保不会出现乱码。
  • ✅ 善用 batch_size 参数:当数据量极大(比如超过一万条)时,设置 batch_size=1000 可以分批插入,既能避免单条 SQL 语句过长导致数据库报错,也能防止内存被瞬间吃光。
  • ⚠️ bulk_create() 不触发 sa ve() 方法和信号:这是个重要的限制。如果你在模型的 sa ve() 方法里写了自定义逻辑,或者依赖 pre_sa ve/post_sa ve 信号来做点事情(比如自动更新某个时间戳),那么 bulk_create() 会绕过它们。这种情况下,就需要考虑其他方案,比如使用 model_to_dict() 配合表单保存,或者手动在批量创建后触发相关逻辑。
  • ⚠️ 留意主键与默认值:对于自增主键(AutoField),bulk_create() 会自动处理好。但是,对于模型中字段定义的 default 值(例如 default=timezone.now),bulk_create() 不会自动计算并填充。你需要在创建实例时,就显式地传入这些值。
  • ✅ 路径安全是底线:示例中使用了相对路径来定位 JSON 文件,这在开发中或许方便,但在生产环境是隐患。最佳实践是,通过 settings.BASE_DIR 来构建绝对路径,将数据文件放在项目结构内明确的位置进行管理。

把这些要点都做到位,你的 JSON 数据导入流程就不仅仅是“能用”,而是具备了生产环境所需的健壮性、可维护性与高性能。从源头避免数据丢失,让批量操作真正快起来,这才是高效开发该有的样子。

如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库)

来源:https://www.php.cn/faq/2340951.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库)
编程语言
如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库)

如何高效将 JSON 数据批量导入 Django 模型(SQL 数据库) 本文详解 Django 中将 JSON 文件数据批量写入数据库的正确方法,重点解决单次循环中仅保存最后一条记录的问题,并推荐使用 bulk_create() 实现高性能、低开销的一次性批量插入。 在 Django 开发中,从外

热心网友
05.05
如何从 Go 语言的空接口中安全提取 JSON 解析后的值
编程语言
如何从 Go 语言的空接口中安全提取 JSON 解析后的值

如何在 Go 语言中安全地从空接口提取嵌套 JSON 字段 在 Go 语言开发中,处理 JSON 数据时经常遇到一个典型场景:使用 json Unmarshal 函数解析未知或动态结构的 JSON 数据,结果被存储在一个 interface{} 空接口类型中。面对这个“黑盒”,如何安全、高效且准确地

热心网友
05.05
如何在 Go 中将 map 数据完整转换为 JSON 数组格式
编程语言
如何在 Go 中将 map 数据完整转换为 JSON 数组格式

本文详细讲解在 Go 语言中如何将 map 数据完整转换为 JSON 数组格式,解决遍历赋值错误导致数据丢失以及 int 类型键无法直接序列化的问题,并提供可直接运行的优化代码示例。 Go 语言 map 转 JSON 数组完整教程与常见问题解决 在 Go 语言 Web 开发实践中,将内存中的 map

热心网友
05.05
如何从 Go 语言的空接口中安全提取 JSON 解析后的字段值
编程语言
如何从 Go 语言的空接口中安全提取 JSON 解析后的字段值

如何从 Go 语言的空接口中安全提取 JSON 解析后的字段值 本文深入讲解在 Go 语言中,如何对通过 json Unmarshal 解析到 interface{} 类型的动态 JSON 数据进行安全的类型断言与字段访问。重点演示如何准确获取嵌套的字符串字段(例如 “name”),并提供可直接运行

热心网友
05.05
如何在 PHP 中正确生成嵌套数组格式的 JSON 响应
编程语言
如何在 PHP 中正确生成嵌套数组格式的 JSON 响应

本文讲解如何将逗号分隔的字符串(如 “tag1,tag2,tag3”)转换为 JSON 数组格式(如 “tgas”: [“tag1”, “tag2”, “tag3”]),并通过 json_encode() 输出符合预期结构的响应。 如何在 PHP 中正确生成嵌套数组格式的 JSON 响应 在 PHP

热心网友
05.05

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

青奥会口号英文
职业与学业
青奥会口号英文

青奥会口号中英文全览 提及青年奥林匹克运动会(青奥会),许多人会联想到2014年盛夏的南京。这项专为青少年设计的国际体育盛事,不仅聚焦高水平竞技,更深度融合教育、文化与社区活动,旨在倡导健康积极的生活方式。本文将带您回顾历届青奥会的经典口号,解读其背后的青春理念与时代精神。 【青奥会口号英文对照】

热心网友
05.05
亚青会口号英文
职业与学业
亚青会口号英文

亚青会:亚洲青年体育盛典与南京2026 提到亚洲大型体育赛事,除了广为人知的亚运会,还有一项专为青少年设立的综合性运动会——亚洲青年运动会,简称亚青会。首届赛事于2009年在新加坡成功举办。本文将深入解读亚青会的英文口号、发展历程,并重点介绍2026年南京亚青会的核心信息。 英文口号 亚青会的官方英

热心网友
05.05
运动会英语口号
职业与学业
运动会英语口号

运动会英语口号大全:精选助威语与团队激励短句 本文为您精心整理了一份实用的《运动会英语口号》合集,旨在为您的体育盛会注入国际化活力与磅礴气势,助力团队展现风采。 为同伴加油鼓劲,简洁有力首选:Come on buddy, everybody! (伙伴们,一起加油!) 决胜时刻,一句Hold on!(

热心网友
05.05
稳定币是什么?2025年值得持有的十大稳定币推荐
web3.0
稳定币是什么?2025年值得持有的十大稳定币推荐

稳定币:数字资产世界的“定海神针” 在波动剧烈的加密货币市场中,稳定币扮演着至关重要的角色。它像一座稳固的桥梁,连接着传统金融的确定性与区块链世界的创新活力。凭借其相对稳定的价格,稳定币在交易对冲、跨境支付及资产管理等场景中应用广泛,已成为数字资产组合中不可或缺的配置。接下来,我们将厘清稳定币的核心

热心网友
05.05
班级跑操口号押韵摘录
职业与学业
班级跑操口号押韵摘录

班级跑操口号押韵:点燃团队魂,喊出青春劲 “十班十班,与我同行;前进前进,激情澎湃;十班不败,斗志昂扬;十班最强!”在校园生活的集体韵律中,一句句响亮有力的跑操口号,远不止是简单的词句排列。它们凝聚着班级的团队之魂,点燃着青春的拼搏之劲,是校园晨光中不可或缺的活力乐章。那些充满力量、朗朗上口的押韵口

热心网友
05.05