订单车后台管理系统自己开发的基本功能齐全支持excel订单导入功能最近在折腾一个自己用的订单车后台管理系统核心功能基本跑通了。最让我得意的其实是Excel导入功能——这玩意儿看起来简单实际处理起来比想象中麻烦得多。今天就跟大伙儿唠唠这功能的实现细节。先看这段处理Excel文件的代码Python pandasdef parse_excel(file): try: df pd.read_excel( file, usecols[订单编号, 客户姓名, 商品名称, 数量], dtype{数量: int32}, parse_dates[下单时间] ) raw_data df.where(df.notnull(), None).to_dict(records) return normalize_data(raw_data) except KeyError as e: raise ValidationError(f缺少必要字段{e})这里用pandas处理Excel确实省事但有几个坑得注意usecols参数确保只读取必要字段防止垃圾数据混入dtype强制转换数量字段为整型避免出现十件这种奇葩数据。遇到空值时用where(df.notnull(), None)统一处理成None比直接处理NaN更干净。数据校验这块我用了双重保险class OrderValidator: staticmethod def quantity_rule(val): if not 1 val 999: raise ValueError(单笔订单数量需在1-999之间) staticmethod def phone_rule(val): if not re.match(r^1[3-9]\d{9}$, val): raise ValueError(手机号格式错误)校验规则单独抽出来维护后面要加新规则直接往里面塞就行。比如手机号正则刚开始漏了166开头的号段后来发现只要运营商出新号段就得更新索性改成了现在这个简化版校验。订单车后台管理系统自己开发的基本功能齐全支持excel订单导入功能批量插入时的事务管理才是重头戏with transaction.atomic(): for batch in chunker(validated_data, 500): orders [Order(**item) for item in batch] Order.objects.bulk_create(orders) create_operation_log( operatorrequest.user, action_typeIMPORT_ACTION, affected_countlen(orders) )这里用了Django的transaction.atomic()保证原子性分批次插入避免内存爆炸。实测单次处理500条效率最高超过1000条就会有明显延迟。操作日志的记录也放在事务里这样就算中间出错日志也不会出现偏差。开发时还遇到个奇葩问题某客户导入了5万条数据系统直接卡死。后来发现是Excel公式计算导致的解决方案是读取时加上data_onlyTrue参数pd.read_excel(..., data_onlyTrue)这才让系统扛住了各种妖魔鬼怪的Excel文件。现在回头看一个看似简单的导入功能要考虑数据类型、数据校验、事务处理、性能优化等十多个环节。不过折腾完这套系统现在处理订单效率至少提升了三倍值了建议自己造轮子的朋友注意处理大数据量时一定要用内存缓存别直接怼数据库字段映射最好做成可配置的后期调整起来方便错误信息要具体到行号不然用户根本不知道哪行出问题了。