博主介绍✌全网粉丝10W前互联网大厂软件研发、集结硕博英豪成立软件开发工作室专注于计算机相关专业项目实战6年之久累计开发项目作品上万套。凭借丰富的经验与专业实力已帮助成千上万的学生顺利毕业选择我们就是选择放心、选择安心毕业✌ 想要获取完整文章或者源码或者代做拉到文章底部即可与我联系了。点击查看作者主页了解更多项目感兴趣的可以先收藏起来点赞、关注不迷路大家在毕设选题项目以及论文编写等相关问题都可以给我留言咨询希望帮助同学们顺利毕业 。1、毕业设计2026年计算机专业毕业设计选题汇总建议收藏✅2、最全计算机专业毕业设计选题大全建议收藏✅1、项目介绍技术栈系统后端基于 Spark 大数据框架进行数据处理与分析采用 Hadoop 实现分布式存储与计算通过爬虫技术采集二手商品数据。前端使用 Vue 框架构建动态交互界面数据可视化通过 ECharts 生成分析图表推荐模块采用协同过滤算法实现个性化商品推荐。功能模块· 仪表盘模块· 数据表格模块· 分类分析模块· 地域分析模块· 热度分析模块· 价格分析模块· 标题词云模块· 类型词云模块· 个性化推荐模块· 个人资料模块· 我的收藏模块· 我的评论模块项目介绍本系统是基于 Spark 与 Hadoop 大数据框架开发的二手商品数据分析可视化平台通过爬虫技术采集闲鱼商品数据作为基础数据源。系统后端依托 Spark 完成数据处理与分析Hadoop 负责分布式存储与计算前端基于 Vue 框架构建动态交互界面涵盖仪表盘、数据表格、分类分析、地域分析、热度分析、价格分析、标题词云、类型词云、个性化推荐、个人资料、我的收藏、我的评论等功能模块。平台借助 ECharts 图表直观展示商品价格趋势、分类分布、地域特征、热度变化等多维数据并基于协同过滤算法为用户提供个性化商品推荐。用户可浏览筛选商品、查看分析图表、管理收藏与评论实现二手商品数据的可视化分析与个性化服务。2、项目界面仪表盘该页面为Spark咸鱼数据分析系统的仪表盘模块展示总商品数、平均价格、热门分类、活跃用户等核心数据卡片同时包含商品价格趋势折线图、分类销量分布环形图及热门商品排行表格可直观呈现平台商品与用户的核心运营数据。数据表格该页面为Spark咸鱼数据分析系统的商品数据表格模块提供关键词、分类、价格区间等筛选功能以卡片形式展示商品信息包含商品图片、标题、价格、地区及收藏操作可让用户便捷浏览、筛选并管理平台商品数据。分类分析页面功能概述该页面为Spark咸鱼数据分析系统的分类分析模块集成了分类总览柱状图、分类价格箱线图、热度与价格关系散点图以及分类TOP商品列表可直观展示不同商品分类的数量分布、价格区间、热度与价格关联并支持切换分类查看对应热门商品助力多维度的商品分类数据可视化与分析。地域分析页面功能概述该页面为Spark咸鱼数据分析系统的地域分析模块集成了城市总览柱状图、城市价格箱线图、城市维度热度与价格关系散点图以及城市TOP卖家列表可直观展示不同城市的商品数量分布、价格区间、热度与价格关联并支持切换城市查看对应热门卖家助力多维度的地域商品数据可视化与分析。热度分析页面功能概述该页面为Spark咸鱼数据分析系统的热度分析模块集成了热度趋势折线柱状图、按分类热度柱状图、按城市热度柱状图以及热门商品TOP列表可直观展示商品热度随时间的变化趋势、不同分类与城市的热度分布并呈现热门商品排行助力多维度的商品热度数据可视化与分析。价格分析页面功能概述该页面为Spark咸鱼数据分析系统的价格分析模块集成了价格趋势折线柱状图、价格区间分布柱状图、城市价格概览柱状图、分类价格概览柱状图以及价格-热度相关数值展示可直观呈现商品价格随时间的变化、不同价格区间的商品分布、各城市与分类的价格概况并体现价格与热度的关联程度助力多维度的商品价格数据可视化与分析。标题词云页面功能概述该页面为Spark咸鱼数据分析系统的标题词云模块集成了商品标题词云可视化展示功能同时提供类型词云切换入口可直观呈现商品标题中的高频词汇分布帮助快速把握商品标题的关键词特征与流行表述助力商品标题文本特征的可视化分析。类型词云页面功能概述该页面为Spark咸鱼数据分析系统的类型词云模块集成了商品分类类型词云可视化展示功能可直观呈现不同商品分类类型的出现频次分布帮助快速把握平台商品的主要类别结构与热门类型特征助力商品分类类型数据的文本可视化分析。个性化推荐页面功能概述该页面为Spark咸鱼数据分析系统的个性化推荐模块集成了协同过滤推荐算法以卡片形式展示推荐商品包含商品图片、名称、分类、价格、地点等信息并提供查看详情入口可根据用户偏好精准推送相关商品助力实现平台的个性化商品推荐与用户精准匹配。个人资料页面功能概述该页面为Spark咸鱼数据分析系统的个人资料模块集成了用户基础信息展示、数据统计展示、账户信息详情展示功能同时提供编辑资料入口以及个人资料、我的收藏、我的评论等行为记录的切换选项可方便用户查看与管理自身账号信息和相关行为数据助力平台的用户信息管理与个性化服务。我的收藏页面功能概述该页面为Spark咸鱼数据分析系统的我的收藏模块集成了收藏商品卡片展示功能卡片包含商品名称、价格、发布地点、收藏时间等信息同时提供删除收藏的操作入口可方便用户查看、管理已收藏的商品助力平台用户的商品收藏行为管理与后续浏览。我的评论页面功能概述该页面为Spark咸鱼数据分析系统的我的评论模块集成了用户评论内容展示功能包含关联商品信息、评分、发布时间等内容同时提供公开状态切换与删除操作入口可方便用户查看、管理自身发表的评论助力平台用户的评论行为管理与内容维护。3、项目说明一、技术栈简要说明系统后端基于 Spark 大数据框架进行数据处理与分析采用 Hadoop 实现分布式存储与计算通过爬虫技术采集二手商品数据作为基础数据源。前端使用 Vue 框架构建动态交互界面数据可视化通过 ECharts 生成分析图表推荐模块采用协同过滤算法实现个性化商品推荐整体架构充分发挥大数据技术优势为海量二手商品数据的存储、计算与可视化分析提供坚实技术支撑。二、功能模块详细介绍· 仪表盘模块该页面为系统的核心数据总览界面展示总商品数、平均价格、热门分类、活跃用户等核心指标卡片同时集成商品价格趋势折线图、分类销量分布环形图及热门商品排行表格可直观呈现平台商品与用户的核心运营数据为运营决策提供宏观数据支撑。· 数据表格模块该页面提供商品数据的精细化浏览与筛选功能支持关键词搜索、分类筛选、价格区间筛选等多维度条件查询。商品以卡片形式展示包含商品图片、标题、价格、地区及收藏操作方便用户便捷浏览、筛选并管理平台商品数据。· 分类分析模块该页面集成分类总览柱状图、分类价格箱线图、热度与价格关系散点图以及分类TOP商品列表可直观展示不同商品分类的数量分布、价格区间、热度与价格关联支持切换分类查看对应热门商品助力多维度的商品分类数据可视化与分析。· 地域分析模块该页面集成城市总览柱状图、城市价格箱线图、城市维度热度与价格关系散点图以及城市TOP卖家列表可直观展示不同城市的商品数量分布、价格区间、热度与价格关联支持切换城市查看对应热门卖家助力多维度的地域商品数据可视化与分析。· 热度分析模块该页面集成热度趋势折线柱状图、按分类热度柱状图、按城市热度柱状图以及热门商品TOP列表可直观展示商品热度随时间的变化趋势、不同分类与城市的热度分布并呈现热门商品排行助力多维度的商品热度数据可视化与分析。· 价格分析模块该页面集成价格趋势折线柱状图、价格区间分布柱状图、城市价格概览柱状图、分类价格概览柱状图以及价格-热度相关数值展示可直观呈现商品价格随时间的变化、不同价格区间的商品分布、各城市与分类的价格概况并体现价格与热度的关联程度助力多维度的商品价格数据可视化与分析。· 标题词云模块该页面集成商品标题词云可视化展示功能同时提供类型词云切换入口可直观呈现商品标题中的高频词汇分布帮助快速把握商品标题的关键词特征与流行表述助力商品标题文本特征的可视化分析。· 类型词云模块该页面集成商品分类类型词云可视化展示功能可直观呈现不同商品分类类型的出现频次分布帮助快速把握平台商品的主要类别结构与热门类型特征助力商品分类类型数据的文本可视化分析。· 个性化推荐模块该页面集成协同过滤推荐算法以卡片形式展示推荐商品包含商品图片、名称、分类、价格、地点等信息并提供查看详情入口可根据用户偏好精准推送相关商品助力实现平台的个性化商品推荐与用户精准匹配。· 个人资料模块该页面集成用户基础信息展示、数据统计展示、账户信息详情展示功能同时提供编辑资料入口以及个人资料、我的收藏、我的评论等行为记录的切换选项可方便用户查看与管理自身账号信息和相关行为数据助力平台的用户信息管理与个性化服务。· 我的收藏模块该页面集成收藏商品卡片展示功能卡片包含商品名称、价格、发布地点、收藏时间等信息同时提供删除收藏的操作入口可方便用户查看、管理已收藏的商品助力平台用户的商品收藏行为管理与后续浏览。· 我的评论模块该页面集成用户评论内容展示功能包含关联商品信息、评分、发布时间等内容同时提供公开状态切换与删除操作入口可方便用户查看、管理自身发表的评论助力平台用户的评论行为管理与内容维护。三、项目总结本系统是基于 Spark 与 Hadoop 大数据框架开发的闲鱼二手商品数据分析可视化平台通过爬虫技术采集海量二手商品数据作为基础数据源。系统后端充分发挥 Spark 的数据处理能力与 Hadoop 的分布式存储优势前端基于 Vue 框架构建动态交互界面涵盖仪表盘、数据表格、分类分析、地域分析、热度分析、价格分析、标题词云、类型词云、个性化推荐、个人资料、我的收藏、我的评论等十二大功能模块。平台通过 ECharts 图表直观展示商品价格趋势、分类分布、地域特征、热度变化等多维度数据并基于协同过滤算法为用户提供个性化商品推荐。用户可便捷浏览筛选商品数据、查看各类分析图表、管理个人收藏与评论实现对二手商品数据的全面可视化分析与个性化服务。整体系统架构充分融合大数据技术与可视化分析手段为二手商品交易平台的数据运营与用户体验优化提供了完整的技术解决方案。4、核心代码importjsonfromdatetimeimportdatetime,timedeltafromdjango.shortcutsimportrenderfromdjango.httpimportJsonResponsefromdjango.views.decorators.httpimportrequire_GETfromdjango.db.modelsimportAvg,Max,Min,Count,Qfromdjango.db.models.functionsimportTruncDay,TruncWeek,TruncMonthfrom.modelsimportProduct,ProductView,Category,Citydefprice_analysis(request):价格分析模块主页面returnrender(request,analysis/price_analysis.html)require_GETdefget_price_metrics(request):获取价格分析核心指标try:daysint(request.GET.get(days,30))category_idrequest.GET.get(category_id,)# 基础查询time_thresholddatetime.now()-timedelta(daysdays)product_qsProduct.objects.filter(created_at__gtetime_threshold)ifcategory_id:product_qsproduct_qs.filter(category_idcategory_id)# 聚合指标statsproduct_qs.aggregate(avg_priceAvg(price),max_priceMax(price),min_priceMin(price),total_countCount(id))# 计算中位数priceslist(product_qs.order_by(price).values_list(price,flatTrue))ifprices:nlen(prices)medianprices[n//2]ifn%2else(prices[n//2-1]prices[n//2])/2else:median0# 计算趋势与上周期对比prev_starttime_threshold-timedelta(daysdays)prev_qsProduct.objects.filter(created_at__gteprev_start,created_at__lttime_threshold)ifcategory_id:prev_qsprev_qs.filter(category_idcategory_id)prev_avgprev_qs.aggregate(avgAvg(price))[avg]or0curr_avgstats[avg_price]or0trendround(((curr_avg-prev_avg)/prev_avg*100)ifprev_avgelse0,1)# 价格-热度相关度简化计算heat_datalist(product_qs.exclude(view_count0).values(price,view_count)[:200])correlationcalculate_simple_correlation(heat_data)iflen(heat_data)1else0.45returnJsonResponse({code:200,data:{avgPrice:round(stats[avg_price]or0,2),maxPrice:round(stats[max_price]or0,2),minPrice:round(stats[min_price]or0,2),medianPrice:round(median,2),totalCount:stats[total_count],priceTrend:trend,priceHeatCorrelation:round(correlation,2)}})exceptExceptionase:returnJsonResponse({code:500,message:str(e)})require_GETdefget_price_trend(request):获取价格趋势数据try:trend_typerequest.GET.get(type,daily)daysint(request.GET.get(days,30))category_idrequest.GET.get(category_id,)time_thresholddatetime.now()-timedelta(daysdays)product_qsProduct.objects.filter(created_at__gtetime_threshold)ifcategory_id:product_qsproduct_qs.filter(category_idcategory_id)# 按时间分组iftrend_typedaily:trunc_funcTruncDay(created_at)eliftrend_typeweekly:trunc_funcTruncWeek(created_at)else:trunc_funcTruncMonth(created_at)trend_dataproduct_qs.annotate(periodtrunc_func).values(period).annotate(avg_priceAvg(price),max_priceMax(price),min_priceMin(price),countCount(id)).order_by(period)result{dates:[item[period].strftime(%Y-%m-%d)ifitem[period]elseforitemintrend_data],avgPrices:[round(item[avg_price]or0,2)foritemintrend_data],maxPrices:[round(item[max_price]or0,2)foritemintrend_data],minPrices:[round(item[min_price]or0,2)foritemintrend_data],counts:[item[count]foritemintrend_data]}returnJsonResponse({code:200,data:result})exceptExceptionase:returnJsonResponse({code:500,message:str(e)})require_GETdefget_price_range(request):获取价格区间分布try:category_idrequest.GET.get(category_id,all)ranges[{min:0,max:100,label:0-100元},{min:100,max:500,label:100-500元},{min:500,max:1000,label:500-1000元},{min:1000,max:3000,label:1000-3000元},{min:3000,max:5000,label:3000-5000元},{min:5000,max:10000,label:5000-10000元},{min:10000,max:None,label:10000元以上}]product_qsProduct.objects.all()ifcategory_id!all:product_qsproduct_qs.filter(category_idcategory_id)result[]forrinranges:ifr[max]:countproduct_qs.filter(price__gter[min],price__ltr[max]).count()else:countproduct_qs.filter(price__gter[min]).count()result.append({range:r[label],count:count})returnJsonResponse({code:200,data:result})exceptExceptionase:returnJsonResponse({code:500,message:str(e)})require_GETdefget_city_price_overview(request):获取城市价格概览try:limitint(request.GET.get(limit,10))city_statsCity.objects.annotate(avg_priceAvg(product__price),max_priceMax(product__price),min_priceMin(product__price),product_countCount(product)).filter(product_count__gt0).order_by(-avg_price)[:limit]result{cities:[city.nameforcityincity_stats],avgPrices:[round(city.avg_priceor0,2)forcityincity_stats],maxPrices:[round(city.max_priceor0,2)forcityincity_stats],minPrices:[round(city.min_priceor0,2)forcityincity_stats],counts:[city.product_countforcityincity_stats]}returnJsonResponse({code:200,data:result})exceptExceptionase:returnJsonResponse({code:500,message:str(e)})5、源码获取方式由于篇幅限制获取完整文章或源码、代做项目的拉到文章底部即可看到个人联系方式。点赞、收藏、关注不迷路下方查看获取联系方式