5.18-AI分析师

news2025/5/15 7:12:00

强化练习1 神经网络训练案例(SG)

#划分数据集 #以下5行需要背
folder = datasets.ImageFolder(root='C:/水果种类智能训练/水果图片', transform=trans_compose)
n  = len(folder)
n1 = int(n*0.8)
n2 = n-n1
train, test = random_split(folder, [n1, n2])
#训练并保存模型
import torchmetrics

lossf = nn.CrossEntropyLoss()
optimizer =  torch.optim.Adam(model.parameters(), lr=0.01)
metricsf =  torchmetrics.Accuracy(task='multiclass', num_classes=len(folder.classes))

for i in range(1):
    for batchX, batchY in data_loader:
        #以下17行需要背  中文是对应题目的要求可以不背
        device = torch.device("cpu")
        batchX = batchX.to(device)
        batchY = batchY.to(device)
        model = model.to(device)
        # 清零梯度
        optimizer.zero_grad()
        # 前向传播
        outputs = model(batchX)
        # 计算损失
        loss = lossf(outputs, batchY)
        # 反向传播
        loss.backward()
        # 更新参数
        optimizer.step()
        # 计算准确率
        preds = torch.argmax(outputs, dim=1)
        metricsf.update(preds, batchY)
      
    # 每个 epoch 结束后打印损失和准确率
    epoch_loss = loss.item()
    epoch_accuracy = metricsf.compute()
    print(f'Epoch {i + 1}, Loss: {epoch_loss:.4f}, Accuracy: {epoch_accuracy:.4f}')
    # 重置评估指标
    metricsf.reset()
torch.save(model.state_dict(), '2-2model_test.pth')
print("模型已保存为 2-2model_test.pth")

强化练习2 简答题

数据采集培训大纲(以下为参考,自己要修改,与下面一致的会造成雷同)

  1. 基础认知:明晰数据采集概念、重要性与应用场景。
  2. 方法技巧:讲授多种采集方式,涵盖网络、传感器等,分享实操窍门。
  3. 工具运用:熟练掌握 Excel、Python 等工具用于数据获取与整理。

常见问题及解决方法(选2条背)

  1. 目标不明确
    • 问题:未清晰界定采集数据的用途与范围,导致收集大量无关数据,遗漏关键信息。比如市场调研时,不清楚要分析用户哪类消费行为,盲目收集。
    • 解决方法:项目启动前,组织跨部门会议,与业务、分析团队深入沟通,基于业务需求和分析目的,详细梳理数据需求清单,明确数据用途、范围、字段及预期成果。
  2. 样本偏差
    • 问题:选取样本缺乏代表性,如调查城市居民出行方式,仅在高档社区采样,无法反映整体情况。
    • 解决方法:运用科学抽样方法,像分层抽样,按城市区域、收入水平等分层后随机抽取;扩大样本覆盖范围,涵盖不同特征群体,必要时用统计方法评估样本代表性。
  3. 数据来源不可靠
    • 问题:采用劣质数据源,像某些非官方网站数据,可能存在错误、过时或被篡改,影响数据质量。
    • 解决方法:优先选用官方机构、权威数据库等可靠数据源;对新数据源,先小范围验证数据准确性,对比多个来源数据,分析差异。

强化练习3 人工智能系统设计

    def __init__(self):
        super(MyNet, self).__init__()
        self.fc1 = nn.Linear(14, 128)
        self.bn1 = nn.BatchNorm1d(128)
        self.relu = nn.ReLU()
        # 第二层
        self.fc2 = nn.Linear(128, 256)
        self.bn2 = nn.BatchNorm1d(256)
        self.relu = nn.ReLU()
        # 第三层
        self.fc3 = nn.Linear(256, 2)
    def forward(self, x):
        x = self.fc1(x)
        x = self.bn1(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.bn2(x)
        x = self.relu(x)
        out = self.fc3(x)
        return out

流程图:

读取XX数据

检查数据是否正确

数据清洗

数据分析处理

模型加载

根据模型进行推理

输出响应结果

结束

强化练习4 gs程序分析

三种网络爬虫的主要搜索策略及特点

广度优先 (BFS)	
    特点:通用搜索引擎、大规模抓取
    优点:覆盖广、避免陷入深层结构、并行友好	
    缺点:可能抓取较多低质量页面
深度优先 (DFS)
    特点:静态网站、专题爬取
    优点:可快速深入特定分支
    缺点:易陷入循环、覆盖效率低
最佳优先
    特点:聚焦爬虫、垂直搜索引擎
    优点:高效获取高价值页面
    缺点:计算复杂、可能遗漏相关页面

流程图完善

  • (a)处:判断文件是否为图像文件(可通过文件扩展名判断是否为常见图像格式,如.png、.jpg 等 )。
  • (b)处:判断图像文件是否为.png 格式。(tif根据题目要求改)
  • (c)处:判断图像文件分辨率是否为  x x y(根据题目要求改) 。

问题及改善(此题用自己的话回答 不能直接照抄下面的)

问题:严格按格式和分辨率筛,会丢有用图像致数据不足,且仅靠扩展名判格式易误筛。

改进:使用Opencv库进行图像处理

for filename in os.listdir(input_folder):# 遍历输入文件夹中的所有文件
    if filename.lower().endwith('png'):
        image_path = os.path.join(input_folder, filename)
        with Image.open(image_path) as img:
            if img.size != (100, 100)
                continue
            output_path = os.path.join(output_folder, filename)
            img.save(output_path)
print('处理完毕')

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2375897.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

# 深度剖析LLM的“大脑”:单层Transformer的思考模式探索

简单说一下哈 —— 咱们打算训练一个单层 Transformer 加上稀疏自编码器的小型百万参数大型语言模型(LLM),然后去调试它的思考过程,看看这个 LLM 的思考和人类思考到底有多像。 LLMs 是怎么思考的呢? 开源 LLM 出现之后…

【C++】类与对象【下】

文章目录 再谈构造函数构造函数的赋值构造函数体赋值:初始化列表explicit关键字 static成员概念特性 C11中成员初始化的新玩法友元友元类 内部类概念 再谈构造函数 构造函数的赋值 构造函数体赋值: 在创建对象时,编译器会通过调用构造函数…

无人机避障——如何利用MinumSnap进行对速度、加速度进行优化的轨迹生成(附C++python代码)

🔥轨迹规划领域的 “YYDS”——minimum snap!作为基于优化的二次规划经典,它是无人机、自动驾驶轨迹规划论文必引的 “开山之作”。从优化目标函数到变量曲线表达,各路大神疯狂 “魔改”,衍生出无数创新方案。 &#…

Llama:开源的急先锋

Llama:开源的急先锋 Llama1:开放、高效的基础语言模型 Llama1使用了完全开源的数据,性能媲美GPT-3,可以在社区研究开源使用,只是不能商用。 Llama1提出的Scaling Law 业内普遍认为如果要达到同一个性能指标,训练更…

“redis 目标计算机积极拒绝,无法连接” 解决方法,每次开机启动redis

如果遇到以上问题 先打开“服务” 找到App Readiness 右击-启动 以管理员身份运行cmd,跳转到 安装redis的目录 运行:redis-server.exe redis.windows.conf 以管理员身份打开另一cmd窗口,跳转到安装redis的目录 运行:redis-…

LeetCode 热题 100 35.搜索插入位置

目录 题目: 题目描述: 题目链接: 思路: 核心思路: 思路详解: 代码: Java代码: 题目: 题目描述: 题目链接: 35. 搜索插入位置 - 力扣&…

从 “学会学习” 到高效适应:元学习技术深度解析与应用实践

一、引言:当机器开始 “学会学习”—— 元学习的革命性价值 在传统机器学习依赖海量数据训练单一任务模型的时代,元学习(Meta Learning)正掀起一场范式革命。 这项旨在让模型 “学会学习” 的技术,通过模仿人类基于经验…

AI开发者的算力革命:GpuGeek平台全景实战指南(大模型训练/推理/微调全解析)

目录 背景一、AI工业化时代的算力困局与破局之道1.1 中小企业AI落地的三大障碍1.2 GpuGeek的破局创新1.3 核心价值 二、GpuGeek技术全景剖析2.1 核心架构设计 三、核心优势详解‌3.1 优势1:工业级显卡舰队‌‌‌3.2 优势2:开箱即用生态‌3.2.1 预置镜像库…

AWS SNS:解锁高并发消息通知与系统集成的云端利器

导语 在分布式系统架构中,如何实现高效、可靠的消息通知与跨服务通信?AWS Simple Notification Service(SNS)作为全托管的发布/订阅(Pub/Sub)服务,正在成为企业构建弹性系统的核心组件。本文深度…

【PmHub后端篇】PmHub集成 Sentinel+OpenFeign实现网关流量控制与服务降级

在微服务架构中,保障服务的稳定性和高可用性至关重要。本文将详细介绍在 PmHub 中如何利用 Sentinel Gateway 进行网关限流,以及集成 Sentinel OpenFeign 实现自定义的 fallback 服务降级。 1 熔断降级的必要性 在微服务架构中,服务间的调…

2025最新出版 Microsoft Project由入门到精通(八)

目录 查找关键路径方法 方法1:格式->关键任务 方法2:插入关键属性列 方法3:插入“可宽延的总时间”进行查看,>0不是关键路径,剩余的全是关键路径 方法4:设置关键路径的工作表的文本样式​编辑 方法5:突出显示/筛选器…

3.0/Q2,Charls最新文章解读

文章题目:Development of a visualized risk prediction system for sarcopenia in older adults using machine learning: a cohort study based on CHARLS DOI:10.3389/fpubh.2025.1544894 中文标题:使用机器学习开发老年人肌肉减少症的可视…

使用matlab进行数据拟合

目录 一、工作区建立数据 二、曲线拟合器(在"APP"中) 三、曲线拟合函数及参数 四、 在matlab中编写代码 一、工作区建立数据 首先,将数据在matlab工作区中生成。如图1所示: 图 1 二、曲线拟合器(在"APP"中) 然后,…

分布式1(cap base理论 锁 事务 幂等性 rpc)

目录 分布式系统介绍 一、定义与概念 二、分布式系统的特点 三、分布式系统面临的挑战 四、分布式系统的常见应用场景 CAP 定理 BASE 理论 BASE理论是如何保证最终一致性的 分布式锁的常见使用场景有哪些? 1. 防止多节点重复操作 2. 资源互斥访问 3. 分…

Myshell与清华联合开源TTS模型OpenVoiceV2,多语言支持,风格控制进一步增强~

项目背景 开发团队与发布 OpenVoice2 由 MyShell AI(加拿大 AI 初创公司)与 MIT 和清华大学的研究人员合作开发,技术报告于 2023 年 12 月发布 ,V2 版本于 2024 年 4 月发布 。 项目目标是提供一个高效、灵活的语音克隆工具&…

YOLO11解决方案之热力图探索

概述 Ultralytics提供了一系列的解决方案,利用YOLO11解决现实世界的问题,包括物体计数、模糊处理、热力图、安防系统、速度估计、物体追踪等多个方面的应用。 使用YOLO11生成的热力图把复杂的数据转换成生动的彩色编码矩阵。这种可视化工具采用色谱来表示不同的数据值,暖色…

如何在终端/命令行中把PDF的每一页转换成图片(PNG)

今天被对象安排了一个任务: 之前自己其实也有这个需要,但是吧,我懒:量少拖拽,量大就放弃。但这次躲不过去了,所以研究了一下有什么工具可以做到这个需求。 本文记录我这次发现的使用 XpdfReader 的方法。…

计算机系统结构——Cache性能分析

一、实验目的 加深对Cache的基本概念、基本组织结构以及基本工作原理的理解。掌握Cache容量、相联度、块大小对Cache性能的影响。掌握降低Cache不命中率的各种方法以及这些方法对提高Cache性能的好处。理解LRU与随机法的基本思想以及它们对Cache性能的影响。 二、实验平台 实…

GESP2023年12月认证C++八级( 第三部分编程题(2)大量的工作沟通)

参考程序&#xff1a; #include <cstdio> #include <cstdlib> #include <cstring> #include <algorithm> #include <string> #include <map> #include <iostream> #include <cmath> #include <vector> #include <qu…