Autodl训练Faster-RCNN网络(自己的数据集)

news2025/5/25 2:20:03

参考文章:

Autodl服务器中Faster-rcnn(jwyang)复现(一)_autodl faster rcnn-CSDN博客

Autodl服务器中Faster-rcnn(jwyang)训练自己数据集(二)_faster rcnn autodl-CSDN博客

环境配置

我到下载torch这一步老是即将结束的时候自动结束进程,所以还是自己下载安装吧。 

如果出现上面的错误说明你没有加显卡,加上显卡就能运行成功了。 

如果在安装相关库过程中发生报错,请先升级pip:

 pip install --upgrade pip

数据集准备

我的数据集是之前训练yolo的,是我自己混合的Pascalvoc数据集。

查阅了资料说只需要将xml划分就行,我这里主要是8:2划分为训练集和验证集。

import os
import random
from typing import List, Tuple

def split_dataset(xml_dir: str, output_dir: str, train_percent: float = 0.8) -> None:
    """
    将VOC格式数据集的XML标注文件划分为训练集和验证集
    
    参数:
        xml_dir: XML标注文件所在目录
        output_dir: 输出txt文件的目录
        train_percent: 训练集占总样本的比例
    """
    # 确保输出目录存在
    os.makedirs(output_dir, exist_ok=True)
    
    # 获取所有XML文件
    try:
        total_xml = os.listdir(xml_dir)
    except FileNotFoundError:
        print(f"错误: XML目录 '{xml_dir}' 不存在")
        return
    
    if not total_xml:
        print(f"错误: XML目录 '{xml_dir}' 为空")
        return
    
    # 计算划分点
    num = len(total_xml)
    print(f"找到 {num} 个XML标注文件")
    
    indices = list(range(num))
    random.shuffle(indices)  # 随机打乱索引
    
    train_size = int(num * train_percent)  # 训练集数量
    
    train_indices = indices[:train_size]   # 训练集索引
    val_indices = indices[train_size:]     # 验证集索引
    
    # 输出划分结果
    print(f"数据集划分结果: 训练集 {len(train_indices)}, 验证集 {len(val_indices)}")
    
    # 创建输出文件并写入数据
    file_paths = {
        'train': os.path.join(output_dir, 'train.txt'),
        'val': os.path.join(output_dir, 'val.txt'),
    }
    
    # 写入训练集
    with open(file_paths['train'], 'w') as f_train:
        for i in train_indices:
            name = total_xml[i][:-4] + '\n'
            f_train.write(name)
    
    # 写入验证集
    with open(file_paths['val'], 'w') as f_val:
        for i in val_indices:
            name = total_xml[i][:-4] + '\n'
            f_val.write(name)
    
    print(f"划分完成!训练集和验证集已保存到 {output_dir}")

if __name__ == "__main__":
    # 配置参数
    xml_dir = '/root/faster-rcnn.pytorch-pytorch-1.0/data/xmls'
    output_dir = '/root/faster-rcnn.pytorch-pytorch-1.0/data'
    
    # 执行划分 (80% 训练集, 20% 验证集)
    split_dataset(xml_dir, output_dir, train_percent=0.8)

代码修改 

我主要涉及到五类,先修改如下:

背景不需要更改,只需要更改后面的类别。 

跟着博主的描述操作,安装成功!

训练产生的报错以及解决:

发生报错:环境配置问题找 deepseek,涉及代码找豆包。(我最喜欢的搭配)

  • 没有安装torchversion

得按照博主的那个指令来才能顺带下载torchvision,

  • 找不到数据集路径

因为我数据集格式和博主不一样,最后让ai帮助我修改了pascalvoc.py就没有显示这个错误了。

  • 没有预训练模型

本地下载预训练模型(resnet/densenet/vgg等url地址)_resnet预训练模型下载-CSDN博客

下载后要更改模型名称为 

vgg16_caffe.pth
  • 训练指令 

运行下面的指令:(这个指令运行后它使用的是trainval.txt文件,如果你的是train得修改名称,不然会报错)

CUDA_VISIBLE_DEVICES=0 python trainval_net.py  --dataset pascal_voc  --net vgg16  --bs 4  --nw 0  --lr 0.002 --cuda

 像这样应该就是成功了,可以在文件中修改epoch。 

 需要各类别的精度以及总体精度的时候执行下面这条命令(需要根据产生的文件名进行修改):

chekepoch代表你要检测哪个文件

checkpoint应该每个人的都不一样,需要进行修改。

python test_net.py --dataset pascal_voc --net vgg16 --checksession 1 --checkepoch 3 --checkpoint 1228  --cuda

PS:每一个epoch产生的pth文件非常占存储空间,建议更改存储路径。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2385030.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

NFS服务小实验

实验1 建立NFS服务器,使的客户端顺序共享数据 第一步:服务端及客户端的准备工作 # 恢复快照 [rootserver ~]# setenforce 0 ​ [rootserver ~]# systemctl stop firewalld ​ [rootserver ~]# yum install nfs-utils -y # 服务端及客户端都安装 …

鸿蒙ArkTS-发请求第三方接口显示实时新闻列表页面

发请求展示新闻列表 鸿蒙ArkTS-发请求第三方接口显示实时新闻列表页面 1. 效果图 新闻首页: 点击某一新闻的详情页面(需要使用模拟器才能查看详情页面): 2. 代码 1. key准备 首先需求到聚合网申请一个key,网址如下…

【创造型模式】工厂方法模式

文章目录 工厂方法模式工厂方法模式当中的角色和职责工厂方法模式的实现工厂方法模式的优缺点 工厂方法模式 今天我们继续学习一例创造型设计模式——工厂方法模式。参考的主要资料是刘丹冰老师的《Easy 搞定 Golang 设计模式》。 工厂方法模式当中的角色和职责 简单来说&…

【MySQL】使用文件进行交互

目录 准备工作 1.从文本文件中读取数据(导入) 1.1.CSV 文件 1.2.设置导入导出的路径 1.3.导入文件 1.4.将数据写入文本文件(导出) 2.从文件中读取并执行SQL命令 2.1.通过mysql监视器执行编写在文件里面的SQL语句 2.2.通过…

# 大模型的本地部署与应用:从入门到实战

大模型的本地部署与应用:从入门到实战 在当今人工智能飞速发展的时代,大模型(尤其是大型语言模型,LLMs)已经成为自然语言处理(NLP)领域的核心力量。从文本生成、机器翻译到问答系统&#xff0c…

Java对象内存模型、如何判定对象已死亡?

一、Java对象内存模型 Java对象在内存中由三部分组成: 含类元数据指针(指向方法区的Class对象)和Mark Word(存储对象哈希码、锁状态、GC分代年龄等信息)。 若为数组对象,还包含数组长度数据。 1&#xff0c…

智慧化工园区安全风险管控平台建设方案(Word)

1 项目概况 1.1 园区概况 1.1.1 XX化工园区简况 1.1.2 企业现状 1.1.3 园区发展方向 1.1.4 园区信息化现状 1.2 项目建设背景 1.2.1 政策背景 1.3 项目建设需求分析 1.3.1 政策需求分析 1.3.2 安全生产监管需求分析 1.3.3 应急协同管理需求分析 1.3.4 工业互联网安…

【uniapp】 iosApp开发xcode原生配置项(iOS平台Capabilities配置)

如果你需要配置诸如:Access Wi-Fi Information 简单地说就是这个地址 ios平台capabilities配置 本来这种配置就是在Xcode的平台中选中即可,他们的信息会存储在XCode工程的.entitlements和Info.plist文件。 按照uniapp文档说的, HBuilderX4.…

MYSQL优化(1)

MYSQL调优强调的是如何提高MYSQL的整体性能,是一套整体方案。根据木桶原理,MYSQL的最终性能取决于系统中性能表现最差的组件。可以这样理解,即使MYSL拥有充足的内存资源,CPU资源,如果外存IO性能低下,那么系…

基于BERT预训练模型(bert_base_chinese)训练中文文本分类任务(AI老师协助编程)

新建项目 创建一个新的虚拟环境 创建新的虚拟环境(大多数时候都需要指定python的版本号才能顺利创建): conda create -n bert_classification python3.9激活虚拟环境: conda activate myenvPS:虚拟环境可以避免权限问题,并隔离…

从数据到智能:openGauss+openEuler Intelligence的RAG架构实战

随着人工智能和大规模语言模型技术的崛起,传统的搜索引擎由于其只能提供简单的关键字匹配结果,已经越来越无法满足用户对于复杂、多样化和上下文相关的知识检索需求。与此相对,RAG(Retrieval-Augmented Generation)技术…

【Linux】初见,基础指令

前言 本文将讲解Linux中最基础的东西-----指令,带大家了解一下Linux中有哪些基础指令,分别有什么作用。 本文中的指令和选项并不全,只介绍较为常用的 pwd指令 语法:pwd 功能:显示当前所在位置(路径&#xf…

什么是实时流数据?核心概念与应用场景解析

在当今数字经济时代,实时流数据正成为企业核心竞争力。金融机构需要实时风控系统在欺诈交易发生的瞬间进行拦截;电商平台需要根据用户实时行为提供个性化推荐;工业物联网需要监控设备状态预防故障。这些场景都要求系统能够“即时感知、即时分…

工业RTOS生态重构:从PLC到“端 - 边 - 云”协同调度

一、引言 在当今数字化浪潮席卷全球的背景下,工业领域正经历着深刻变革。工业自动化作为制造业发展的基石,其技术架构的演进直接关系到生产效率、产品质量以及企业的市场竞争力。传统的PLC(可编程逻辑控制器)架构虽然在工业控制领…

基于开源链动2+1模式AI智能名片S2B2C商城小程序的社群构建与新型消费迎合策略研究

摘要:随着个性化与小众化消费的崛起,消费者消费心理和模式发生巨大变化,社群构建对商家迎合新型消费特点、融入市场经济发展至关重要。开源链动21模式AI智能名片S2B2C商城小程序的出现,为社群构建提供了创新工具。本文探讨该小程序…

高性能RPC框架--Dubbo(五)

Filter: filter过滤器动态拦截请求(request)或响应(response)以转换或使用请求或响应中包含的信息。同时对于filter过滤器不仅适合消费端而且还适合服务提供端。我们可以自定义在什么情况下去使用filter过滤器 Activa…

搭建自己的语音对话系统:开源 S2S 流水线深度解析与实战

网罗开发 (小红书、快手、视频号同名) 大家好,我是 展菲,目前在上市企业从事人工智能项目研发管理工作,平时热衷于分享各种编程领域的软硬技能知识以及前沿技术,包括iOS、前端、Harmony OS、Java、Python等…

feign调用指定服务ip端口

1 背景 在springcloud开发时候,同时修改了feign接口和调用方的代码,希望直接在某个环境调用修改的代码,而线上的服务又不希望被下线因为需要继续为其他访问页面的用户提供功能后端服务,有时候甚者包含你正在修改的功能。 2 修改…

【深尚想!爱普特APT32F1023H8S6单片机重构智能电机控制新标杆】

在智能家电与健康器械市场爆发的今天,核心驱动技术正成为产品突围的关键。传统电机控制方案面临集成度低、开发周期长、性能瓶颈三大痛点,而爱普特电子带来的APT32F1023H8S6单片机无感三合一方案,正在掀起一场智能电机控制的技术革命。 爆款基…

Unity EventCenter 消息中心的设计与实现

在开发过程中,想要传递信号和数据,就得在不同模块之间实现通信。直接通过单例调用虽然简单,但会导致代码高度耦合,难以维护。消息中心提供了一种松耦合的通信方式:发布者不需要知道谁接收事件,接收者不需要…