本文分类:news发布日期:2024/11/30 1:37:58
相关文章
大模型微调技术 --> LoRA 系列之 QLoRA (省资源能手)
QLoRA
1.摘要
作者提出了QLoRA,一种有效的微调方法,可以减少内存使用,足以在单个48 GB GPU上微调 65B 参数模型,同时保留完整的 16位 微调任务性能。
QLoRA 通过冻结的4位量化预训练语言模型将梯度反向传播到低秩适配器&#x…
建站知识
2024/11/29 16:22:55
SpringBoot监控
1、Spring Boot Actuator 监控
Spring Boot Actuator 可以帮助监控和管理 Spring Boot 应用,比如健康检查、审计、统计和 HTTP 追踪等。所有的这些特性可以通过 JMX 或者 HTTP endpoints 来获得。
1、Actuator 监控应用程序
启用 Actuator 的端点,只要…
建站知识
2024/11/30 13:47:20
微调LLM时,full、freeze、lora区别
LLama-Factory支持full、freeze、lora三种微调,区别: Full微调:Full微调是指在微调过程中更新整个模型的所有参数。这意味着所有的层和参数都会被更新,并且在微调期间都会参与训练。Full微调通常用于对模型进行全面的调整…
建站知识
2024/11/29 16:34:35
微深节能 煤码头自动化翻堆及取料集控系统 格雷母线
一、系统概述 微深节能在煤码头自动化翻堆及取料集控系统中引入了格雷母线高精度位移测量系统,该系统是一项重要的技术创新,显著提升了煤码头作业的自动化水平和精确性。它主要用于实现对斗轮堆取料机等大型机械设备的精准定位和自动化控制,从…
建站知识
2024/11/16 7:48:27
记录mkdocs+yeti生成页面左侧导航(sidebar)添加滚动条(scroll bar)方法
1.写在前面
mkdocs根据markdown文章和配置的主题生成静态页面有一种规整的美,在制作静态页面或网站时候是很好的选择。
博主使用mkdocs yeti自定义主题生成静态页面,发现左侧导航栏(sidebar)没有滚动条,而恰好文章标…
建站知识
2024/11/16 7:48:24
PHM技术:故障预测的4种思路
故障预测(或剩余寿命)一般用来评估缓慢劣化导致的设备性能下降或功能性故障。劣化原因有工作部位的磨损/老化、环境腐蚀、材料疲劳、冲击累积效果等。对于设备寿命预测,总的来说有几种思路:
1)根据性能指标:如果是领域…
建站知识
2024/11/28 7:52:50
【Linux】冯诺依曼体系、再谈操作系统
目录 一、冯诺依曼体系结构:
1、产生:
2、介绍:
二、再谈操作系统:
1、为什么要管理软硬件资源:
2、操作系统如何进行管理:
3、库函数:
4、学习操作系统的意义: 一、冯诺依曼…
建站知识
2024/11/16 8:46:05