本文分类:news发布日期:2024/12/3 0:53:54
相关文章
基于 LlamaFactory 的 LoRA 微调模型支持 vllm 批量推理的实现
背景
LlamaFactory 的 LoRA 微调功能非常便捷,微调后的模型,没有直接支持 vllm 推理,故导致推理速度不够快。
LlamaFactory 目前支持通过 VLLM API 进行部署,调用 API 时的响应速度,仍然没有vllm批量推理的速度快。 …
建站知识
2024/12/3 0:44:48
理解字母形状,从而获得含义
英文字母,都是象形符号,所以,理解其形象,所象之形,是一项重要的工作,和非常有意义事情。也是我们快速记住大量单词,将单词从底层逻辑开始理清,融会贯通扩展记忆容量的重要办法之一。…
建站知识
2024/12/3 0:40:15
加解密系列之摘要算法
摘要算法 概念常用摘要算法基本使用辅助函数 概念
摘要算法,通常用于对数据计算摘要用以签名或者不可逆加密(明文密码加密)等场景。 摘要算法的特点
常用摘要算法
MD5(摘要长度16字节)SHA-1(第一代散列算…
建站知识
2024/12/2 23:56:55
第02章 使用VMware部署CENTOS系统
一、VMware软件的介绍 实际学习中,我们不至于去买一台服务器来部署Linux操作系统。我们可以通过VMware软件虚拟化自己的电脑,将其虚拟化为多台独立的机器,从而方便部署Linux操作系统进行学习使用。
下载地址:VMware Workstation …
建站知识
2024/12/2 23:33:54
docker中redis查看key、删除key
查看docker启动的进程
docker ps这个命令会列出所有正在运行的容器,包括容器的 ID、镜像名称、创建时间、状态、端口映射和名称
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1a2b3c4d5e6…
建站知识
2024/12/2 23:17:59
【NLP 4、数学基础】
此去经年,应是良辰美景虚设 —— 24.11.28 一、线性代数
1.标量和向量
① 标量 Scalar
一个标量就是一个单独的数
② 向量 Vector
一个向量是一列数
可以把向量看作空间中的点,每个元素是不同坐标轴上的坐标
向量中有几个数,就叫作几维…
建站知识
2024/12/2 23:07:35