AdaLayerNorm【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT×Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品×Atlas 训练系列产品×功能说明算子功能AdaLayerNorm算子将LayerNorm和下游的Add、Mul融合起来通过自适应参数scale和shift来调整归一化过程。计算公式$$ out LayerNorm(x) * (1 scale) shift $$LayerNorm计算公式$$ LayerNorm(x) {{x-E(x)}\over\sqrt {Var(x)epsilon}} * weight bias $$其中E(x)表示输入的均值Var(x)表示输入的方差。参数说明参数名输入/输出/属性描述数据类型数据格式x输入表示进行归一化的输入数据对应公式中的x。shape为[B, S, H]其中B支持0到6维。FLOAT32、FLOAT16、BFLOAT16NDscale输入表示自适应缩放参数。对应公式中的scale。shape为[B, H]或[B, 1, H]其中B支持0到6维维度数量和大小与x中的B保持一致H与x中H维一致。FLOAT32、FLOAT16、BFLOAT16NDshift输入表示自适应偏移参数。对应公式中的shift。shape为[B, H]或[B, 1, H]其中B支持0到6维维度数量和大小与x中的B保持一致H与x中H维一致。FLOAT32、FLOAT16、BFLOAT16NDweight可选输入表示归一化缩放参数。对应公式中的weight。shape为[H]H与x中H维一致。FLOAT32、FLOAT16、BFLOAT16NDbias可选输入表示归一化偏移参数。对应公式中的bias。shape为[H]H与x中H维一致。FLOAT32、FLOAT16、BFLOAT16NDepsilon可选属性添加到分母中的值以确保数值稳定对应公式中的epsilon。默认值为1e-5f。FLOAT32-out输出表示归一化后的结果对应公式中的out。shape与x保持一致。FLOAT32、FLOAT16、BFLOAT16ND约束说明无调用说明调用方式样例代码说明aclnn接口test_aclnn_ada_layer_norm通过aclnnAdaLayerNorm接口方式调用AdaLayerNorm算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考