江南体育,江南体育平台,江南体育app下载,江南体育注册,足球竞彩,篮球竞猜,体育投注平台
【新智元导读】原生1bit大模型BitNet b1.58 2B4T再升级！微软公布BitNet v2，性能几乎0损失，而占用内存和计算成本显著降低。
即使将权重量化到1.58位，也能在极大降低推理成本（延迟、内存占用、吞吐量、能耗）的同时，保持与全精度模型相当的性能。
BitNet v2框架，首次实现对1比特LLMs的原生4比特激活值量化。
针对注意力机制和前馈网络中激活值的异常分布问题，在激活值量化前，H-BitLinear模块施加在线Hadamard变换（Hadamard transformation）。
这种变换能将尖锐的激活值分布转化为更接近高斯形态的平滑分布，从而适配低比特表示。
得益于下一代GPU（如GB200）等硬件的进步，深度学习领域正迅速采用量化和低比特推理技术。
然而，尽管BitNet b1.58将权重量化为1.58比特，缓解了内存带宽瓶颈，但它的激活值仍保持8比特精度。
实现更低比特宽度的激活值对于最大化硬件利用率至关重要，尤其是在批处理推理场景中，高效的内核设计尤为重要。
虽然注意力机制和前馈网络（FFN）层的输入通常呈现类高斯分布，适合量化，但中间状态（最终投影前的输出）往往包含显著的离群值，阻碍了激进的低比特量化。
图1下半部分：注意力层中输出投影Wo和前馈网络中下投影Wdown的激活分布情况
尽管性能损失较小，但稀疏化并不适合批处理推理场景的最大吞吐量需求，因为硬件更倾向于密集计算以提升效率。
为弥合这一差距并充分发挥1.58比特LLM在4比特计算中的潜力，研究团队提出了BitNet v2框架，实现了模型全流程的原生4比特激活值，框架核心创新是H-BitLinear。
BitNet v2模型基于类似LLaMA的组件构建，包括RMS归一化、SwishGLU激活函数，并完全移除了偏置项（bias）。
与先前的BitNet相比，BitNet v2在注意力模块的输出投影Wo和前馈网络（FFN）的下投影Wdown中，引入了H-BitLinear模块，以专门处理中间状态中出现的异常通道（outlier channels）。
随后，在保持权重量化不变的基础上,将所有线性层（除输入/输出embedding外）进一步微调为4位激活（INT4）。
注意力层和前馈网络中前置线性变换的输入激活，通常呈现高斯分布，较适合量化；
而注意力输出（Wo）和FFN下投影（Wdown）的中间状态激活，则往往包含大量离群通道（outlier channels），且大部分值集中于0附近，严重影响低位量化精度。
H-BitLinear可以取代注意力机制输出投影和FFN下投影的标准线性层。
H-BitLinear在激活量化前应用在线哈达玛变换），把中间状态中尖锐、易产生离群值的分布重塑为更易处理的类高斯分布，显著减少1.58比特模型中离群值的影响。
它的特点是每个元素只能是+1或-1，并且每行（或每列）之间的内积为0，表示彼此正交。
如图2和图3所示，引入Hadamard变换后，中间状态的分布更加接近高斯形态。
图3：采用8比特激活值时，BitNet b1.58与BitNet v2在前馈网络Wdown层和注意力机制Wo层的激活值分布对比。
对于8位激活（INT8）和4位激活（INT4）量化策略，分别采用下列策略：
研究团队从头开始使用8比特激活值训练BitNet v2，与BitNet b1.58相比性能损失微乎其微。
实验表明，4比特BitNet v2变体在性能上与BitNet a4.8相当，但在批处理推理场景中提供更高的计算效率。
此外，与后训练量化方法SpinQuant和QuaRot，则几乎全面领先。
在注意力机制和前馈网络（FFN）层的量化前引入哈达玛变换后，模型的困惑度（perplexity）下降极小。
对于8比特激活值，BitNet v2相较于BitNet b1.58表现出更高的性能，在1.3B、3B和7B模型规模上，终端任务的平均准确率分别提升了0.16%、0.49%和0.61%。
此外，BitNet v2支持所有线比特激活值，从而显著提升了批处理推理的效率。
在使用INT4（4比特整数）激活值时，BitNet v2的困惑度与BitNet a4.8相当，同时在3B和7B模型的下游任务中展现出更优的性能。
表2和表3分别总结了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注意力机制下的详细结果。
如表2和表3所示，采用3比特KV缓存的BitNet v2在3B和7B模型上的准确率与使用全精度KV缓存的模型相当。
表2：BitNet v2在终端任务上的零样本准确率，其中激活使用8位，而QKV状态的位宽则有所不同。
表3：BitNet v2在终端任务上的零样本准确率，其中激活使用4位，而QKV状态的位宽则有所不同。
BitNet v2 (a4)与主流的后训练量化基线方法进行了对比，包括SpinQuant和QuaRot，在1.3B参数规模的模型上进行了评测。
随后，这两种方法分别采用GPTQ和absmax策略，将权重和激活量化到4位。
由于BitNet b1.58沿用训练时使用的absmean函数进行权重量化，而非使用GPTQ。
另外，在Hadamard变换对不同模型尺寸（1.3B和3B）影响的实验（见表5）中，研究者发现：
引入Hadamard旋转（无论是权重+激活，还是仅激活），都能显著稳定低位训练，并提高最终准确率。
05月27日，改善经营主体预期 增强发展内生动力（评论员观察），365官方网站是多少，a8体育安卓版，正规的买球app排行十佳平台，竞技宝
05月27日，中国央行启用公开市场买断式逆回购操作工具，能赢钱的游戏，捕鱼达人无限金币版，澳门九五至尊电玩网投，注册账号送钱的网站
05月27日，从展览延伸至论坛 《了不起的“她们”》探讨女性艺术的发展机遇，手机上下分的捕鱼下载，精选玄机，澳门网投中心，188bet娱乐官网
05月27日“中国消费市场充满活力”（见证·中国机遇）国际斯诺克中文版下载线kok最新版APPvwin娱乐官网品牌官网网络棋牌牛牛游戏
05月27日2024年首季香港外汇基金投资赚543亿港元leyu乐鱼苹果版沙巴体育信誉官方押飞禽走兽的公式AG网站
05月27日锚定现代化 改革再深化丨内外兼修 “世界白茶发源地” 福建福鼎做足“福鼎白茶”发展文章博鱼体育平台登录万博官网手机登录入口万博的网址谁知道星河网上娱乐……
05月27日，促进房地产市场平稳健康发展税收优惠政策发布，永利体育外围官网，mg注册送30，盛世棋牌娱乐棋牌，进入最新申搏sunbet官网
05月27日，辽宁省第六届暨高校第五届中华传统礼仪手语大赛在沈阳举办，永乐国际app官方网站，米乐m6平台官方版，世界杯滚球app，果博在线日（新春见闻）百年社火村：制造年味 留住乡愁韦德app下载地址九游会网址多少网包租婆mg官方电子平台
05月27日，后厨直播不应沦为摆设，银河官网下载，竞彩购买app排行榜，所有体育平台有哪些，新甫京娱乐娱城
05月27日，两会“部长通道”：传递权威声音 回应热点话题，百老汇登录网址，波克捕鱼达人官方正版下载，体育开户平台官网，dt电子游戏
05月27日，皖台青年职工在合肥比技能传匠心，乐鱼苹果版，米乐在线试玩，皇冠新现金网平台，欧宝电竞首页官网
05月27日“全球南方”媒体对话合作机制在福建泉州启动澳门星际官网网站银河注册彩金im电竞登录官网纬来体育app下载
05月27日第十五届全国运动会市场开发计划发布暨启动仪式在穗举行直播视讯球盟会官方登录平台入口app永利新登录网址是多少多宝网站是什么
05月27日“五一”假期“向云端” 浙江低空游览借势“起飞”申博开户中老虎城网站菠菜平台大全188体育在线充值
人气足消费旺 市场潜力加速释放，以总理：谁伤害我们 我们就伤害谁贵州扎实推进数字经济发展创新区建设葡京平台直营乐游游戏app大富豪平台网站多少bbin怎么注册
夺宝天团，mlxg砸键盘受伤蒋勤勤获第十七届亚洲电影大奖影后188滚球手机版真钱注册agleyu乐鱼娱乐app下载bwin在哪里玩
Hero感谢迷风花半年来的付出，密室大逃脱 第六季斯诺克世界大奖赛：中国军团2胜2负 已有3人晋级16强滚球正规网站美高梅排名大全博雅德克萨斯扑克官网kok体育
张泽禹张极双人舞，演练应对自杀无人机画面曝光第1视点｜同心gpk电子有试玩吗线上彩票平台凯时官网是多少万博英超狼队官网
陕西省政协原主席韩勇被开除党籍，同情者山林篝火并不浪漫 户外游该补补防火课澳门十大电子正规游戏下载yabo22vip手机版注册皇冠轮盘365bet体育下注线上注册
女生每月3次月经 脑部查出垂体瘤，我有一个朋友鸡蛋、玉米淀粉、生猪期权在大连商品交易所挂牌上市金沙直营厅云顶国际世界杯下注澳门电子游戏app在线视讯正在跳转
C罗敬酒？其实是银耳雪梨汤，“五一”假期开启“韵味”旅游季佛山发出首张双皮奶食品生产许可证永乐国际一往无前泛亚电竞菠菜足彩即时比分永利大全
