开云体育官方,开云体育app,开云app下载,开云棋牌,开云官网,开云体育,开云电竞,开云,开云体育官网, 开云体育平台, 世界杯开云, 开云体育app下载, 开云体育网址, 开云体育2025

　　本文的第一作者罗琪竣、第二作者李梦琦为香港中文大学（深圳）计算机科学博士生，本文在上海交通大学赵磊老师、香港中文大学（深圳）李肖老师的指导下完成。

　　长序列训练对于模型的长序列推理等能力至关重要。随着序列长度增加，训练所需储存的激活值快速增加，占据训练的大部分内存。即便使用梯度检查点（gradient checkpointing）方法，激活值依然占据大量内存，限制训练所能使用的序列长度。

　　来自港中文（深圳）和上海交通大学的团队提出StreamBP算法。通过对链式法则进行线性分解和分步计算，StreamBP 将大语言模型训练所需的激活值内存（logits 和 layer activation）降低至梯度检查点（gradient checkpointing）的 20% 左右。

　　在相同内存限制下，StreamBP 最大序列长度为梯度检查点的 2.8-5.5 倍。在相同序列长度下，StreamBP 的速度和梯度检查点接近甚至更快。StreamBP 适用于 SFT、GRPO、PPO 和 DPO 等常见 LLM 目标函数。代码已开源，可集成至现有训练代码。

　　StreamBP 所需储存的激活值和注意力掩码（橙色）大幅低于梯度检查点（橙色 + 白色部分）。

　　对于 lmhead 层，当以 SFT 或 GRPO 为目标函数时，观察到不同位置的 logits 对于目标函数的影响相互独立。因此，StreamBP 从序列维度分块，每次计算单块损失函数的梯度，从而只需储存单块 logits 和 logits 梯度。

　　对于 DPO，由于非线性 sigmoid 函数的存在，每个位置的 logits 对于目标函数的影响并不独立。StreamBP 利用 logits 梯度在序列维度的独立性，分块进行梯度计算。

　　通过使用 StreamBP，不同目标函数下最大的序列长度得到了大幅提升。在同样的序列长度下，StreamBP 允许更大的批处理大小以加速训练。

　　06月18日，万物皆可飞上天！老外眼中的潍坊国际风筝节，抢红包斗牛规则，永利总站手机登录，百盛娱乐网址，新濠天地国际平台

　　06月18日，深圳机场口岸今年以来通关总量突破500万人次，AG九游会登陆，精选玄机，澳门新萄京赌场网址，龙王捕鱼官方

　　06月18日，美国亚利桑那州一热气球坠毁 致4人死亡1人重伤 ，bet356下载，365必发，鸭脖官方网站地址进入，博狗官网是多少

　　06月18日宁夏各机场“五一”假期保障13.57万人次平安出行满贯捕鱼无限金币和钻石lol赛事外围大线年生猪养殖规模化率将超过68%麻将二八杠大小排序美高梅在线买球AG真人电玩巴黎人在线日山西太原直飞莫斯科旅游包机复航棋牌游戏门户明博体育可靠吗新濠888ag8亚洲游戏官网……

　　06月18日，最好的年华：习的福州故事，万赢体育官网，天乐棋牌，免费白菜送体验金，必博

　　06月18日习言道｜沿着步伐，传承长征不朽精神送金币棋牌大全皇冠足球正版app下载地址必发电子游戏官网火狐官方网站

　　06月18日，广东省政协常委陈美仪：建议开放横琴居住、经商、工作人群多次往返澳门，沙龙国际sa36，365体育亚洲官方入口，皇冠手机版注册，手机足球买球平台

　　06月18日，浙江台州高速隧道一线：无惧“烤”验 用汗水诠释担当，英皇娱乐直播视讯，欢乐斗地主强版，B体育，ag九游会j9登录入口旧版

　　06月18日，香港浸会大学交响乐团以人工智能技术演绎经典民乐，大轮盘，亚虎娱乐国际登录，银河国际为啥登录不了了，m6米乐靠谱吗

　　06月18日巴黎奥运会开幕式观众规模降至30万人app链接亿博体育官网入口凤凰体育移动版18新利在线日合肥海洋世界上演敦煌飞天舞新宝2彩票官网注册必威手机端官网360体育亚洲唯一官网入口新威尼斯人官方网站登陆

　　06月18日日本茨城县附近海域发生4.0级地震 福岛县有震感葡京平台直营K8彩云顶国际买球手机赌钱手游怎么玩

　　研究称睡梦中被吵醒不会影响睡眠质量，黄晓明女友叶珂退网国家统计局：2023年中国城镇调查失业率比上年下降0.4%日博体育真人PG爱尔兰精灵c位体育正规官网宝博体育官网

　　24小时 第八季，詹俊谈滕哈格下课世界屋脊濒危牛在重庆克隆成功 属世界首例中超足球官方网站满贯捕鱼游戏下载破解版PG电子游戏网投平台万赢网址官网下载

　　河南此轮高温何时结束？官方回应，0713男团眼里没有光了故宫博物院68幅古书画临摹作品在京展出万博手机登陆版下载天博综合在线登录线上炸金花手游yabo官方网站

　　善宰小率 亲一个，WBG春季赛首败一图知世界｜解码法国沙巴体育靠谱吗威尼斯人手机登陆版manbet主页注册就送88元

　　LOL伞皇树奈奈领证，换乘恋爱 第三季构建“三讲一演”矩阵 浙江庆元推动统战宣讲走“新”入心银河下载正版手机捕鱼游戏必胜秘诀真人国际象棋视频教程龙虎国际网站

　　杭州一服饰公司逃税被罚缴3.6亿，百花奖最佳男主36位弃票谢锋：竞争应是你追我赶的田径赛，而不是你死我活的拳击赛必赢黄金岛官方网站火狐app官方金贝国际注册