训练速度提高最多5.4倍，谷歌提出RL训练新范式ActorQ

内容导航：

训练速度提高最多5.4倍，谷歌提出RL训练新范式ActorQ

我的孩子干什么都很慢，怎样才能提高速度？

提高长跑速度训练方法

小学生写字慢怎么样提高速度

一、训练速度提高最多5.4倍，谷歌提出RL训练新范式ActorQ

机器之心报道

编辑：rome rome

近日，谷歌的研究者提出了一种称为「ActorQ」的新范式，使用量化将强化学习训练速度提高 1.5-5.4 倍。与全精度训练相比，碳足迹也减少了 1.9-3.8 倍。

此前，由谷歌大脑团队科学家 Aleksandra Faust 和研究员 Srivatsan Krishnan 发布的深度强化学习模型在解决导航、核物理、机器人和游戏等现实世界的顺序决策问题方面取得巨大进步。它很有应用前景，但缺点之一是训练时间过长。

虽然可以使用分布式计算加快复杂困难任务的强化学习的训练，但是需要数百甚至数千个计算节点，且要使用大量硬件资源，这使得强化学习训练成本变得极其高昂，同时还要考虑对环境的影响。最近的研究表明，对现有硬件进行性能优化可以减少模型训练的碳足迹（即温室气体排放总量）。

借助系统优化，可以缩短强化学习训练时间、提高硬件利用率、减少二氧化碳（CO2）排放。其中一种技术是量化，将全精度浮点（FP32）数转换为低精度（int8）数，然后使用低精度数字进行计算。量化可以节省内存成本和带宽，实现更快、更节能的计算。量化已成功应用于监督学习，以实现机器学习（ML）模型的边缘部署并实现更快的训练。同样也可以将量化应用于强化学习训练。

近日，谷歌的研究者在《Transactions of Machine Learning Research》期刊上发表了《QuaRL：快速和环境可持续强化学习的量化》，介绍了一种称为「ActorQ」的新范式。该范式使用了量化，在保持性能的同时，将强化学习训练速度提高 1.5-5.4 倍。作者证明，与全精度训练相比，碳足迹也减少了 1.9-3.8 倍。

量化应用于强化学习训练

在传统的强化学习训练中，learner 策略会应用于 actor，actor 使用该策略探索环境并收集数据样本，actor 收集的样本随后被 learner 用于不断完善初始策略。定期地，针对 learner 的训练策略被用来更新 actor 的策略。为了将量化应用于强化学习训练，作者开创了 ActorQ 范式。ActorQ 执行上面描述的相同序列，其中关键区别是，从 learner 到 actor 的策略更新是量化的，actor 使用 int8 量化策略探索环境以收集样本。

以这种方式将量化应用于强化学习训练有两个关键好处。首先，它减少了策略的内存占用。对于相同的峰值带宽，learner 和 actor 之间传输的数据较少，这降低了 actor 与 learner 之间的策略更新通信成本。其次，actor 对量化策略进行推理，以生成给定环境状态的操作。与完全精确地执行推理相比，量化推理过程要快得多。

传统 RL 训练概述（左）和 ActorQ RL 训练（右）。

在 ActorQ 中，作者使用了 ACME 分布式强化学习框架。量化模块执行统一量化，将 FP32 转换为 int8。actor 使用优化的 int8 计算进行推理。虽然在设计量化模块块时使用的是均匀量化，但其它量化技术可以取代均匀量化并产生类似的结果。actor 收集的样本供 learner 用于训练神经网络策略。学习的策略被量化模块定期量化并广播给 actor。

以量化提升强化学习训练效率

作者在一系列环境中评估 ActorQ，包括 Deepmind Control Suite 和 OpenAI Gym。作者演示了 D4PG 和 DQN 的加速和性能改进。选择 D4PG 是因为它是用于 Deepmind Control Suite 任务的 ACME 中最好的学习算法，而 DQN 是一种广泛使用的标准强化学习算法。

作者在实验中观察到训练强化学习策略的速度显著加快（1.5 倍至 5.41 倍之间）。更重要的是，即使 actor 进行了基于 int8 的量化推理，也可以保持性能。下图显示了用于 Deepmind Control Suite 和 OpenAI Gym 任务的 D4PG 和 DQN 智能体的这一点。

对 D4PG 智能体在各种 Deepmind Control Suite 任务中使用 FP32 策略（q=32）和量化 int8 策略（q=8）的强化学习训练进行比较。量化实现了 1.5 倍到 3.06 倍的速度提升。

OpenAI Gym 环境中 DQN 智能体使用 FP32 策略（q=32）和 int8 量化策略（q=8）进行强化学习训练的比较。量化实现了 2.2 倍到 5.41 倍的加速。

量化减少碳排放

使用 ActorQ 在强化学习中应用量化可以在不影响性能的情况下缩短训练时间。更有效地使用硬件，并减少了碳足迹。作者通过在训练时使用 FP32 的碳排放量与在训练时采用 int8 的排放量之比来衡量碳足迹的改善。

为了测量强化学习训练实验的碳排放量，作者使用了之前工作中提出的 experiment-impact-tracker (https://github.com/Breakend/experiment-impact-tracker)。ActorQ 系统配备碳监测器 API，以测量每个训练实验的碳排放量。

与全精度运行时的碳排放量（FP32）相比，量化可将碳排放量从 1.9 倍降至 3.76 倍，具体取决于任务。由于强化学习系统可以在数千个分布式硬件核心和加速器上运行，绝对碳减排量（以千克二氧化碳计）可能会非常显著。

比较使用 FP32 和 int8 的训练之间的碳排放。X 轴标度标准化为 FP32 的碳排放量，用红色条表示。ActorQ 减少了碳排放。

结论和未来方向

作者引入了 ActorQ，这是一种新的范式，将量化应用于强化学习训练，并在保持性能的同时实现了 1.5-5.4 倍的加速改进。与未应用量化的全精度训练相比，ActorQ 可以将强化学习训练的碳足迹减少 1.9-3.8 倍。

ActorQ 证明量化可以有效地应用于强化学习的许多方面，从获得高质量和高效的量化策略到减少训练时间和碳排放。随着强化学习在解决现实问题方面继续取得长足进步，我们有理由相信，使强化学习训练实现可持续发展将是关键。当将强化学习扩展到数千个 CPU 和 GPU 时，即使 50% 的改进也会在成本、能源和碳排放方面显著降低。作者的工作是将量化应用于强化学习训练以实现高效和环境可持续训练的第一步。

作者在 ActorQ 中的量化设计基于简单的均匀量化，但实际可以应用其他形式的量化、压缩和稀疏性（如蒸馏、稀疏化等）。未来的工作将考虑应用更积极的量化和压缩方法，这可能会为强化学习在训练性能和精度的权衡上带来更多的好处。

原文链接：

https://ai.googleblog.com/2022/09/quantization-for-fast-and.html

一、我的孩子干什么都很慢，怎样才能提高速度？

1、通过游戏来加以改变

父母可以经常与孩子玩一些小的竞技游戏，使孩子在游戏中提高自己动作的敏捷程度。例如，比赛看谁吃饭快，比赛看谁穿衣服快等，这些游戏能激发孩子进取心。孩子喜欢玩，但是，玩多了孩子可能就会觉得没趣，这时要给予适当的奖励来鼓励孩子的“胜利”。

2、让孩子与自己比赛

父母帮孩子设计一张“比赛”成绩表，记下最初的时间，然后，每天记录实际完成的时间，如果比以前有进步，就给予奖励，如果没有进步，保持原状，或者退步，就不给予奖励。父母可以让孩子先从简单容易的做起，逐渐向比较困难的任务进发，一直到达合适的时间为止。

3、父母采用记数法来督促孩子抓紧时间完成某件事情

记数法很简单，随时可用，父母可以与孩子事先讲明白，看数到第几声的时候孩子可以做完某件事情。然后父母让孩子准备好，说声“开始”，就开始计时了。“1、2、3、4、5……”，一边数，一边看孩子，孩子为了完成任务，就会尽量抓紧时间将事情做完。

4、使用硬性规定来达到改变动作慢的目的

父母首先估计出孩子尽最大能力能够完成某项事情的时间，然后规定孩子在这个时间内完成这项事情，否则就不让他继续做下去。时间一到就要停止。比如吃饭，到时间就把饭菜收起来，并且对孩子说：“我很失望，我希望你下次能按时把饭吃完。”

5、合理安排时间，提高时间利用率

在日常活动中，父母要教会孩子如何利用做事的先后来提高效率，使同样的时间，可以做更多的事情，或者同样的事情可以用更少的时间。如起床大小便之后就不能再回被窝耍赖了，要直接穿好衣服去洗漱，然后等待和家长一起去上幼儿园；再如，吃饭之前不能再看第二张动画片地盘了，否则时间又被拖延过去了。

二、提高长跑速度训练方法

　　长跑的速度和耐力非一日而成，你的目标5公里20分钟是个数值，也只是一道坎，并非人类极限不可逾越，何况人类无极限。

　　我现在就带给大家如何提高长跑速度的训练方法。以下建议你有计划的进行跑步训练，训练过程中要注意四点：

　　1. 耐力

　　如果我们把跑步看作是一个金字塔，每年一次到两次的最高级的比赛作为它的金字塔顶，耐力基础是塔的塔基。对追求健康的跑步者来说，塔基是他们最感兴趣的。但对大多数的跑步者来说，塔基是整个计划的开始和结束，没有良好的基础，较大强度的力量工作和速度工作是不可能做到的。

　　部分的跑步者往往忽略了计划，从而使我们的跑步受到不良的影响其实我们可以很好地设计自己的跑步计划，特别是在每年一度的为耐力训练打下良好基础的时间里。

　　2. 力量

　　不管什么年龄的`跑步者，很少有人努力去锻炼腿部以外的肌肉。但是，在日常训练中，有规律地安排一系列简单的上身力量练学，将有效地提高训练者的跑步能力。目的是提高肩臂的力量和耐力，以及腹部和背部肌肉的力量。

　　通过合理地利用双臂，跑步者的成绩可以提高近12%。不知道利用双臂的普通的跑步者就很不幸，跑步的距离越长，双臂就越疲劳。双臂能有效地维持步幅是因为，他们像一个节拍器一样有节律地带动着腿的节奏。

　　增加上臂的力量可通过简单的俯卧撑练学。做俯卧撑时不用太快，并注意两臂的宽度来加强背、肩、臂的力量，所有这些部位在长跑的最后阶段将起重要的作用。

　　不要一下子做得太多，刚开始做4次到5次即可，然后，随着力量的增加而逐渐增加次数。做俯卧撑的好处在于用你自身的体重提供阻力，3而不需要投资任何设施。

　　跑步时，另一块重要的肌肉是腹部肌肉。无力而松弛的腹部是你在长跑训练、比赛的最后阶段步幅减小、胸腔缩小，运送到腹部的空气总量减少。此外由于腹部肌肉的力量差，可能会给和腹部相对的腰部肌肉带来麻烦。解决的办法是有计划、有规律地做仰卧起坐。

　　这个练学使背部、腰部、腹部肌肉都会得到锻炼。把加强上身力量融入到你的日常跑步中去，简单的方法就是像每天跑完步后要做整理运动一样来做它。

　　一开始做10个仰卧起坐，5个俯卧撑和20次双臂屈伸，在两个星期后增加到12个仰卧起坐，6个俯卧撑和24个双臂屈伸。

　　3. 速度

　　细分跑步速度是怎样才算是快：

　　一，腿部力量大，暴发力强，起动快，跑的途中频率快，这与平时的锻炼是分不开的，锻炼者可以在练学的时候有意的提高频率，以适应在高频率下跑动，从而在总体上有速度上的提高。

　　二，跑步中的幅度，幅度越大，总体的速度也就越快，幅度大这跟平时的压腿跨度有关，练学者可以多练练压腿。还有关速度的提高也迁摄到身体的柔韧性方面了，这要经过长期的身体训练来提高柔韧性。

　　4. 休息

　　跑步的4个要素中，许多跑步者在训练耐力方面打下了一个良好的基础。有的跑步者把速度与耐力协调得相当好。

　　但是，很少有跑步者认真对待休息这个重要的部分。有足够的证据证明，休息在4个基本的要素中是最主要的因素。跑步给我们带来很多的好处，而这些好处都是我们用代价换来的。

　　在跑步中这个代价就是肌体内肌肉组织的不断被破坏和重组的反复过程。无休止地跑步最终会导致肌肉损伤，在跑步中，我们认为损伤和过度使用的含义相同。而肌肉组织在休息后比原来更加强壮了。

三、小学生写字慢怎么样提高速度

第一练：快速运指、运腕

快速运指、运腕训练，就是手指快速伸缩、手腕快速摆动训练，其目的是让手指、手腕活起来。

★快速运指、运腕训练

训练工具：节拍器

训练方法：以60节拍的速度在白纸上重复地“划线”、“画圆”、“打点”、“打钩”，如下图：

第二练：正确施力书写训练

有了“第一练”，写字就能快起来吗？可以说，有了“第一练”，就有了写快的“基础”。但是，有了“第一练”，也未必能把字写快。大家都知道，在汉字的书写中，不同笔画的施力方式是不同的，如“点”、“竖”、“捺”的正确施力方式是手指施力，“横”、“提”、“钩”的正确施力方式是手腕施力。所谓“正确的施力方式”就是最省力、最便发力的施力方式。如果写字的施力方式不正确，那么写字时指腕就易酸痛、松笔或停笔次数就增多，写字也很难快起来。所以，要想把字写快，就需要用正确的施力方式书写。然而，很多学生不会正确施力，他们写“横”时用手指施力、写“竖”时用手腕施力。怎么办？ 那就要进行第二练—正确施力书写训练。

★正确施力书写训练

（1）翘起食指划横线

手掌根部的支点保持不动、翘起食指，利用手腕的摆动快速地划横线，如下图：

（2）松开拇指划竖线

手掌根部的支点保持不动、松开拇指，用食指按压笔杆快速地划竖线，如下图：

（3）用正确的施力方式书写汉字

在白纸上重复书写6个汉字“三”、“川”、“八”、“刁”、“弋”。在书写时，要始终保持用正确的施力方式书写，如下图：

第三练：用笔尖的右半侧书写

有了“第一练”和“第二练”，写字一定轻快了不少。如果想把字写得更加轻松、快捷，那么还需要进行第三练—用笔尖的右半侧书写。大家都清楚，用笔尖的右半侧书写，行笔的阻力最小、视线最清晰、书写最流畅。可以说，“用笔尖的右半侧书写”是提高书写速度的一大秘诀。

★用笔尖的右半侧书写训练