20种小技巧，玩转Google Colab

内容导航：

20种小技巧，玩转Google Colab

AI换脸云端colab训练常见问题有哪些？怎么解决？

Colab Pro+每月50刀的会员值不值？有人做了个开箱测评

google colab pro退订

一、20种小技巧，玩转Google Colab

选自amitness.com

作者：Amit Chaudhary

机器之心编译

编辑：陈萍

Google Colab 给广大的 AI 开发者提供了免费的 GPU，你可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。但关于 Colab 的使用技巧你又掌握了多少呢？这篇文章将介绍 20 种 Colab 使用技巧，帮你提高使用效率。

1. 便签本 Notebook

当我们在 colab 上尝试一些临时的东西时，我们会创建一堆杂乱、没有标题的 Notebook。

为了解决这个问题，你可以把以下链接加入书签：https://colab.research.google.com/notebooks/empty.ipynb

这将打开一个特殊的 scratch notebook，并且你对该 notebook 所做的任何更改都不会保存到你的主目录中。

2. 单元计时

通常，我们手动计算一段代码的开始时间和结束时间之间的差值来衡量所花费的时间。Colab 提供了内置功能来执行此操作。在执行了一个单元（cell）之后，将鼠标悬停在单元运行图标上，你将获得代码执行时间的估计值。

3. 运行某个单元的一部分

你也可以运行某个单元的一部分，通过选择单元格并点击 Runtime 索引到 Run Selection 按钮或使用键盘快捷键 Ctrl + Shift + Enter。

4. Jupyter Notebook 快捷键

快捷键为编程带来了便利，但 Jupyter Notebook 中的快捷键不能直接在 Colab 中使用。不过，这里有一个关系映射表来解决这一问题。从中可以看出，你只需要在 Jupyter 的快捷键前面加上「Ctrl +M」就能在 Colab 中使用。此规则适用于大多数快捷键。

以下是一些特例，其快捷方式已完全更改或保持不变。

5. 跳转到类定义

与 IDE 相似，你可以通过按 Ctrl 键，然后单击一个类名来跳转到类定义。例如，在这里我们通过按 Ctrl 并单击 Dense 类名来查看 Keras 中 Dense 层的类定义。

6. 在 GitHub 中打开 Notebooks

Google Colab 团队提供了官方的 Chrome 扩展程序。使用 colab 时，可以直接在 GitHub 上打开 notebooks。

扩展程序下载地址：https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安装后，单击 GitHub notebook 的 colab 图标直接将其打开。

或者，你也可以手动打开 GitHub notebook，将 github.com 替换为 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更简单的方法是用 githubtocolab.com 替换 github.com。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 从 Colab 运行 Flask 应用

使用 flask-ngrok 库（https://github.com/gstaff/flask-ngrok），你可以轻松地将运行在 colab 上的 Flask Web 应用程序转换为一个 demo 原型。

首先，你需要安装 flask 和 flask-ngrok。

!pip install flask-ngrok flask==0.12.2

然后，你只需要将「flask app」对象传递给「run_with_ngrok」函数，它将在启动服务器时公开 ngrok 端点。

from flask import Flaskfrom flask_ngrok import run_with_ngrok

app = Flask(__name__)run_with_ngrok(app)

@app.route('/')def hello(): return 'Hello World!' if __name__ == '__main__': app.run()

8. 在 Tensorflow 版本之间切换

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之间切换。

要切换到 Tensorflow 1.15.2，请使用以下命令：

%tensorflow_version 1.x

要切换到 Tensorflow 2.2，请运行以下命令：

%tensorflow_version 2.x

你需要重新启动才能生效。出于性能考虑，Colab 建议使用预安装的 Tensorflow 版本，而不是用 pip 命令安装它。

9. Tensorboard 集成

Colab 还提供了一个命令，可以直接从 notebook 使用 Tensorboard。你只需要使用 --logdir 设置日志目录位置。

你可以从官方 notebook 学到它的使用方法：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

%load_ext tensorboard%tensorboard --logdir logs

10. 查看资源限制

Colab 为他们的免费版本和专业版本提供了以下规格。根据自己的情况，如果你需要更好的运行时间、GPU 和内存，你可以以每月 10 美元的价格切换到专业版本。

可以通过运行以下命令查看你已经被分配到的 GPU：

!nvidia-smi

有关 CPU 的信息，可以运行此命令：

!cat /proc/cpuinfo

此外，你还可以通过运行以下命令查看 RAM 容量

import psutilram_gb = psutil.virtual_memory().total / 1e9print(ram_gb)

11. 使用交互式 shell

Colab 中没有内置的交互终端。但是可以使用 bash 命令以交互方式试用 shell 命令。只需运行此命令，你将获得交互式输入。

!bash

现在，你可以在给定的输入框中运行任何 shell 命令。

要退出 shell，只需在输入框中键入 exit。

12. 当前的内存和存储使用情况

Colab 提供了 RAM 和磁盘使用情况的指示器。如果将鼠标悬停在指示器上，将弹出一个窗口，其中包含当前内存和存储使用情况和总容量。

13.「Open in Colab」 标志

你可以使用如下 markdown 代码在 README.md 或 jupyter notebooks 中添加「Open in Colab 」标志。

在这段代码中，我们正在加载 SVG 图片，然后将其链接到 colab notebook。

[](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)

14. Pandas 交互表

Colab 提供了一个 notebook 扩展，用于向 pandas dataframes 添加交互式排序和过滤功能。要使用它，请运行以下代码。

%load_ext google.colab.data_table

在加载下面的扩展之后，你可以看到常规的 pandas dataframe 和交互式 dataframe。

15. 设置 Conda 环境

如果将 miniconda 用作 python 环境管理器，你可以通过在 notebook 顶部运行以下命令，在 colab 上对其进行设置。

# Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local# Make conda packages available in current environmentimport syssys.path.append('/usr/local/lib/python3.7/site-packages/')

执行完单元后，你可以照常使用 conda 安装软件包。

!conda install -y flask

16. 从命令行管理 Colab Notebooks

你可以使用名为 colab-cli 的库轻松创建 colab notebooks 并将其与本地 notebooks 同步：https://github.com/Akshay090/colab-cli

17. 运行后台任务

在某些情况下，我们需要先启动一些 Web 服务器或后台任务，然后才能执行常规程序。

要运行后台任务，请使用「nohup」命令，然后使用常规的 shell 命令，并在末尾添加「＆」使其在后台运行。这样确保可以在之后的 notebook 中运行单元，而不会被后台任务终止。

!nohup bash ping.sh &

18. 提醒训练完成

如果你要执行耗时较长的任务（例如训练模型），你可以将 Colab 设置为在完成后发送桌面通知。

要启用此功能，请转到「Tools ⮕ Settings ⮕ Site」，然后启用「Show desktop notifications」复选框。

这时将弹出一个窗口，以启用浏览器通知。只要接受它，即使你在另一个选项卡、窗口或应用程序上，colab 也会在任务完成时通知你。

19. 运行 javascript 代码

使用 %%javascript 命令运行 javascript 代码。

20. 在 Colab 上运行 VSCode

你可以在 Colab 上运行完整的 VSCode。请参考文档：https://amitness.com/vscode-on-colab/。

原文链接：https://amitness.com/2020/06/google-colaboratory-tips/

一、AI换脸云端colab训练常见问题有哪些？怎么解决？

colab的使用时长这个问题相信很多人都有过这样的困扰！

官方解释

官方的解释虚拟机的最长生命周期可以达到12个小时，但是很多情况下我们的正常的使用时间根本就没有12个小时。

新申请的Google账号最先是可以直接使用GPU的，也就是说可以“薅资本主义的羊毛”但是你能申请到的GPU也就是K80 或者是P100，脸白的兄弟可以连续使用两个小时的时间，但是大多数的玩家也就是一个小时不到的时间，与官方解释的连接时长有很大的差别，根本就没有说的12个小时。

而且达到限额之后不会再继续开放（我申请过很5个小号，到现在为止一个月了还是没有解开，无奈之下选择氪金）

这个时候就要想到升级花钱的Pro版本了 官方的定价是**美元（付费方式在文章的后面会有专门的解释）

升级的PRO版本本人亲自测试过，在你限额之后只要升级之后就会立马开通不再限额，而且使用的是最新的显卡（Tesla V100-SXM2-16GB），就算是显示限额之后第二天就会解开（这些东西都是作者自己使用过后再写的东西都是最新的也是最真实的）开通之后可以解决很多的问题，如果要是你打算经常使用的，我建议完全可以升级!!

训练模型截图

简单的说这是一张市价 好几万的显卡，太贵了，不建议！

网络素材

不论是想学习AI换脸娱乐的也好，还是想学习深度学习训练模型的也好，这都是一个不错的选择，云端训练模型的优点有很多，举个简单的例子：不用占用自己的电脑，直接在网站上运行，只需要能够访问Google就好（访问的方法我会放在文章的最后）

云端训练ai换脸的模型方法很简单，浏览器访问下面的网址一步一步在“笔记本”中运行就好了

Deepfacelab 云端训练中的常见的代码问题

一、

在“笔记本”中下载deepfacelab时下载的就只是deepfacelab软件的本身（说白了就是一个文件夹），没有workspace的文件夹（研究过换脸软件的应该都懂）需要自己上传自己的两个data的视频文件，很多人在这个地方都会踩坑，不知道该怎么办，这里作者分享一个简单好用的方法减少出错的概率（基本不会出错）这算是一个小技巧，刚开始玩的同学可能会出现这样的问题！

!git clone workspace

直接在旧笔记本中运行上面代码框中的代码（运行完成之后在deepfacelab文件夹下会生成一个workspace的文件夹，这个就是换脸软件最初的给的文件，里面的视频也是原版视频，使用的时候将这两个data的视频删除之后上传自己需要换脸的视频）这样会直接解决上传视频文件出错的问题。也是相当的好用！

继续训练时可以直接运行下面的代码，最好不要分开运行，很容易出错！

二、

在执行代码时网络不好的情况经常出现，这个时候需要重新连接，这个时候最容易出现代码出错问题（如下图）

如歌出现类似上面这样的代码说明你需要重新挂载你的google云盘，很简单只要重新加载挂载Google云盘的代码就好！

三、

如果遇到这样的代码出错的情况，那就是你需要重新安装的你的python环境才能够正常的运行

其他的问题：

一、在你剪切你的视频里面的脸的时候需要你自己去检查切脸的情况，直接点击workspace下面的目录查看文件就好，注意：删除的照片是aligned里面的照片 data下面的照片是全部的照片千万不要动（很多人基本上不太在意这一点，出错之后再去注意）

二、代码最好一气呵成，只要是运行到了组后的训练阶段就好，中键的步骤太多最容易出现错误。所以要确保自己的网络环境是稳定的，不要出现波动。只要是到了训练的阶段就会省事很多

三、国内的银行卡是没有办法去支付Google的，这个时候你可以去办理一张双币的信用卡，自己去直接付费。也可以直接上淘宝找这样的代付的网店一般也就是七十多块钱吧。还有一种方法也就是用苹果手机的付费方式

二、Colab Pro+每月50刀的会员值不值？有人做了个开箱测评

机器之心报道

编辑：陈萍、小舟

对于没有 GPU 的小伙伴们来说，谷歌 Colab 是一个公认的「真香」神器，穷苦学生党也能免费薅羊毛。

不过，使用的人多了，难免会出现不如意的情况，几个小时就掉一次线、分配的 RAM 不足等问题随之而来。然后 Colab 开启了会员机制。

就在前几天 Colab 搞了个会员 Colab Pro+，每月 50 刀、训练 24 小时不掉线。除了这种堪称至尊会员 Pro + 外，还有每月差不多 10 美元的 Colab Pro 超级会员。

据了解，Pro + 最大的特点是「后台执行」，关了浏览器还能运行那种。此外，Pro + 版的 GPU、内存和运行时长也将全面升级。

Pro + 究竟升级了什么，谷歌在「常见问题解答」里写得非常清楚。总结一下就是：

50 刀的价格属实不菲，入手之前不如先看看别人怎么说。一位名叫 Martin Henze 的开发者最近充了 Colab Pro + 会员，我们来看看 ta 的「开箱测评」。

事情是这样的，Martin Henze 参加了 Kaggle 的比赛，用的是自己的笔记本电脑，对于小模型和小图像来说自己的电脑也够用，但要想在排行榜上打榜升级，就必须扩大模型和数据规模，这样一来，电脑完全 hold 不住了。在 GPU 不够用的情况下，Henze 决定使用 Google Colab 付费选项来解决。

Henze 表示自己以前只使用过免费版的 Colab，现在发现还有 2 个付费版：Colab Pro 和 Colab Pro+。与 Pro 相比，Pro+ 版本宣传「优先访问更快的 GPU」。这么看来 Pro + 多了一个优先级，Pro 用户接下来的使用体验可能就没那么丝滑了。因此 Henze 萌生了测试 Pro + 的想法。

Henze 写了一篇博客来介绍自己在 Colab Pro+ 中发现的功能，以及在 Kaggle 比赛中使用 Colab 的最佳方法。此外，文章最后还介绍了 Colab 的可替代方案。

Colab Pro + 的特性

至于 Colab 的 TPU 运行时以及并发 CPU 会话的数量，Henze 还没进行测试。

一方面有优势，与免费的 Colab 和 Kaggle 资源相比，Pro + 用户能享受更高的连接稳定性，即使关闭计算机或浏览器标签页后，程序也能继续执行，上限是 24 小时。另一方面也有一些限制，例如在时间紧迫的情况下，一次只能进行 1 个会话，或者使用较慢的 P100 进行 2 个会话。

另外请注意，Colab FAQ 指出：为了防止有限的资源被少数用户垄断，Colab Pro 和 Pro + 中的资源优先考虑最近使用资源较少的用户。因此，用户似乎不太可能在一个月的时间里全天候使用 V100 GPU。对于这一点，作者也打算进行更多的实验，也许会遇到这个限制。

将 Kaggle Notebook 移到 Colab 上

如果你在一周内已经超出了可以使用的（相当多的）Kaggle 资源，或者在短时间内需要更多的资源，将 Kaggle Notebook 移到 Colab 将是一个很好的选择，在 Colab 上可以继续训练和实验。但这一过程并不容易，需要面临两个挑战：获取数据、设置 notebook 环境。此外，Colab 放弃了许多标准的 Jupyter 快捷键，这种做法会增加用户的工作量。

在 数据导入 Colab 方面：目前最好和最快的方法是通过 GCS_DS_PATH 复制数据，即谷歌云存储路径。自 2017 年 Kaggle 被谷歌收购以来，其框架已被大量集成到谷歌的云环境中。Kaggle 数据集和比赛数据都有云存储地址，可以从那里将数据转移到 Colab 上。

你可以通过在 Kaggle Notebook 中运行以下代码来获得 GCS_DS_PATH。将 seti-breakthrough-listen 替换为你自己的比赛（competition）或数据集的名称：

在 Colab 中，你可以使用 gsutil 工具复制数据集，甚至是单个文件夹，就像这样：

这比从 Google Drive 复制或通过 Kaggle API 下载来检索数据的速度要快得多。当然，获取数据也受到 24 小时运行时的限制。需要注意的是，会话断开后数据就丢失了，需要在新的会话中重新设置。

在会话中创建的文件（例如经过训练的模型权重或提交文件）或用户安装的自定义库，也要受到类似的限制。Colab 安装了常用的 Python 和深度学习工具，但都是旧版本。用户可以通过 pip 进行更新：

需要注意两件事：安装后需要重新启动才能导入新库。不用担心，重启后数据仍然存在，但你需要确保留出足够的磁盘空间来安装。

将输出保存在 Drive 上：最后要确保将实验结果（经过训练的权重、提交文件等）复制到 Google Drive 账户，以确保在运行时断开连接却不会丢失它们。当然你也可以手动下载，但自动复制相对更可靠。

可以像这样在 Colab notebook 中使用 Drive：

然后复制文件，例如通过 Python 中的 os.system。

可供选择的其他云 GPU

除了 Colab 及其付费版以外，还有其他的云 GPU 替代方案，或许它们可以提供更多的性能（也许能用上 A100），或许是更便宜、使用更灵活。除了大家所熟知的 GCP 和 AWS，还包括以下：

Paperspace Gradient ：G1 使用费用为每月 8 美元，并提供 GPU 和 6 小时运行时限制的免费版。除此之外，每小时花费 2.30 美元可以运行 V100。此外，G1 还能提供 200GB 的存储空间和 5 个并行运行的 notebook。

JarvisCloud ：每小时 2.4 美元可使用 A100 GPU 。此外，JarvisCloud 还提供最新的 Pytorch、FastAI、Tensorflow 作为预安装框架。存储高达 500GB，每小时最高 7 美分。

Vast.ai ：是一个出租 GPU 的平台。你可以在此访问 GCP、AWS 和 Paperspace 资源。不过价格差异很大，但有些看起来比具有相似可靠性的大公司便宜得多。

OracleCloud ：每小时支付约 3 美元可运行 V100，与 AWS 相当。此外， A100 也即将投入使用。

OHVcloud ：一家以价格优惠而闻名的法国供应商。每小时支付 1.7 美元就可以使用 1 块 V100，并提供 400GB 的存储空间。

当前市面上有很多云 GPU 选择，也许在这种良性竞争下，我们会看到价格的合理调整。

参考链接：

三、google colab pro退订

进入设置。
操作步骤：1、打开colabpro。
2、进入设置。
3、点击colabpro项里面的取消订阅。Colab是谷歌推出的一款在线深度学习工具，提供TeslaV100、T100等GPU。