20种小技巧,玩转Google Colab

作者: Amit Chaudhary 2020-09-28 10:58:26

Google Colab 给广大的 AI 开发者提供了免费的 GPU,你可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。但关于 Colab 的使用技巧你又掌握了多少呢?这篇文章将介绍 20 种 Colab 使用技巧,帮你提高使用效率。

20种小技巧,玩转Google Colab

1. 便签本 Notebook

当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

20种小技巧,玩转Google Colab

为了解决这个问题,你可以把以下链接加入书签:https://colab.research.google.com/notebooks/empty.ipynb

这将打开一个特殊的 scratch notebook,并且你对该 notebook 所做的任何更改都不会保存到你的主目录中。

2. 单元计时

通常,我们手动计算一段代码的开始时间和结束时间之间的差值来衡量所花费的时间。Colab 提供了内置功能来执行此操作。在执行了一个单元(cell)之后,将鼠标悬停在单元运行图标上,你将获得代码执行时间的估计值。

20种小技巧,玩转Google Colab

3. 运行某个单元的一部分

你也可以运行某个单元的一部分,通过选择单元格并点击 Runtime 索引到 Run Selection 按钮或使用键盘快捷键 Ctrl + Shift + Enter。

20种小技巧,玩转Google Colab

4. Jupyter Notebook 快捷键

快捷键为编程带来了便利,但 Jupyter Notebook 中的快捷键不能直接在 Colab 中使用。不过,这里有一个关系映射表来解决这一问题。从中可以看出,你只需要在 Jupyter 的快捷键前面加上「Ctrl +M」就能在 Colab 中使用。此规则适用于大多数快捷键。

20种小技巧,玩转Google Colab

以下是一些特例,其快捷方式已完全更改或保持不变。

20种小技巧,玩转Google Colab

5. 跳转到类定义

与 IDE 相似,你可以通过按 Ctrl 键,然后单击一个类名来跳转到类定义。例如,在这里我们通过按 Ctrl 并单击 Dense 类名来查看 Keras 中 Dense 层的类定义。

20种小技巧,玩转Google Colab

6. 在 GitHub 中打开 Notebooks

Google Colab 团队提供了官方的 Chrome 扩展程序。使用 colab 时,可以直接在 GitHub 上打开 notebooks。

扩展程序下载地址:https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安装后,单击 GitHub notebook 的 colab 图标直接将其打开。

20种小技巧,玩转Google Colab

或者,你也可以手动打开 GitHub notebook,将 github.com 替换为 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更简单的方法是用 githubtocolab.com 替换 github.com。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 从 Colab 运行 Flask 应用

使用 flask-ngrok 库(https://github.com/gstaff/flask-ngrok),你可以轻松地将运行在 colab 上的 Flask Web 应用程序转换为一个 demo 原型。

首先,你需要安装 flask 和 flask-ngrok。

  1. !pip install flask-ngrok flask==0.12.2 

然后,你只需要将「flask app」对象传递给「run_with_ngrok」函数,它将在启动服务器时公开 ngrok 端点。

  1. from flask import Flaskfrom flask_ngrok import run_with_ngrok 
  2.  
  3. app = Flask(__name__)run_with_ngrok(app) 
  4.  
  5. @app.route('/')def hello(): return 'Hello World!' if __name__ == '__main__': app.run() 
20种小技巧,玩转Google Colab

8. 在 Tensorflow 版本之间切换

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之间切换。

要切换到 Tensorflow 1.15.2,请使用以下命令:

  1. %tensorflow_version 1.x 

要切换到 Tensorflow 2.2,请运行以下命令:

  1. %tensorflow_version 2.x 

你需要重新启动才能生效。出于性能考虑,Colab 建议使用预安装的 Tensorflow 版本,而不是用 pip 命令安装它。

9. Tensorboard 集成

Colab 还提供了一个命令,可以直接从 notebook 使用 Tensorboard。你只需要使用 --logdir 设置日志目录位置。

你可以从官方 notebook 学到它的使用方法:https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

  1. %load_ext tensorboard%tensorboard --logdir logs 
20种小技巧,玩转Google Colab

10. 查看资源限制

Colab 为他们的免费版本和专业版本提供了以下规格。根据自己的情况,如果你需要更好的运行时间、GPU 和内存,你可以以每月 10 美元的价格切换到专业版本。

20种小技巧,玩转Google Colab

可以通过运行以下命令查看你已经被分配到的 GPU:

  1. !nvidia-smi 

有关 CPU 的信息,可以运行此命令:

  1. !cat /proc/cpuinfo 

此外,你还可以通过运行以下命令查看 RAM 容量

  1. import psutilram_gb = psutil.virtual_memory().total / 1e9print(ram_gb) 

11. 使用交互式 shell

Colab 中没有内置的交互终端。但是可以使用 bash 命令以交互方式试用 shell 命令。只需运行此命令,你将获得交互式输入。

  1. !bash 

现在,你可以在给定的输入框中运行任何 shell 命令。

20种小技巧,玩转Google Colab

要退出 shell,只需在输入框中键入 exit。

20种小技巧,玩转Google Colab

12. 当前的内存和存储使用情况

Colab 提供了 RAM 和磁盘使用情况的指示器。如果将鼠标悬停在指示器上,将弹出一个窗口,其中包含当前内存和存储使用情况和总容量。

20种小技巧,玩转Google Colab

13.「Open in Colab」 标志

你可以使用如下 markdown 代码在 README.md 或 jupyter notebooks 中添加「Open in Colab 」标志。

20种小技巧,玩转Google Colab

在这段代码中,我们正在加载 SVG 图片,然后将其链接到 colab notebook。

  1. [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb) 

14. Pandas 交互表

Colab 提供了一个 notebook 扩展,用于向 pandas dataframes 添加交互式排序和过滤功能。要使用它,请运行以下代码。

  1. %load_ext google.colab.data_table 

在加载下面的扩展之后,你可以看到常规的 pandas dataframe 和交互式 dataframe。

20种小技巧,玩转Google Colab
20种小技巧,玩转Google Colab

15. 设置 Conda 环境

如果将 miniconda 用作 python 环境管理器,你可以通过在 notebook 顶部运行以下命令,在 colab 上对其进行设置。

  1. # Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local# Make conda packages available in current environmentimport syssys.path.append('/usr/local/lib/python3.7/site-packages/') 

执行完单元后,你可以照常使用 conda 安装软件包。

  1. !conda install -y flask 

16. 从命令行管理 Colab Notebooks

你可以使用名为 colab-cli 的库轻松创建 colab notebooks 并将其与本地 notebooks 同步:https://github.com/Akshay090/colab-cli

20种小技巧,玩转Google Colab

17. 运行后台任务

在某些情况下,我们需要先启动一些 Web 服务器或后台任务,然后才能执行常规程序。

要运行后台任务,请使用「nohup」命令,然后使用常规的 shell 命令,并在末尾添加「&」使其在后台运行。这样确保可以在之后的 notebook 中运行单元,而不会被后台任务终止。

  1. !nohup bash ping.sh & 

18. 提醒训练完成

如果你要执行耗时较长的任务(例如训练模型),你可以将 Colab 设置为在完成后发送桌面通知。

要启用此功能,请转到「Tools ⮕ Settings ⮕ Site」,然后启用「Show desktop notifications」复选框。

20种小技巧,玩转Google Colab

这时将弹出一个窗口,以启用浏览器通知。只要接受它,即使你在另一个选项卡、窗口或应用程序上,colab 也会在任务完成时通知你。

19. 运行 javascript 代码

使用 %%javascript 命令运行 javascript 代码。

20种小技巧,玩转Google Colab

20. 在 Colab 上运行 VSCode

你可以在 Colab 上运行完整的 VSCode。请参考文档:https://amitness.com/vscode-on-colab/。

20种小技巧,玩转Google Colab
Google AI 技术
上一篇:如何从人工智能部署中获取最大价值 下一篇:如何管理和组织一个机器学习项目
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
中国人开始反算法:不登录、不点赞、不关注、不评论

“算法不讲武德!”越来越多年轻人发觉,生活正在被算法控制。

深燃团队 ·  2021-05-31 09:03:12
新型人造肌肉,超广泛应用场景!微型机器人:很需要

人造肌肉一直是科学界的重要研究课题,理想情况下其不仅能够应用于医学领域,帮助病人恢复健康,并且还可以应用于机器人制造业,助力机器人的进一步研究。

科技园地 ·  2021-05-27 13:26:10
三人「围桌」脑科学VS人工智能,相互博弈中如何突围?

近日,三位分别来自投资界、学术界、企业界的专业大咖罕见地聚到一起,围绕「人工智能VS人类大脑谁将胜出?」「科学范式正在发生哪些重大改变?」等行业热议话题进行了一场深度、前沿的高端对话

佚名 ·  2021-05-24 15:26:35
NTT携手思科采用AR技术提高生产力

通过与思科和NTT合作,客户发现头戴式协同设备是满足其关键要求的最佳选择。与选择AR设备同样重要的是将其整合到他们现有的协作环境中。

NTT ·  2021-05-24 10:25:25
机器人感知系统是如何工作的?

机器人感知系统把机器人各种内部状态信息和环境信息从信号转变为机器人自身或者机器人之间能够理解和应用的数据、信息,除了需要感知与自身工作状态相关的机械量,如位移、速度、加速度、力和力矩外,视觉感知技术是工业机器人感知的一个重要方面。

佚名 ·  2021-05-21 14:11:15
机器人赋能医疗!然而,医疗机器人距离爆发还有四道关

近年来,使用机器人替代人力劳作已经成为一大趋势。无论是家庭中的消费型扫地机器人,还是商场、酒店中的清洁机器人,越来越多的机器人开始被应用到生活场景中。在医疗领域,医疗机器人也开始频繁刷起“存在感”。

德培论道 ·  2021-05-21 11:11:40
警惕!“唇读”按键来窃取你的数据,AI太可怕了

聪明的人类总会脑洞大开,由他们训练出的AI系统也许很快就能学会如何根据按键操作或手拗移动推断出输入的文本。这事绝对细思极恐,稍后我们会深入做出解释。

科技行者 ·  2021-05-21 10:49:52
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载