在 ipython 笔记本中测量单元执行时间的简单方法

我发现解决这个问题的唯一方法是使用 print 执行最后一条语句。

Do not forget that 单元格魔法以 %% 开头，线条魔法以 % 开头。

%%time
clf = tree.DecisionTreeRegressor().fit(X_train, y_train)
res = clf.predict(X_test)
print(res)

https://i.stack.imgur.com/xmrnj.png

---

更简单的方法是使用 jupyter_contrib_nbextensions 包中的 ExecuteTime 插件。

pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
jupyter nbextension enable execute_time/ExecuteTime

---

%time 和 %timeit 现在是 ipython 内置 magic commands 的一部分

---

使用 cell magic 和 Phillip Cloud 在 github 上的这个项目：

通过将其放在笔记本顶部来加载它，或者如果您始终希望默认加载它，则将其放入配置文件中：

%install_ext https://raw.github.com/cpcloud/ipython-autotime/master/autotime.py
%load_ext autotime

如果加载，后续单元执行的每个输出都将包括执行它所花费的时间（以分钟和秒为单位）。

---

import time
start = time.time()
"the code you want to test stays here"
end = time.time()
print(end - start)

---

这只是旧版本中的一个问题。

您现在需要做的就是将 %%time 放在单元格的顶部。

https://i.stack.imgur.com/XjFY3.png

%%time 衡量某项运行所需的时间。报告长时间运行的操作比进行低级优化更好。

%%timeit 是一种基准测试工具，它反复运行语句以提供某些语句的平均运行时间以及标准偏差。由于语句重复执行的方式，在 %%timeit 单元格中创建的变量在其他单元格中不可用。

https://i.stack.imgur.com/otAsS.png

%%timeit 使用 python timeit 模块。那个文档说，

它避免了一些用于测量执行时间的常见陷阱。另请参阅 Tim Peters 对 O'Reilly 出版的 Python Cookbook 中“算法”一章的介绍。

我希望该模块仍然相关，因为 the reference it refers to 描述了以下问题，例如 (1) Windows 98 的解决方法仅更新 time.time() 每秒 18.2 次，以及 (2) 将所有语句卡在一行以避免增加行号计数器的字节码开销。

currently top-rated answer 以及其他一些过时的（应该删除，因为它们现在高度误导）确实有有用的评论表明这些答案不是正确的：

即使没有打印最后一条语句，%%time 也有效

现在将测试单元格中的变量考虑到下一个单元格中

---

您可以为此使用 timeit 魔术函数。

%timeit CODE_LINE

或者在细胞上

%%timeit 

SOME_CELL_CODE

在 https://nbviewer.jupyter.org/github/ipython/ipython/blob/1.x/examples/notebooks/Cell%20Magics.ipynb 查看更多 IPython 魔术函数

---

我只是在单元格的开头添加了 %%time 并获得了时间。您可以在 Jupyter Spark 集群/使用相同的虚拟环境中使用相同的。只需在单元格顶部添加 %%time 即可获得输出。在使用 Jupyter 的 spark 集群上，我添加到单元格的顶部，得到如下输出：-

[1]  %%time
     import pandas as pd
     from pyspark.ml import Pipeline
     from pyspark.ml.classification import LogisticRegression
     import numpy as np
     .... code ....

Output :-

CPU times: user 59.8 s, sys: 4.97 s, total: 1min 4s
Wall time: 1min 18s

---

这不是很漂亮，但没有额外的软件

class timeit():
    from datetime import datetime
    def __enter__(self):
        self.tic = self.datetime.now()
    def __exit__(self, *args, **kwargs):
        print('runtime: {}'.format(self.datetime.now() - self.tic))

然后你可以像这样运行它：

with timeit():
    # your code, e.g., 
    print(sum(range(int(1e7))))

% 49999995000000
% runtime: 0:00:00.338492

---

如果要打印墙单元执行时间，这是一个技巧，请使用

%%time
<--code goes here-->

但这里要确保 %%time 是一个神奇的函数，所以把它放在代码的第一行。

如果你把它放在你的代码的某行之后，它会给你使用错误并且不会工作。

---

在 ipython notebook 中测量单元执行时间的最简单方法是使用 ipython-autotime 包。

在 notebook 开头安装包

pip install ipython-autotime

然后通过在下面运行来加载扩展

%load_ext autotime

加载后，任何在此之后运行的单元格都会为您提供单元格的执行时间。

如果你想关闭它，不用担心，只需在下面运行即可卸载扩展程序

%unload_ext autotime

无论何时需要，它都非常简单易用。

如果您想了解更多，可以参考ipython-autime documentation或其github source

---

有时使用 print(res) 时单元格中的格式会有所不同，但 jupyter/ipython 带有 display。请参阅下面使用 pandas 的格式差异示例。

%%time
import pandas as pd 
from IPython.display import display

df = pd.DataFrame({"col0":{"a":0,"b":0}
              ,"col1":{"a":1,"b":1}
              ,"col2":{"a":2,"b":2}
             })

#compare the following
print(df)
display(df)

https://i.stack.imgur.com/q3pXf.png

---

您可能还想查看 python 的分析魔法命令%prun，它提供了类似 -

def sum_of_lists(N):
    total = 0
    for i in range(5):
        L = [j ^ (j >> i) for j in range(N)]
        total += sum(L)
    return total

然后

%prun sum_of_lists(1000000)

将返回

14 function calls in 0.714 seconds  

Ordered by: internal time      

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    5    0.599    0.120    0.599    0.120 <ipython-input-19>:4(<listcomp>)
    5    0.064    0.013    0.064    0.013 {built-in method sum}
    1    0.036    0.036    0.699    0.699 <ipython-input-19>:1(sum_of_lists)
    1    0.014    0.014    0.714    0.714 <string>:1(<module>)
    1    0.000    0.000    0.714    0.714 {built-in method exec}

我发现它在处理大量代码时很有用。

---

遇到麻烦时意味着什么：

?%timeit 或 ??timeit

要获取详细信息：

Usage, in line mode:
  %timeit [-n<N> -r<R> [-t|-c] -q -p<P> -o] statement
or in cell mode:
  %%timeit [-n<N> -r<R> [-t|-c] -q -p<P> -o] setup_code
  code
  code...

Time execution of a Python statement or expression using the timeit
module.  This function can be used both as a line and cell magic:

- In line mode you can time a single-line statement (though multiple
  ones can be chained with using semicolons).

- In cell mode, the statement in the first line is used as setup code
  (executed but not timed) and the body of the cell is timed.  The cell
  body has access to any variables created in the setup code.

---