Numpy

数组构造

【a】等差序列: np.linspace, np.arange

In [31]: np.linspace(1,5,11) # 起始、终止(包含)、样本个数
Out[31]: array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])

In [32]: np.arange(1,5,2) # 起始、终止(不包含)、步长
Out[32]: array([1, 3])

【b】特殊矩阵: zeros, eye, full

In [33]: np.zeros((2,3)) # 传入元组表示各维度大小
Out[33]: 
array([[0., 0., 0.],
       [0., 0., 0.]])

In [34]: np.eye(3) # 3*3的单位矩阵
Out[34]: 
array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])

In [35]: np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
Out[35]: 
array([[0., 1., 0.],
       [0., 0., 1.],
       [0., 0., 0.]])

In [36]: np.full((2,3), 10) # 元组传入大小,10表示填充数值
Out[36]: 
array([[10, 10, 10],
       [10, 10, 10]])

In [37]: np.full((2,3), [1,2,3]) # 每行填入相同的列表
Out[37]: 
array([[1, 2, 3],
       [1, 2, 3]])

【c】随机矩阵: np.random<br /> 最常用的随机生成函数为 rand, randn, randint, choice ,它们分别表示0-1均匀分布的随机数组、标准正态的随机数组、随机整数组和随机列表抽样:

对于服从区间 a 到 b 上的均匀分布可以如下生成:

randn 生成了 N(0,I)的标准正态分布:

randint 可以指定生成随机整数的最小值最大值(不包含)和维度大小:

choice 可以从给定的列表中,以一定概率和方式抽取结果,当不指定概率时为均匀采样,默认抽取方式为有放回抽样:

当返回的元素个数与原列表相同时,不放回抽样等价于使用 permutation 函数,即打散原列表:

随机种子,它能够固定随机数的输出结果:

数组的变形与合并

【b】合并操作: r_, c_<br /> 对于二维数组而言, r_c_ 分别表示上下合并和左右合并:

一维数组和二维数组进行合并时,应当把其视作列向量,在长度匹配的情况下只能够使用左右合并的 c_ 操作:

【c】维度变换: reshape<br /> reshape 能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式,分别为 C 模式和 F 模式,分别以逐行和逐列的顺序进行填充读取。

特别地,由于被调用数组的大小是确定的, reshape 允许有一个维度存在空缺,此时只需填充-1即可:

下面将 n*1 大小的数组转为1维数组的操作是经常使用的:

数组的切片与索引

数组的切片模式支持使用 slice 类型的 start:end:step 切片,还可以直接传入列表指定某个维度的索引进行切片:

此外,还可以利用 np.ix_ 在对应的维度上使用布尔索引,但此时不能使用 slice 切片:

当数组维度为1维时,可以直接进行布尔索引,而无需 np.ix_

常用函数

where

nonzero, argmax, argmin

这三个函数返回的都是索引, nonzero 返回非零数的索引, argmax, argmin 分别返回最大和最小数的索引:

【c】 any, all<br /> any 指当序列至少 存在一个 True 或非零元素时返回 True ,否则返回 False<br /> all 指当序列元素 全为 True 或非零元素时返回 True ,否则返回 False

【d】 cumprod, cumsum, diff<br /> cumprod, cumsum 分别表示累乘和累加函数,返回同长度的数组, diff 表示和前一个元素做差,由于第一个元素为缺失值,因此在默认参数情况下,返回长度是原数组减1

【e】 统计函数

常用的统计函数包括 max, min, mean, median, std, var, sum, quantile ,其中分位数计算是全局方法,因此不能通过 array.quantile 的方法调用:

但是对于含有缺失值的数组,它们返回的结果也是缺失值,如果需要略过缺失值,必须使用 nan* 类型的函数,上述的几个统计函数都有对应的 nan* 函数。

对于协方差和相关系数分别可以利用 cov, corrcoef 如下计算:

最后,需要说明二维 Numpy 数组中统计函数的 axis 参数,它能够进行某一个维度下的统计特征计算,当 axis=0 时结果为列的统计指标,当 axis=1 时结果为行的统计指标:

广播机制

【a】标量和数组的操作

当一个标量和数组进行运算时,标量会自动把大小扩充为数组大小,之后进行逐元素操作

【b】二维数组之间的操作

当两个数组维度完全一致时,使用对应元素的操作,否则会报错,除非其中的某个数组的维度是 m×1 或者 1×n ,那么会扩充其具有 1的维度为另一个数组对应维度的大小。例如, 1×2 数组和 3×2 数组做逐元素运算时会把第一个数组扩充为 3×2 ,扩充时的对应数值进行赋值。但是,需要注意的是,如果第一个数组的维度是 1×3 ,那么由于在第二维上的大小不匹配且不为 1 ,此时报错。

【c】一维数组与二维数组的操作

当一维数组 Ak与二维数组 Bm,n 操作时,等价于把一维数组视作 A1,k 的二维数组,使用的广播法则与【b】中一致,当 k!=n 且 k,n 都不是 1时报错。

向量与矩阵的计算

【a】向量内积: dot

【b】向量范数和矩阵范数: np.linalg.norm<br /> 在矩阵范数的计算中,最重要的是 ord 参数

ord
norm for matrices
norm for vectors

None

Frobenius norm

2-norm

‘fro’

Frobenius norm

‘nuc’

nuclear norm

inf

max(sum(abs(x), axis=1))

max(abs(x))

-inf

min(sum(abs(x), axis=1))

min(abs(x))

0

sum(x != 0)

1

max(sum(abs(x), axis=0))

as below

-1

min(sum(abs(x), axis=0))

as below

2

2-norm (largest sing. value)

as below

-2

smallest singular value

as below

other

sum(abs(x)ord) (1./ord)

【c】矩阵乘法: @

Numpy中的ascontiguousarray

在使用Numpy的时候,有时候会遇到下面的错误:

AttributeError: incompatible shape for a non-contiguous array

C order vs Fortran order

所谓C order,指的是行优先的顺序(Row-major Order),即内存中同行的元素存在一起,而Fortran Order则指的是列优先的顺序(Column-major Order),即内存中同列的元素存在一起。Pascal, C,C++,Python都是行优先存储的,而Fortran,MatLab是列优先存储的。

所谓contiguous array ,指的是数组在内存中存放的地址也是连续的(注意内存地址实际是一维的),即访问数组中的下一个元素,直接移动到内存中的下一个地址就可以。

由于arr是C连续的,因此对其进行行操作比进行列操作速度要快

Numpy中,随机初始化的数组默认都是C连续的,经过不规则的slice

操作,则会改变连续性,可能会变成既不是C连续,也不是Fortran连续的。

Numpy可以通过.flags属性查看一个数组是C连续还是Fortran连续的。

可以这样认为,ascontiguousarray函数将一个内存不连续存储的数组转换为内存连续存储的数组,使得运行速度更快。

参考资料

从Numpy中的ascontiguousarray说起arrow-up-right

http://joyfulpandas.datawhale.club/Content/ch1.htmlarrow-up-right

n [59]: np.r_[np.zeros((2,3)),np.zeros((2,3))]

Out[59]:

array([[0., 0., 0.],

    [0., 0., 0.],

    [0., 0., 0.],

    [0., 0., 0.]])

In [60]: np.c_[np.zeros((2,3)),np.zeros((2,3))]

Out[60]:

array([[0., 0., 0., 0., 0., 0.],

    [0., 0., 0., 0., 0., 0.]])

Last updated

Was this helpful?