问题描述
假设我们有一个NxM阵列。由此,我想将N行解压缩为1xM数组,并将它们作为单独的参数传递给Python函数。
一个示例场景是SciPy软件包optimize.curve_fit
,它具有相当高的生产率,要求N个自变量必须作为numpy.ravel
和numpy.vstack
ed NxM数组传递(它们称为xdata
),并且fit函数还需要采用单个NxM数组作为参数。显而易见的问题是,几乎所有N维模型函数都被规范地定义为f(x1,...,xN,params)
和 not f(xdata,params)
。实际上,optimize.curve_fit
甚至要求先对fit函数进行numpy.ravel
,即,它希望numpy.ravel(f(xdata,params))
而不只是f(x1,params)
。谁想到这个...
因此,无论如何,如果不想浪费时间来处理每个曲线拟合的数据结构,则需要一个可以插入optimize.curve_fit
前面的小函数来处理这种拆包和重新打包操作( optimize.curve_fit
确实应该首先完成这一项工作),以便可以以规范的,数学上干净的方式定义模型函数。拟合数据也是如此,它显然是作为数据点列自然生成的,例如CSV文件中(世界上没有任何测量设备可以生成NxM阵列)。
我已经完成了将长度为M的N个数据列重新打包到这些NxM数组中的工作(如上所述,可以使用numpy.ravel
和numpy.vstack
)。问题是,如何接口我的健身功能f(x1,params)
?
如果我这样做
def unpack(f,*args):
return f(args)
然后Python不会停止将NxM数组拆分为长度为M的N个数组,而是将数组“分解”为一个长度为1的M个数组的N个数组。有没有办法限制拆解嵌套参数的级别?
或者,如果加星标的表达式不起作用,怎么办呢?
def unpack(f,xdata):
import numpy as np
N_rows = xdata.shape[0]
args = [???] # <=== How to do this,i.e. from N rows generate N arguments?
return f(args)
更新:在Jake Levi's answer之后,我正在尝试以下方法:
def repack_for_curve_fit(f,xdata):
'''
This function unpacks the NxM-array with independent data for N predictors into N separate 1xM-arrays,passes them to the fit function as the first N arguments,and returns the flattened fit function for
further processing with the scipy.optimize.curve_fit package.
Parameters
----------
f : callable
N-dimensional fit function,f(x1,*params),must take N independent variables as first N
arguments and the fit parameters as remaining arguments
xdata : array_like
NxM-array with independent data for N predictors
'''
import numpy as np
return np.ravel( f(*(x.reshape(1,-1) for x in xdata)) )
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-39-51aaf66438c3> in <module>()
26 # Do nonlinear curve fit using scipy.optimize.curve_fit,write fit results to TXT file
27 params_init = (-7,-7,7) # Specify initial guesses for fit parameters (default is 0)
---> 28 params_opt,params_cov = curve_fit(repack_for_curve_fit(fit_function,xyGrid),xyGrid,imgArrayFlattened,params_init) # Run the fit,return optimized parameters and covariance matrix
29 params_err = np.sqrt(np.diag(params_cov)) # Standard deviation of optimized parameters
30 print(params_opt)
/home/davidra/Desktop/repack_for_curve_fit.py in repack_for_curve_fit(f,xdata)
14 '''
15 import numpy as np
---> 16 return np.ravel( f(*(x.reshape(1,-1) for x in xdata)) )
TypeError: fit_function() missing 4 required positional arguments: 'x0','y0','Imax',and 'FWHM'
这是拟合函数:
def fit_function(x,y,x0,y0,Imax,FWHM):
'''
Parameters
----------
x,y : float
X and Y coordinates
x0 : float
X offset
y0 : float
Y offset
Imax : float
Peak intensity
FWHM : float
Full width at half maximum
'''
import numpy as np
return Imax * np.e * 4 * np.log(2) * ((x+x0)**2 + (y+y0)**2) / FWHM**2 * np.exp(-4 * np.log(2) * ((x+x0)**2 + (y+y0)**2) / FWHM**2)
fit_function
被证明可以正常工作。问题出在哪里?
此外,我真的需要使用reshape
吗?列表/元组理解本身是否已经将xdata
数组中的行切出了?
解决方法
您是否正在寻找这种东西,IE将NxM数组中的N行解压缩为1xM数组,并将它们作为单独的参数传递给Python函数,如以下代码片段的底行所示?它使用的是未打包的生成器表达式(但您也可以通过用方括号替换*
之后的括号来将其替换为未打包的列表推导)。
import numpy as np
def useful_function(*args):
"""
This useful function takes N arguments,each of which should be a 1*M array,and prints each argument to the console,along with its shape. N and M are
both variable.
"""
for i,a in enumerate(args):
print("Argument {} is {},with shape {}".format(i,a,a.shape))
n,m = 5,4
n_x_m_array = np.arange(n*m).reshape(n,m)
print("Input NxM array:")
print(n_x_m_array)
useful_function(*(row.reshape(1,-1) for row in n_x_m_array))
输出:
Input NxM array:
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]
[12 13 14 15]
[16 17 18 19]]
Argument 0 is [[0 1 2 3]],with shape (1,4)
Argument 1 is [[4 5 6 7]],4)
Argument 2 is [[ 8 9 10 11]],4)
Argument 3 is [[12 13 14 15]],4)
Argument 4 is [[16 17 18 19]],4)
您是否对SciPy界面不满意,也许打开一个问题here来讨论这个问题更合适吗?还值得注意的是,如果将序列分解,列表推导,生成器表达式和/或lambda表达式正确组合起来,通常可以很容易地解决许多将输入参数重新格式化为API函数的格式的情况。这些,知道正确的窍门。