Подгонка экспоненциального распада без первоначального угадывания
Кто-нибудь знает модуль scipy/numpy, который позволит соответствовать экспоненциальному распаду данных?
Поиск в Google возвратил несколько сообщений в блоге, например - http://exnumerus.blogspot.com/2010/04/how-to-fit-exponential-decay-example-in.html, но для этого решения требуется, чтобы y-offset было предварительно задано, что не всегда возможно
EDIT:
curve_fit работает, но он может терпеть неудачу довольно жалко без первоначальной догадки для параметров, и это иногда необходимо. Код, с которым я работаю,
#!/usr/bin/env python
import numpy as np
import scipy as sp
import pylab as pl
from scipy.optimize.minpack import curve_fit
x = np.array([ 50., 110., 170., 230., 290., 350., 410., 470.,
530., 590.])
y = np.array([ 3173., 2391., 1726., 1388., 1057., 786., 598.,
443., 339., 263.])
smoothx = np.linspace(x[0], x[-1], 20)
guess_a, guess_b, guess_c = 4000, -0.005, 100
guess = [guess_a, guess_b, guess_c]
exp_decay = lambda x, A, t, y0: A * np.exp(x * t) + y0
params, cov = curve_fit(exp_decay, x, y, p0=guess)
A, t, y0 = params
print "A = %s\nt = %s\ny0 = %s\n" % (A, t, y0)
pl.clf()
best_fit = lambda x: A * np.exp(t * x) + y0
pl.plot(x, y, 'b.')
pl.plot(smoothx, best_fit(smoothx), 'r-')
pl.show()
который работает, но если мы удалим "p0 = guess", он терпит неудачу.
Ответы
Ответ 1
У вас есть два варианта:
- Линеаризовать систему и поместить строку в журнал данных.
- Используйте нелинейный решатель (например,
scipy.optimize.curve_fit
Первый вариант, безусловно, самый быстрый и надежный. Однако для этого требуется, чтобы вы знали y-offset a-priori, иначе линеаризировать уравнение невозможно. (т.е. y = A * exp(K * t)
можно линеаризовать, установив y = log(A * exp(K * t)) = K * t + log(A)
, но y = A*exp(K*t) + C
можно линеаризовать только путем подгонки y - C = K*t + log(A)
, а поскольку y
- ваша независимая переменная, C
должна быть заранее известна, чтобы это было линейная система.
Если вы используете нелинейный метод, то a) не гарантируется сходимость и получение решения, b) будет намного медленнее, c) дает гораздо худшую оценку неопределенности в ваших параметрах, а d) часто гораздо менее точный. Однако нелинейный метод имеет одно огромное преимущество перед линейной инверсией: он может решить нелинейную систему уравнений. В вашем случае это означает, что вам не нужно заранее знать C
.
Чтобы дать пример, разрешите для y = A * exp (K * t) с некоторыми шумными данными, используя как линейные, так и нелинейные методы:
import numpy as np
import matplotlib.pyplot as plt
import scipy as sp
import scipy.optimize
def main():
# Actual parameters
A0, K0, C0 = 2.5, -4.0, 2.0
# Generate some data based on these
tmin, tmax = 0, 0.5
num = 20
t = np.linspace(tmin, tmax, num)
y = model_func(t, A0, K0, C0)
# Add noise
noisy_y = y + 0.5 * (np.random.random(num) - 0.5)
fig = plt.figure()
ax1 = fig.add_subplot(2,1,1)
ax2 = fig.add_subplot(2,1,2)
# Non-linear Fit
A, K, C = fit_exp_nonlinear(t, noisy_y)
fit_y = model_func(t, A, K, C)
plot(ax1, t, y, noisy_y, fit_y, (A0, K0, C0), (A, K, C0))
ax1.set_title('Non-linear Fit')
# Linear Fit (Note that we have to provide the y-offset ("C") value!!
A, K = fit_exp_linear(t, y, C0)
fit_y = model_func(t, A, K, C0)
plot(ax2, t, y, noisy_y, fit_y, (A0, K0, C0), (A, K, 0))
ax2.set_title('Linear Fit')
plt.show()
def model_func(t, A, K, C):
return A * np.exp(K * t) + C
def fit_exp_linear(t, y, C=0):
y = y - C
y = np.log(y)
K, A_log = np.polyfit(t, y, 1)
A = np.exp(A_log)
return A, K
def fit_exp_nonlinear(t, y):
opt_parms, parm_cov = sp.optimize.curve_fit(model_func, t, y, maxfev=1000)
A, K, C = opt_parms
return A, K, C
def plot(ax, t, y, noisy_y, fit_y, orig_parms, fit_parms):
A0, K0, C0 = orig_parms
A, K, C = fit_parms
ax.plot(t, y, 'k--',
label='Actual Function:\n $y = %0.2f e^{%0.2f t} + %0.2f$' % (A0, K0, C0))
ax.plot(t, fit_y, 'b-',
label='Fitted Function:\n $y = %0.2f e^{%0.2f t} + %0.2f$' % (A, K, C))
ax.plot(t, noisy_y, 'ro')
ax.legend(bbox_to_anchor=(1.05, 1.1), fancybox=True, shadow=True)
if __name__ == '__main__':
main()
![Fitting exp]()
Обратите внимание, что линейное решение дает результат намного ближе к фактическим значениям. Однако мы должны предоставить значение y-offset для использования линейного решения. Нелинейное решение не требует этого априорного знания.
Ответ 2
Я бы использовал функцию scipy.optimize.curve_fit
. Строка doc для него даже имеет пример установки экспоненциального распада в нем, который я буду копировать здесь:
>>> import numpy as np
>>> from scipy.optimize import curve_fit
>>> def func(x, a, b, c):
... return a*np.exp(-b*x) + c
>>> x = np.linspace(0,4,50)
>>> y = func(x, 2.5, 1.3, 0.5)
>>> yn = y + 0.2*np.random.normal(size=len(x))
>>> popt, pcov = curve_fit(func, x, yn)
Установленные параметры будут меняться из-за случайного шума, добавленного в, но я получил 2.47990495, 1.40709306, 0.53753635 как a, b и c, так что не так плохо с шумом там. Если я подхожу к y вместо yn, я получаю точные значения a, b и c.
Ответ 3
Процедура, чтобы соответствовать экспоненте без начального угадывания, а не итеративного процесса:
![введите описание изображения здесь]()
Это происходит из статьи (стр .16-17): https://fr.scribd.com/doc/14674814/Regressions-et-equations-integrales
При необходимости это можно использовать для инициализации исчисления нелинейной регрессии, чтобы выбрать конкретные критерии оптимизации.
ПРИМЕР:
Интересен пример, приведенный Джо Кингтоном. К сожалению, данные не отображаются, а только график. Таким образом, данные (x, y) ниже относятся к графическому просмотру графика, и, как следствие, численные значения, вероятно, не совсем те, что используются Джо Кингтоном. Тем не менее, соответствующие уравнения "подогнанных" кривых очень близки друг к другу, учитывая широкий разброс точек.
![введите описание изображения здесь]()
Верхняя фигура - это копия графа Кингтона.
На нижнем рисунке показаны результаты, полученные с помощью описанной выше процедуры.
Ответ 4
Правильный способ сделать это - сделать оценку Prony и использовать результат в качестве исходного предположения для финализации наименьших квадратов (или какой-либо другой более надежной подпрограммы). Оценка Prony не требует первоначального предположения, но для получения хорошей оценки требуется много точек.
Вот обзор
http://www.statsci.org/other/prony.html
В Octave это реализовано как expfit
, поэтому вы можете написать свою собственную процедуру, основанную на библиотечной функции Octave.
Оценка Prony требует, чтобы смещение было известно, но если вы пойдете "достаточно далеко" в свой распад, у вас есть разумная оценка смещения, поэтому вы можете просто сдвинуть данные, чтобы поместить смещение в 0. При любом rate, оценка Prony - это всего лишь способ получить разумную первоначальную предположение для других подпрограмм подгонки.
Ответ 5
У меня никогда не было функции curve_fit работать, как вы говорите, я не хочу ничего угадывать. Я пытался упростить пример Джо Кингтона, и это то, что я получил. Идея состоит в том, чтобы перевести "шумные" данные в журнал, а затем перевести их обратно и использовать polyfit и polyval для определения параметров:
model = np.polyfit(xVals, np.log(yVals) , 1);
splineYs = np.exp(np.polyval(model,xVals[0]));
pyplot.plot(xVals,yVals,','); #show scatter plot of original data
pyplot.plot(xVals,splineYs('b-'); #show fitted line
pyplot.show()
где xVals и yVals - просто списки.
Ответ 6
Я не знаю питона, но я знаю простой способ нетеративно оценивать коэффициенты экспоненциального распада со смещением, учитывая три точки данных с фиксированной разницей в их независимой координате. Ваши точки данных имеют фиксированную разницу в их независимой координате (ваши значения x разнесены с интервалом 60), поэтому мой метод может быть применен к ним. Вы можете перевести математику в python.
Предположим
y = A + B*exp(-c*x) = A + B*C^x
где C = exp(-c)
Учитывая y_0, y_1, y_2, для x = 0, 1, 2, мы решаем
y_0 = A + B
y_1 = A + B*C
y_2 = A + B*C^2
чтобы найти A, B, C следующим образом:
A = (y_0*y_2 - y_1^2)/(y_0 + y_2 - 2*y_1)
B = (y_1 - y_0)^2/(y_0 + y_2 - 2*y_1)
C = (y_2 - y_1)/(y_1 - y_0)
Соответствующая экспонента проходит точно через три точки (0, y_0), (1, y_1) и (2, y_2). Если ваши точки данных не находятся в координатах x 0, 1, 2, а скорее в k, k + s и k + 2 * s, то
y = A′ + B′*C′^(k + s*x) = A′ + B′*C′^k*(C′^s)^x = A + B*C^x
чтобы вы могли использовать приведенные выше формулы для поиска A, B, C, а затем вычислить
A′ = A
C′ = C^(1/s)
B′ = B/(C′^k)
Полученные коэффициенты очень чувствительны к ошибкам в координатах y, что может привести к большим ошибкам, если вы экстраполируете за пределы, определенные тремя используемыми точками данных, поэтому лучше всего вычислить A, B, C из трех данных точки, которые находятся как можно дальше друг от друга (при этом все еще имеют фиксированное расстояние между ними).
В вашем наборе данных имеется 10 эквидистантных точек данных. Позвольте выбрать три точки данных (110, 2391), (350, 786), (590, 263) для использования - они имеют максимально возможное фиксированное расстояние (240) в независимой координате. Таким образом, y_0 = 2391, y_1 = 786, y_2 = 263, k = 110, s = 240. Затем A = 10.20055, B = 2380.799, C = 0.3258567, A '= 10.20055, B' = 3980.329, C '= 0.9953388. Экспонента
y = 10.20055 + 3980.329*0.9953388^x = 10.20055 + 3980.329*exp(-0.004672073*x)
Вы можете использовать эту экспоненту в качестве исходного предположения в алгоритме нелинейной подгонки.
Формула для вычисления A такая же, как и для преобразования Shanks (http://en.wikipedia.org/wiki/Shanks_transformation).
Ответ 7
Если ваш распад начинается не с 0, используйте:
popt, pcov = curve_fit(self.func, x-x0, y)
где x0 - начало распада (где вы хотите начать подгонку).
И снова используйте x0 для построения:
plt.plot(x, self.func(x-x0, *popt),'--r', label='Fit')
где функция:
def func(self, x, a, tau, c):
return a * np.exp(-x/tau) + c
Ответ 8
Реализация @JJququinin на Python. Мне понадобилось приблизительное решение без решения без начальных догадок, поэтому ответ @Jacquelin был действительно полезен. Первоначальный вопрос был задан как запрос python numpy/scipy. Я взял @johanvdw хороший чистый R-код и реорганизовал его как python/numpy. Надеюсь, кому-то полезно:
https://gist.github.com/friendtogeoff/00b89fa8d9acc1b2bdf3bdb675178a29
import numpy as np
"""
compute an exponential decay fit to two vectors of x and y data
result is in form y = a + b * exp(c*x).
ref. https://gist.github.com/johanvdw/443a820a7f4ffa7e9f8997481d7ca8b3
"""
def exp_est(x,y):
n = np.size(x)
# sort the data into ascending x order
y = y[np.argsort(x)]
x = x[np.argsort(x)]
Sk = np.zeros(n)
for n in range(1,n):
Sk[n] = Sk[n-1] + (y[n] + y[n-1])*(x[n]-x[n-1])/2
dx = x - x[0]
dy = y - y[0]
m1 = np.matrix([[np.sum(dx**2), np.sum(dx*Sk)],
[np.sum(dx*Sk), np.sum(Sk**2)]])
m2 = np.matrix([np.sum(dx*dy), np.sum(dy*Sk)])
[d, c] = (m1.I * m2.T).flat
m3 = np.matrix([[n, np.sum(np.exp( c*x))],
[np.sum(np.exp(c*x)),np.sum(np.exp(2*c*x))]])
m4 = np.matrix([np.sum(y), np.sum(y*np.exp(c*x).T)])
[a, b] = (m3.I * m4.T).flat
return [a,b,c]