Estimating parameters of linear regression with an exponential power distribution of errors by using a polynomial maximization method

Eastern-European Journal of Enterprise Technologies

View Publication Info
 
 
Field Value
 
Title Estimating parameters of linear regression with an exponential power distribution of errors by using a polynomial maximization method
Оценка параметров линейной регрессии с экспоненциальным степенным распределением ошибок методом максимизации полинома
Оцінювання параметрів лінійної регресії з експоненційним степеневим розподілом помилок методом максимізації поліномів
 
Creator Zabolotnii, Serhii
Khotunov, Vladyslav
Chepynoha, Anatolii
Tkachenko, Olexandr
 
Subject regression
exponential power distribution
parameter estimation
moments
polynomial maximization method
регрессия
экспоненциальное степенное распределение
оценка параметров
моменты
метод максимизации полиномов
регресія
експоненціальний степеневий розподіл
оцінка параметрів
моменти
метод максимізації поліномів
 
Description This paper considers the application of a method for maximizing polynomials in order to find estimates of the parameters of a multifactorial linear regression provided the random errors of the regression model follow an exponential power distribution. The method used is conceptually close to a maximum likelihood method because it is based on the maximization of selective statistics in the neighborhood of the true values of the evaluated parameters. However, in contrast to the classical parametric approach, it employs a partial probabilistic description in the form of a limited number of statistics of higher orders.
The adaptive algorithm of statistical estimation has been synthesized, which takes into consideration the properties of regression residues and makes it possible to find refined values for the estimates of the parameters of a linear multifactorial regression using the numerical Newton-Rafson iterative procedure. Based on the apparatus of the quantity of extracted information, the analytical expressions have been derived that make it possible to analyze the theoretical accuracy (asymptotic variances) of estimates for the method of maximizing polynomials depending on the magnitude of the exponential power distribution parameters.
Statistical modeling was employed to perform a comparative analysis of the variance of estimates obtained using the method of maximizing polynomials with the accuracy of classical methods: the least squares and maximum likelihood. Regions of the greatest efficiency for each studied method have been constructed, depending on the magnitude of the parameter of the form of exponential power distribution and sample size. It has been shown that estimates from the polynomial maximization method may demonstrate a much lower variance compared to the estimates from a least-square method. And, in some cases (for flat-topped distributions and in the absence of a priori information), may exceed the estimates from the maximum likelihood method in terms of accuracy
Рассматривается применение метода максимизации полиномов для нахождения оценок параметров многофакторной линейной регрессии при условии, что случайные ошибки регрессионной модели имеют экспоненциальное степенное распределение. Используемый метод концептуально близок к методу максимального правдоподобия, поскольку основан на максимизации выборочной статистики в окрестности истинных значений оцениваемых параметров.  Однако в отличие от классического параметрического подхода он использует частичное вероятностное описании в виде ограниченного количества статистик высших порядков.
Синтезирован адаптивный алгоритм статистического оценивания, учитывающий свойства регрессионных остатков и позволяющий находить уточненные значения оценок параметров линейной многофакторной регрессии с использованием численной итерационной процедуры Ньютона-Рафсона. На основе аппарата количества извлекаемой информации получены аналитические выражения, позволяющие анализировать теоретическую точность (асимптотические дисперсии) оценок метода максимизации полиномов в зависимости от величины параметров экспоненциального степенного распределения.
Путем статистического моделирования проведен сравнительный анализ дисперсий оценок, получаемых с помощью метода максимизации полиномов с точностью классических методов: наименьших квадратов и максимального правдоподобия. Построены области наибольшей эффективности для каждого из исследуемых методов в зависимости от величины параметра формы экспоненциального степенного распределения и объема выборки. Показано, что оценки метода максимизации полиномов могут иметь существенно меньшую дисперсию сравнительно с оценками метода наименьших квадратов. А в ряде случаев (для плосковершинных распределений и при отсутствии априорной информации) превышать точность оценок метода максимального правдоподобия.
Розглядається застосування методу максимізації поліномів для знаходження оцінок параметрів багатофакторної лінійної регресії за умови, що випадкові помилки регресійній моделі мають експоненціальне степеневий розподіл. Метод, що використовується, концептуально близький до методу максимальної правдоподібності оскільки заснований на максимізації вибіркової статистики в околі істинних значень оцінюваних параметрів. Однак на відміну від класичного параметричного підходу він використовує частковий ймовірнісний опис у вигляді обмеженої кількості статистик вищих порядків.
Синтезований адаптивний алгоритм статистичного оцінювання, що враховує властивості регресійних залишків і дозволяє знаходити уточнені значення оцінок параметрів лінійної багатофакторної регресії з використанням чисельної ітераційної процедури Ньютона-Рафсона. На основі апарату кількості добутої інформації отримано аналітичні вирази, що дозволяють аналізувати теоретичну точність (асимптотичні дисперсії) оцінок методу максимізації поліномів в залежності від величини параметрів експоненціального степеневого розподілу.
Шляхом статистичного моделювання проведено порівняльний аналіз дисперсії оцінок, які отримуються за допомогою методу максимізації поліномів з точністю класичних методів: найменших квадратів і максимальної правдоподібності. Побудовано області найбільшої ефективності для кожного з досліджуваних методів в залежності від величини параметра форми експоненціального степеневого розподілу і обсягу вибірки. Показано, що оцінки методу максимізації поліномів можуть мати значно меншу дисперсію порівняно з оцінками методу найменших квадратів. А в ряді випадків (для плосковершинних розподілів та при відсутності апріорної інформації) за точністю перевищувати оцінки методу максимальної правдоподібності.
 
Publisher PC Technology Center
 
Date 2021-02-26
 
Type info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
 
Format application/pdf
 
Identifier http://journals.uran.ua/eejet/article/view/225525
10.15587/1729-4061.2021.225525
 
Source Eastern-European Journal of Enterprise Technologies; Vol. 1 No. 4 (109) (2021): Mathematics and Cybernetics - applied aspects; 64-73
Eastern-European Journal of Enterprise Technologies; Том 1 № 4 (109) (2021): Математика и кибернетика - прикладные аспекты; 64-73
Eastern-European Journal of Enterprise Technologies; Том 1 № 4 (109) (2021): Математика та кібернетика - прикладні аспекти; 64-73
1729-4061
1729-3774
 
Language eng
 
Relation http://journals.uran.ua/eejet/article/view/225525/225578
 
Rights Copyright (c) 2021 Сергей Васильевич Заболотный, Владислав Игоревич Хотунов, Анатолий Владимирович Чепинога, Александр Николаевич Ткаченко
http://creativecommons.org/licenses/by/4.0
 

Contact Us

The PKP Index is an initiative of the Public Knowledge Project.

For PKP Publishing Services please use the PKP|PS contact form.

For support with PKP software we encourage users to consult our wiki for documentation and search our support forums.

For any other correspondence feel free to contact us using the PKP contact form.

Find Us

Twitter

Copyright © 2015-2018 Simon Fraser University Library