Регрессионный анализ

[Dig386]

Не могу сказать, что эта тема для меня - прямо классический специнтерес, но интерес к ней держится довольно долго. Началось всё с необходимости его использования сначала для градуировочных графиков вместо "линию на миллиметровке проведём на глаз", а позднее - для физико-химических расчётов. В дальнейшем мне приходилось объяснять метод наименьших квадратов и законы сложения погрешностей студентам, в т.ч. на семинарах, и мне стало по-настоящему интересно, как оно работает на самом деле. При подготовке программы занятий для студентов я стал обнаруживать, что многие довольно тривиальные вещи на самом деле раскиданы по разным книгам, а то и вообще не очень-то и изложены на русском языке.

Что стало особенно интересно:

• Как на самом деле работает многомерный МНК и как изложить его студентам как можно проще и компактнее. Почему-то большинство книг останавливаются на банальной "линии на миллиметровке" и формулах без матриц.
• Как работает расчёт доверительных интервалов коэффициентов, самих функций и т.п. Почему-то это очень любят экономисты и иногда - биохимики.
• Методы нелинейной регрессии вроде метода Левенберга-Марквардта и trust-region dogleg. Хотя они реализованы почти что "в каждом утюге", чтобы докопаться до сути, понадобилась англоязычная литература, в т.ч. статьи Марквардта. Проникся настолько, что запрограммировал их на нескольких языках программирования, а первый из них - даже на Ассемблере.
• Техники автоматизации нахождения производных.

Сейчас пытаюсь разобраться с методом наименьших модулей и запрограммировать его для своих целей. Оказалось, что замена квадрата на модуль серьёзно осложняет расчёты.

Не исключено, что когда-нибудь соберусь и напишу учебник про всё это. Вероятно, с точки зрения математиков он будет несколько вульгаризованным, но это точно не будет похоже на научпоп.

[elseif]

Модификаций линейной регрессии много. Вспоминается:

Лассо: штрафуем и модули, и квадраты.
Пошаговая элиминация.
Пошаговое добавление.
Пошаговая элиминация/добавление.
Ridge regression (штрафуем высокие коэффициенты).
Регуляризация Тихонова.

[Dig386]

Лассо: штрафуем и модули, и квадраты.

Классическая лассо-регрессия - это именно штрафная функция из модулей коэффициентов, при этом минимизироваться может и сумма квадратов отклонений.

Пошаговая элиминация.
Пошаговое добавление.
Пошаговая элиминация/добавление.

Делал такую штуку, когда надо было аппроксимировать одну функцию взвешенной суммой функций одинакового вида, но с разными параметрами. И если оптимизировать сразу много параметров, то ничего не выходило, а если добавлять по одной функции в сумму с контролем статистической значимости, то более-менее получалось.

Ridge regression (штрафуем высокие коэффициенты).
Регуляризация Тихонова.

Насколько я знаю, регуляризация Тихонова и есть основа для гребневой регрессии. Также в методе Левенберга-Марквардта используется такая же регуляризация, как в ридж-регрессии.