Как рассчитать регрессию

Представим себе, что имеется случайная величина (СВ) Y, значения которой подлежат определению. При этом Y связана каким-либо образом со случайной величиной X, значения которой X=x, в свою очередь, доступны для измерения (наблюдения). Таким образом, получилась задача оценивания значения СВ Y=y, недоступной для наблюдения, по наблюдаемым значениям X=x. Именно для таких случаев применяются регрессионные методы.

Вам понадобится

• - знание основных принципов метода наименьших квадратов.

Инструкция

1. Пусть имеется система СВ (X,Y), где Y зависит от того, какое значения в опыте приняла СВ Х. Рассмотрим совместную плотность вероятностей системы W(x,y). Как известно, W(x,y)=W(x)W(y|x)=W(y)W(x|y). Здесь фигурируют условные плотности вероятностей W(y|x). Полное прочтение такой плотности следующее: условная плотность вероятностей СВ Y, при условии, что СВ Х приняла значение х. Более короткая и грамотная запись имеет вид: W(y|Х=x).
2. Следуя байесовскому подходу W(y|x)=(1/W(x))W(y)W(x|y). W(y|x) – это апостериорное распределение СВ Y, то есть такое, которое становится известным после произведения опыта (наблюдения). Действительно, именно апостериорная плотность вероятностей содержит в себе все сведения о CB Y после получения опытных данных.
3. Установить значение СВ Y=y (апостериорно) – значит найти ее оценку y*. Оценки находят следуя критериям оптимальности, в данном случае – это минимум апостериорной дисперсии б(х)^2=M{(y*(x)-Y)^2|x}=min, при выполнении критерия y*(x)=M{Y|x}, который называют оптимальной оценкой по данному критерию. Оптимальная оценка y* СВ Y, как функция от х, называется регрессией Y на х.
4. Рассмотрите линейную регрессию y=a+R(y|x)x . Здесь параметр R(y|x) называется коэффициентом регрессии. С геометрической точки зрения R(y|x) - угловой коэффициент, определяющий наклон линии регрессии к оси 0Х. Определение параметров линейной регрессии можно осуществить с помощью метода наименьших квадратов, основанным на требовании минимальности суммы квадратов отклонений исходной функции от аппроксимирующей. В случае линейно аппроксимации метод наименьших квадратов приводит к системе для определения коэффициентов (см. рис. 1).
5. Для линейной регрессии определение параметров можно провести на основе связи между коэффициентами регрессии и корреляции.Между коэффициентом корреляции и параметром парной линейной регрессии существует зависимость, а именно. R(y|x) = r(x,y) (бy /бx) где r(x,y) - коэффициент корреляции между х и у; (бx и бy) — среднеквадратические отклонения. Коэффициент a определяются по формуле: a=y*-Rx*, то есть для того чтобы его вычислить, надо просто в уравнения регрессии подставить средние значения переменных.