Домашнее задание 2
Nikolai Zolotykh
Нужно доказать, что TSS = RSS + SSR.
Также настоятельно рекомендую дать графическую (от слова "график")
интерпретацию суммам SSR и TSS.
Кто напишет здесь правильное решение, тому будет счастье в размере 5
баллов.
Также приветствую любые обсуждения этого вопроса и предложения новых
решений.
Timofei Filichev
Рассмотрим векторы:
a = y - y'
b = y'' - y'
c = y - y''
Заметим, что a = b + c.
TSS = (sum(yi - y')^2) = ||a||^2
SSR = (sum(yi'' - y')^2) = ||b||^2
RSS = ||y - y''||^2 = ||c||^2
Т.о. необходимо доказать, что ||a||^2 = ||b||^2 + ||с||^2 для векторов
a = b + c (теорема Пифагора).
Покажем, что b ортогонален c. Из этого будет следовать (1).
Заметим, что вектор b = y'' - y' линейно выражается через столбцы X,
т.к. y' пропроционально первому столбцу,
a y'' = X*b'' следовательно b принадлежит линейной комбинации столбцов
Х.
Смысл вектора с - невязка минимальной длины. Она достигается, когда y
- y'' ортогонален у'', т.е. вектор с
ортогонален любому вектору соответствующему столбцу из матрицы Х.
Получим b ортогонален с. Т.о. по т. Пифагора следует (1).
Решетников Александр
Nikolai Zolotykh
Timofei Filichev
Решения правильные.
--
Вы получили это сообщение, поскольку подписаны на группу Курс "Машинное обучение".
Чтобы добавлять сообщения в эту группу, отправьте письмо по адресу ml_...@googlegroups.com.
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу ml_nnsu+u...@googlegroups.com.
О дополнительных функциях можно узнать в группе по адресу http://groups.google.com/group/ml_nnsu?hl=ru.