Линейные неоднородные уравнения с постоянными коэффициентами. Неоднородные дифференциальные уравнения второго порядка. Линейные однородные дифференциальные уравнения
Что такое регрессия?
Рассмотрим две непрерывные переменные x=(x 1 , x 2 , .., x n), y=(y 1 , y 2 , ..., y n).
Разместим точки на двумерном графике рассеяния и скажем, что мы имеем линейное соотношение
, если данные аппроксимируются прямой линией.
Если мы полагаем, что y зависит от x , причём изменения в y вызываются именно изменениями в x , мы можем определить линию регрессии (регрессия y на x ), которая лучше всего описывает прямолинейное соотношение между этими двумя переменными.
Статистическое использование слова "регрессия" исходит из явления, известного как регрессия к среднему, приписываемого сэру Френсису Гальтону (1889).
Он показал, что, хотя высокие отцы имеют тенденцию иметь высоких сыновей, средний рост сыновей меньше, чем у их высоких отцов. Средний рост сыновей "регрессировал" и "двигался вспять" к среднему росту всех отцов в популяции. Таким образом, в среднем высокие отцы имеют более низких (но всё-таки высоких) сыновей, а низкие отцы имеют сыновей более высоких (но всё-таки довольно низких).
Линия регрессии
Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии:
x
называется независимой переменной или предиктором.
Y - зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x , т.е. это «предсказанное значение y »
- a - свободный член (пересечение) линии оценки; это значение Y , когда x=0 (Рис.1).
- b - угловой коэффициент или градиент оценённой линии; она представляет собой величину, на которую Y увеличивается в среднем, если мы увеличиваем x на одну единицу.
- a и b называют коэффициентами регрессии оценённой линии, хотя этот термин часто используют только для b .
Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия .
Рис.1. Линия линейной регрессии, показывающая пересечение a и угловой коэффициент b (величину возрастания Y при увеличении x на одну единицу)
Метод наименьших квадратов
Мы выполняем регрессионный анализ, используя выборку наблюдений, где a
и b
- выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).
Наиболее простым методом определения коэффициентов a
и b
является метод наименьших квадратов
(МНК).
Подгонка оценивается, рассматривая остатки (вертикальное расстояние каждой точки от линии, например, остаток = наблюдаемому y
- предсказанный y
, Рис. 2).
Линию лучшей подгонки выбирают так, чтобы сумма квадратов остатков была минимальной.
Рис. 2. Линия линейной регрессии с изображенными остатками (вертикальные пунктирные линии) для каждой точки.
Предположения линейной регрессии
Итак, для каждой наблюдаемой величины остаток равен разнице и соответствующего предсказанного Каждый остаток может быть положительным или отрицательным.
Можно использовать остатки для проверки следующих предположений, лежащих в основе линейной регрессии:
- Остатки нормально распределены с нулевым средним значением;
Если допущения линейности, нормальности и/или постоянной дисперсии сомнительны, мы можем преобразовать или и рассчитать новую линию регрессии, для которой эти допущения удовлетворяются (например, использовать логарифмическое преобразование или др.).
Аномальные значения (выбросы) и точки влияния
"Влиятельное" наблюдение, если оно опущено, изменяет одну или больше оценок параметров модели (т.е. угловой коэффициент или свободный член).
Выброс (наблюдение, которое противоречит большинству значений в наборе данных) может быть "влиятельным" наблюдением и может хорошо обнаруживаться визуально, при осмотре двумерной диаграммы рассеяния или графика остатков.
И для выбросов, и для "влиятельных" наблюдений (точек) используют модели, как с их включением, так и без них, обращают внимание на изменение оценки (коэффициентов регрессии).
При проведении анализа не стоит отбрасывать выбросы или точки влияния автоматически, поскольку простое игнорирование может повлиять на полученные результаты. Всегда изучайте причины появления этих выбросов и анализируйте их.
Гипотеза линейной регрессии
При построении линейной регрессии проверяется нулевая гипотеза о том, что генеральный угловой коэффициент линии регрессии β равен нулю.
Если угловой коэффициент линии равен нулю, между и нет линейного соотношения: изменение не влияет на
Для тестирования нулевой гипотезы о том, что истинный угловой коэффициент равен нулю можно воспользоваться следующим алгоритмом:
Вычислить статистику критерия, равную отношению , которая подчиняется распределению с степенями свободы, где стандартная ошибка коэффициента
,
- оценка дисперсии остатков.
Обычно если достигнутый уровень значимости нулевая гипотеза отклоняется.
где процентная точка распределения со степенями свободы что дает вероятность двустороннего критерия
Это тот интервал, который содержит генеральный угловой коэффициент с вероятностью 95%.
Для больших выборок, скажем, мы можем аппроксимировать значением 1,96 (то есть статистика критерия будет стремиться к нормальному распределению)
Оценка качества линейной регрессии: коэффициент детерминации R 2
Из-за линейного соотношения и мы ожидаем, что изменяется, по мере того как изменяется
, и называем это вариацией, которая обусловлена или объясняется регрессией. Остаточная вариация должна быть как можно меньше.
Если это так, то большая часть вариации будет объясняться регрессией, а точки будут лежать близко к линии регрессии, т.е. линия хорошо соответствует данным.
Долю общей дисперсии , которая объясняется регрессией называют коэффициентом детерминации , обычно выражают через процентное соотношение и обозначают R 2 (в парной линейной регрессии это величина r 2 , квадрат коэффициента корреляции), позволяет субъективно оценить качество уравнения регрессии.
Разность представляет собой процент дисперсии который нельзя объяснить регрессией.
Нет формального теста для оценки мы вынуждены положиться на субъективное суждение, чтобы определить качество подгонки линии регрессии.
Применение линии регрессии для прогноза
Можно применять регрессионную линию для прогнозирования значения по значению в пределе наблюдаемого диапазона (никогда не экстраполируйте вне этих пределов).
Мы предсказываем среднюю величину для наблюдаемых, которые имеют определенное значение путем подстановки этого значения в уравнение линии регрессии.
Итак, если прогнозируем как Используем эту предсказанную величину и ее стандартную ошибку, чтобы оценить доверительный интервал для истинной средней величины в популяции.
Повторение этой процедуры для различных величин позволяет построить доверительные границы для этой линии. Это полоса или область, которая содержит истинную линию, например, с 95% доверительной вероятностью.
Простые регрессионные планы
Простые регрессионные планы содержат один непрерывный предиктор. Если существует 3 наблюдения со значениями предиктора P , например, 7, 4 и 9, а план включает эффект первого порядка P , то матрица плана X будет иметь вид
а регрессионное уравнение с использованием P для X1 выглядит как
Y = b0 + b1 P
Если простой регрессионный план содержит эффект высшего порядка для P , например квадратичный эффект, то значения в столбце X1 в матрице плана будут возведены во вторую степень:
а уравнение примет вид
Y = b0 + b1 P2
Сигма -ограниченные и сверхпараметризованные методы кодирования не применяются по отношению к простым регрессионным планам и другим планам, содержащим только непрерывные предикторы (поскольку, просто не существует категориальных предикторов). Независимо от выбранного метода кодирования, значения непрерывных переменных увеличиваются в соответствующей степени и используются как значения для переменных X . При этом перекодировка не выполняется. Кроме того, при описании регрессионных планов можно опустить рассмотрение матрицы плана X , а работать только с регрессионным уравнением.
Пример: простой регрессионный анализ
Этот пример использует данные, представленные в таблице:
Рис. 3. Таблица исходных данных.
Данные составлены на основе сравнения переписей 1960 и 1970 в произвольно выбранных 30 округах. Названия округов представлены в виде имен наблюдений. Информация относительно каждой переменной представлена ниже:
Рис. 4. Таблица спецификаций переменных.
Задача исследования
Для этого примера будут анализироваться корреляция уровня бедности и степень, которая предсказывает процент семей, которые находятся за чертой бедности. Следовательно мы будем трактовать переменную 3 (Pt_Poor ) как зависимую переменную.
Можно выдвинуть гипотезу: изменение численности населения и процент семей, которые находятся за чертой бедности, связаны между собой. Кажется разумным ожидать, что бедность ведет к оттоку населения, следовательно, здесь будет отрицательная корреляция между процентом людей за чертой бедности и изменением численности населения. Следовательно мы будем трактовать переменную 1 (Pop_Chng ) как переменную-предиктор.
Просмотр результатов
Коэффициенты регрессии
Рис. 5. Коэффициенты регрессии Pt_Poor на Pop_Chng.
На пересечении строки Pop_Chng и столбца Парам. не стандартизованный коэффициент для регрессии Pt_Poor на Pop_Chng равен -0.40374 . Это означает, что для каждого уменьшения численности населения на единицу, имеется увеличение уровня бедности на.40374. Верхний и нижний (по умолчанию) 95% доверительные пределы для этого не стандартизованного коэффициента не включают ноль, так что коэффициент регрессии значим на уровне p<.05 . Обратите внимание на не стандартизованный коэффициент, который также является коэффициентом корреляции Пирсона для простых регрессионных планов, равен -.65, который означает, что для каждого уменьшения стандартного отклонения численности населения происходит увеличение стандартного отклонения уровня бедности на.65.
Распределение переменных
Коэффициенты корреляции могут стать существенно завышены или занижены, если в данных присутствуют большие выбросы. Изучим распределение зависимой переменной Pt_Poor по округам. Для этого построим гистограмму переменной Pt_Poor .
Рис. 6. Гистограмма переменной Pt_Poor.
Как вы можете заметить, распределение этой переменной заметно отличается от нормального распределения. Тем не менее, хотя даже два округа (два правых столбца) имеют высокий процент семей, которые находятся за чертой бедности, чем ожидалось в случае нормального распределения, кажется, что они находятся "внутри диапазона."
Рис. 7. Гистограмма переменной Pt_Poor.
Это суждение в некоторой степени субъективно. Эмпирическое правило гласит, что выбросы необходимо учитывать, если наблюдение (или наблюдения) не попадают в интервал (среднее ± 3 умноженное на стандартное отклонение). В этом случае стоит повторить анализ с выбросами и без, чтобы убедиться, что они не оказывают серьезного эффекта на корреляцию между членами совокупности.
Диаграмма рассеяния
Если одна из гипотез априори о взаимосвязи между заданными переменными, то ее полезно проверить на графике соответствующей диаграммы рассеяния.
Рис. 8. Диаграмма рассеяния.
Диаграмма рассеяния показывает явную отрицательную корреляцию (-.65 ) между двумя переменными. На ней также показан 95% доверительный интервал для линии регрессии, т.е., с 95% вероятностью линия регрессии проходит между двумя пунктирными кривыми.
Критерии значимости
Рис. 9. Таблица, содержащая критерии значимости.
Критерий для коэффициента регрессии Pop_Chng подтверждает, что Pop_Chng сильно связано с Pt_Poor , p<.001 .
Итог
На этом примере было показано, как проанализировать простой регрессионный план. Была также представлена интерпретация не стандартизованных и стандартизованных коэффициентов регрессии. Обсуждена важность изучения распределения откликов зависимой переменной, продемонстрирована техника определения направления и силы взаимосвязи между предиктором и зависимой переменной.
Учреждение образования «Белорусская государственная
сельскохозяйственная академия»
Кафедра высшей математики
Методические указания
по изучению темы «Линейные дифференциальные уравнения второго порядка» студентами бухгалтерского факультета заочной формы получения образования (НИСПО)
Горки, 2013
Линейные дифференциальные уравнения
второго порядка с постоянными коэффициентами
Линейные однородные дифференциальные уравнения
Линейным дифференциальным уравнением второго порядка с постоянными коэффициентами называется уравнение вида
т.е.
уравнение, которое содержит искомую
функцию и её производные только в первой
степени и не содержит их произведений.
В этом уравнении
и
- некоторые числа, а функция
задана на некотором интервале
.
Если
на интервале
,
то уравнение (1) примет вид
,
(2)
и называется линейным однородным . В противном случае уравнение (1) называется линейным неоднородным .
Рассмотрим комплексную функцию
,
(3)
где
и
- действительные функции. Если функция
(3) является комплексным решением
уравнения (2), то и действительная часть
,
и мнимая часть
решения
в отдельности являются решениями этого
же однородного уравнения. Таким образом,
всякое комплексное решение уравнения
(2) порождает два действительных решения
этого уравнения.
Решения однородного линейного уравнения обладают свойствами:
Если
есть решение уравнения (2), то и функция
,
гдеС
– произвольная постоянная, также будет
решением уравнения (2);
Если
и
есть решения уравнения (2), то и функция
также будет решением уравнения (2);
Если
и
есть решения уравнения (2), то их линейная
комбинация
также будет решением уравнения (2), где
и
– произвольные постоянные.
Функции
и
называютсялинейно
зависимыми
на интервале
,
если существуют такие числа
и
,
не равные нулю одновременно, что на этом
интервале выполняется равенство
Если
равенство (4) имеет место только тогда,
когда
и
,
то функции
и
называютсялинейно
независимыми
на интервале
.
Пример
1
.
Функции
и
линейно зависимы, так как
на
всей числовой прямой. В этом примере
.
Пример
2
.
Функции
и
линейно независимы на любом интервале,
т. к. равенство
возможно лишь в случае, когда и
,
и
.
Построение общего решения линейного однородного
уравнения
Для
того, чтобы найти общее решение уравнения
(2), нужно найти два его линейно независимых
решения
и
.
Линейная комбинация этих решений
,
где
и
– произвольные постоянные, и даст общее
решение линейного однородного уравнения.
Линейно независимые решения уравнения (2) будем искать в виде
,
(5)
где
– некоторое число. Тогда
,
.
Подставим эти выражения в уравнение
(2):
или
.
Так
как
,
то
.
Таким образом, функция
будет решением уравнения (2), если
будет удовлетворять уравнению
.
(6)
Уравнение (6) называется характеристическим уравнением для уравнения (2). Это уравнение является алгебраическим квадратным уравнением.
Пусть
и
есть корни этого уравнения. Они могут
быть или действительными и различными,
или комплексными, или действительными
и равными. Рассмотрим эти случаи.
Пусть
корни
и
характеристического уравнения
действительные и различны. Тогда
решениями уравнения (2) будут функции
и
.
Эти решения линейно независимы, так как
равенство
может выполняться лишь тогда, когда и
,
и
.
Поэтому общее решение уравнения (2) имеет
вид
,
где
и
- произвольные постоянные.
Пример
3
.
Решение
.
Характеристическим уравнением для
данного дифференциального будет
.
Решив это квадратное уравнение, найдём
его корни
и
.
Функции
и
являются решениями дифференциального
уравнения. Общее решение этого уравнения
имеет вид
.
Комплексным
числом
называется выражение вида
,
где
и
- действительные числа, а
называется мнимой единицей. Если
,
то число
называется чисто мнимым. Если же
,
то число
отождествляется с действительным числом
.
Число
называется
действительной частью комплексного
числа, а
-
мнимой частью. Если два комплексных
числа отличаются друг от друга только
знаком мнимой части, то они зазываются
сопряжёнными:
,
.
Пример
4
.
Решить квадратное уравнение
.
Решение
.
Дискриминант уравнения
.
Тогда.
Аналогично,
.
Таким образом, данное квадратное
уравнение имеет сопряжённые комплексные
корни.
Пусть
корни характеристического уравнения
комплексные, т.е.
,
,
где
.
Решения уравнения (2) можно записать в
виде
,
или
,
.
По формулам Эйлера
,
.
Тогда
,.
Как известно, если комплексная функция
является решением линейного однородного
уравнения, то решениями этого уравнения
являются и действительная, и мнимая
части этой функции. Таким образом,
решениями уравнения (2) будут функции
и
.
Так как равенство
может
выполняться только в том случае, если
и
,
то эти решения линейно независимы.
Следовательно, общее решение уравнения
(2) имеет вид
где
и
- произвольные постоянные.
Пример
5
.
Найти общее решение дифференциального
уравнения
.
Решение
.
Уравнение
является характеристическим для данного
дифференциального. Решим его и получим
комплексные корни
,
.
Функции
и
являются линейно независимыми решениями
дифференциального уравнения. Общее
решение этого уравнения имеет вид.
Пусть
корни характеристического уравнения
действительные и равные, т.е.
.
Тогда решениями уравнения (2) являются
функции
и
.
Эти решения линейно независимы, так как
выражениеможет быть тождественно равным нулю
только тогда, когда
и
.
Следовательно, общее решение уравнения
(2) имеет вид
.
Пример
6
.
Найти общее решение дифференциального
уравнения
.
Решение
.
Характеристическое уравнение
имеет равные корни
.
В этом случае линейно независимыми
решениями дифференциального уравнения
являются функции
и
.
Общее решение имеет вид
.
Неоднородные линейные дифференциальные уравнения второго порядка с постоянными коэффициентами
и специальной правой частью
Общее
решение линейного неоднородного
уравнения (1) равно сумме общего решения
соответствующего однородного уравнения
и любого частного решения
неоднородного уравнения:
.
В
некоторых случаях частное решение
неоднородного уравнения можно найти
довольно просто по виду правой части
уравнения (1). Рассмотрим случаи, когда
это возможно.
т.е.
правая часть неоднородного уравнения
является многочленом степени m
.
Если
не является корнем характеристического
уравнения, то частное решение неоднородного
уравнения следует искать в виде многочлена
степениm
,
т.е.
Коэффициенты
определяются в процессе нахождения
частного решения.
Если
же
является корнем характеристического
уравнения, то частное решение неоднородного
уравнения следует искать в виде
Пример
7
.
Найти общее решение дифференциального
уравнения
.
Решение
.
Соответствующим однородным уравнением
для данного уравнения является
.
Его характеристическое уравнение
имеет корни
и
.
Общее решение однородного уравнения
имеет вид
.
Так
как
не является корнем характеристического
уравнения, то частное решение неоднородного
уравнения будем искать в виде функции
.
Найдём производные этой функции
,
и подставим их в данное уравнение:
или
.
Приравняем коэффициенты при
и свободные члены:
Решив
данную систему, получим
,
.
Тогда частное решение неоднородного
уравнения имеет вид
,
а общим решением данного неоднородного
уравнения будет сумма общего решения
соответствующего однородного уравнения
и частного решения неоднородного:
.
Пусть неоднородное уравнение имеет вид
Если
не является корнем характеристического
уравнения, то частное решение неоднородного
уравнения следует искать в виде.
Если же
есть корень характеристического
уравнения кратностиk
(k
=1
или k
=2),
то в этом случае частное решение
неоднородного уравнения будет иметь
вид
.
Пример
8
.
Найти общее решение дифференциального
уравнения
.
Решение
.
Характеристическое уравнение для
соответствующего однородного уравнения
имеет вид
.
Его корни
,
.
В этом случае общее решение соответствующего
однородного уравнения записывается в
виде
.
Так
как число 3 не является корнем
характеристического уравнения, то
частное решение неоднородного уравнения
следует искать в виде
.
Найдём производные первого и второго
порядков:,
Подставим в дифференциальное уравнение:
+
+,
+,.
Приравняем
коэффициенты при
и свободные члены:
Отсюда
,
.
Тогда частное решение данного уравнения
имеет вид
,
а общее решение
.
Метод Лагранжа вариации произвольных постоянных
Метод вариации произвольных постоянных можно применять к любому неоднородному линейному уравнению с постоянными коэффициентами независимо от вида правой части. Этот метод позволяет всегда найти общее решение неоднородного уравнения, если известно общее решение соответствующего однородного уравнения.
Пусть
и
являются линейно независимыми решениями
уравнения (2). Тогда общим решением этого
уравнения является
,
где
и
-
произвольные постоянные. Суть метода
вариации произвольных постоянных
состоит в том, что общее решение уравнения
(1) ищется в виде
где
и
- новые неизвестные функции, которые
необходимо найти. Так как неизвестных
функций две, то для их нахождения
необходимы два уравнения, содержащие
эти функции. Эти два уравнения составляют
систему
которая
является линейной алгебраической
системой уравнений относительно
и
.
Решая данную систему, найдём
и
.
Интегрируя обе части полученных равенств,
найдём
и
.
Подставив эти выражения в (9), получим общее решение неоднородного линейного уравнения (1).
Пример
9
.
Найти общее решение дифференциального
уравнения
.
Решение.
Характеристическим уравнением для
однородного уравнения, соответствующего
данному дифференциальному уравнению,
является
.
Корни его комплексные
,
.
Так как
и
,
то
,
,
а общее решение однородного уравнения
имеет вид.
Тогда общее решение данного неоднородного
уравнения будем искать в виде,
где
и
-
неизвестные функции.
Система уравнений для нахождения этих неизвестных функций имеет вид
Решив
эту систему, найдём
,
.
Тогда
,
.
Подставим полученные выражения в формулу
общего решения:
Это и есть общее решение данного дифференциального уравнения, полученное по методу Лагранжа.
Вопросы для самоконтроля знаний
Какое дифференциальное уравнение называется линейным дифференциальным уравнением второго порядка с постоянными коэффициентами?
Какое линейное дифференциальное уравнение называется однородным, а какое – неоднородным?
Какими свойствами обладает линейное однородное уравнение?
Какое уравнение называется характеристическим для линейного дифференциального уравнения и как оно получается?
В каком виде записывается общее решение линейного однородного дифференциального уравнения с постоянными коэффициентами в случае разных корней характеристического уравнения?
В каком виде записывается общее решение линейного однородного дифференциального уравнения с постоянными коэффициентами в случае равных корней характеристического уравнения?
В каком виде записывается общее решение линейного однородного дифференциального уравнения с постоянными коэффициентами в случае комплексных корней характеристического уравнения?
Как записывается общее решение линейного неоднородного уравнения?
В каком виде ищется частное решение линейного неоднородного уравнения, если корни характеристического уравнения различны и не равны нулю, а правая часть уравнения есть многочлен степени m ?
В каком виде ищется частное решение линейного неоднородного уравнения, если среди корней характеристического уравнения есть один нуль, а правая часть уравнения есть многочлен степени m ?
В чём суть метода Лагранжа?
Загрузка...
