Поиск
На сайте: 763803 статей, 327745 фото.

Метод наименьших квадратов

Метод наименьших квадратов — один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина прямой или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятности; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Большие затруднения представляются при определении из наблюдений величин, которые не могут быть измерены непосредственно. Если, например, желают определить элементы орбиты планеты или кометы, то светила эти наблюдаются несколько раз, и в результате получают лишь координаты их (склонение и прямое восхождение) в известные времена; самые же элементы выводятся затем решением уравнений, связывающих наблюдаемые координаты с элементами орбиты планеты или кометы. При этом, если бы число уравнений равнялось числу неизвестных, то для каждой неизвестной получилась бы одна определенная величина; если же число уравнений больше числа неизвестных, то, вследствие ошибок наблюдений, результаты решений отдельных групп этих уравнений в различных сочетаниях оказываются не совсем согласными между собой.

До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) и Гауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятности, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но даёт зато вероятнейшие значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, т.е. даёт величины, по которым судят о степени точности выводов.

Пусть дано решить систему уравнений

ax + by + cz... + n = 0
a1x + b1y + c1z... + n1 = 0 (1)
a2x + b2y + c2z... + n2 = 0
...

число которых более числа неизвестных x, у, z... Чтобы решить их по способу Н. квадратов, составляют новую систему уравнений, число которых равно числу неизвестных и которые затем решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные, уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной х и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной у и, сложив почленно, получают второе нормальное уравнение и т.д. Если означить для краткости:

[aa] = a1a1 + a2a2 +...
[ab] = a1b1 + a2b2 +...
[ac] = a1c1 + a2c2 +...
...
[bb] = b1b1 + b2b2 +...
[bc] = b1c1 + b2c2 +...
...

то нормальные уравнения представятся в следующем простом виде:

[aa]x + [ab]y + [ac]z +... [an] = 0
[ab]x + [bb]y + [bc]z +... [bn] = 0 (2)
[ac]x + [bc]y + [cc]z +... [cn] = 0
...

Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т.д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными:

5x — 8y — 16 = 0
8x — y — 32 = 0
16x + 8y — 55 = 0
9x + 7y — 32 = 0
9x + 20y — 29 = 0

Составив значения [aa], [ab].., получаем следующие нормальные уравнения:

507x + 297у — 1765 = 0
297x + 358у — 1084 = 0,

откуда х = +3,545; у = —0,108. Уравнения (1) представляют систему линейных уравнений, т.е. уравнений, в которых все неизвестные входят в первой степени. В большинстве случаев уравнения, связывающие наблюдаемые и искомые величины, бывают высших степеней и даже трансцендентные, но это не изменяет сущности дела: предварительными изысканиями всегда можно найти величины искомых с таким приближением, что затем, разложив соответствующие функции в ряды и пренебрегая высшими степенями искомых поправок, можно привести любое уравнение к линейному.

Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым.



При написании этой статьи использовался материал из Энциклопедического словаря Брокгауза и Ефрона (1890—1907).

Первоначальная версия этой статьи была взята из русской Википедии на условиях лицензии GNU FDL.