Работа с ошибками
Как именно минимизировать ошибки?
Первое что приходит в голову — сложить все отклонения:
Σ(yᵢ - (kxᵢ + s))
Тут есть подвох: положительные и отрицательные ошибки будут компенсировать друг друга. Линия может пройти далеко от всех точек, но если отклонения будут плюс-минус симметричными, сумма покажет нулевую ошибку!
Окей, тогда можно взять модули:
Σ|yᵢ - (kxᵢ + s)|. Уже лучше!
Но с модулями сложно "работать" математически — если вы вспомните как выглядит график модуля любой функции там где-то будет УГОЛОК (по-английски такой загиб называют kink 🤭) и производная имеет неприятности в этой точке.
Ну в общем, следующая логичная мысль это взять квадраты: Σ(yᵢ - (kxᵢ + s))².
И это внезапно оказывается идеальный вариант! Такие ошибки:
➡️Всегда положительные
➡️"Штрафуют" большие отклонения сильнее
➡️Задаются гладко и удобно и можно брать производные. Математики любят когда всё идёт гладко.
Дальше, чтобы найти минимум, надо взять частные производные по k и по s и приравнять к нулю. Ведь раз можно взять производные, давайте их возмьём:
∂/∂k: Σ-2xᵢ(yᵢ - (kxᵢ + s)) = 0
∂/∂s: Σ-2(yᵢ - (kxᵢ + s)) = 0
Ну, тут надо как бы... Знать как брать производные степенной функции, но если вы не знаете, то можете поверить мне на слово (я конечно вас не осуждаю, но буду расстроен таким поворотом)
Решая то что получилось (это система с двумя переменными, но не очень простая, надо будет немножко повозиться), можно найти и s и k:
k = (n∑xᵢyᵢ - ∑xᵢ∑yᵢ)/(n∑xᵢ² - (∑xᵢ)²)
s = (∑yᵢ - k∑xᵢ)/n
(тут и выше n это количество наших точек)
Ну и получается найденные нами таким образом параметры будут гарантировать что получившаяся прямая будет с минимальным квадратичным отклонением от точек, которые у нас есть.
Подход называется методом наименьших квадратов, и примерно подобным образом рассуждал Гаусс его и вывел примерно 200 лет назад в 1795 году для расчёта орбиты астероида.
И тут, если подумать опять про линию и точки и немножко это всё покрутить в голове, должны возникнуть парочка интересных вопросов типа "а что если..." или "а почему мы..." и так далее. Я не хочу их вам спойлерить, поэтому просто предлагаю покрутить эти вот все мысли в голове про это всё, а я ещё вернусь с продолжением :) А пока — вот картинка-пояснение, почему квадраты лучше чем простая сумма