最小二乗回帰、解説：ビギナー向けの視覚ガイドとコード例

線形回帰（せんけいかいき）は、線形方程式を使用して数値値を予測する統計的手法であり、従属変数と1つ以上の独立変数の関係をモデル化する。線形回帰の最も一般的なアプローチは、「最小二乗法（Least Squares Methods）」と呼ばれ、予測値と実際の値の間の二乗差を最小化することでデータ内のパターンを見つける。通常の最小二乗法（OLS）は、線形回帰の基本的なアプローチであり、各点と線との間の二乗距離の合計を最小化することで、データポイントを通る最適な線を見つける。最適化の目標は、二乗距離の合計を最小化する係数を見つけることであり、正規方程式を使用して計算できる。多次元の場合、トレーニングプロセスには、データ行列の準備、正規方程式を使用して係数を計算し、係数と新しいデータポイントを掛けて予測することが含まれる。リッジ回帰（Ridge regression）は、OLSの変種であり、係数が大きくなりすぎるのを防ぐために目的関数にペナルティ項を追加する。ペナルティ項は、ラムダパラメータによって制御され、係数が大きくなりすぎることをどの程度ペナルティにするかを決定する。リッジ回帰のトレーニングプロセスは、OLSと似ているが、閉じた形式の解に修正が加えられている。OLSとリッジの選択は、データによって異なり、OLSはよく動作するデータに適しており、リッジは特徴が多いデータ、多重共線性、過剰適合の兆候があるデータに適している。