אלגברה ליניארית למדעי הנתונים

אי-תלות לינארית

מוטיבציה ℹ️ מבוסס הרחבה

הבנה של תלות לינארית חיונית כדי להבין את המבנה הפנימי של מרחב וקטורי. היא מאפשרת לנו לזהות וקטורים "מיותרים" בקבוצה, כלומר וקטורים שניתן לבטא באמצעות וקטורים אחרים. זיהוי זה הוא צעד ראשון בדרך למציאת ייצוג מינימלי ויעיל של המרחב, המכונה בסיס.

הגדרות מרכזיות

תלות לינארית: קבוצת וקטורים $a_1, a_2, ..., a_k$ נקראת תלויה ליניארית (ת"ל) אם קיימים סקלרים $\beta_1, \beta_2, ..., \beta_k$, שלא כולם אפס, כך שהצירוף הלינארי שלהם מתאפס:

\beta_1 a_1 + \beta_2 a_2 + \cdots + \beta_k a_k = \mathbf{0}

אי-תלות לינארית: קבוצת וקטורים $a_1, a_2, ..., a_k$ נקראת בלתי תלויה ליניארית (בת"ל) אם השוויון למעלה מתקיים רק כאשר כל הסקלרים שווים לאפס: $\beta_1 = \beta_2 = \cdots = \beta_k = 0$.

דוגמאות

דוגמה 1 (ת"ל): הווקטורים $v_1=(1,2,3)$, $v_2=(2,4,6)$ הם תלויים ליניארית, מכיוון שמתקיים $2v_1 - v_2 = (2,4,6) - (2,4,6) = (0,0,0)$. כאן $\beta_1=2, \beta_2=-1$.

דוגמה 2 (בת"ל): וקטורי היחידה הסטנדרטיים ב-$\mathbb{R}^3$, כלומר $e_1=(1,0,0)$, $e_2=(0,1,0)$, $e_3=(0,0,1)$, הם בלתי תלויים ליניארית. הצירוף $\beta_1(1,0,0) + \beta_2(0,1,0) + \beta_3(0,0,1) = (\beta_1, \beta_2, \beta_3)$ שווה לאפס רק אם $\beta_1=\beta_2=\beta_3=0$.

האם קבוצת הווקטורים $\{ (1, 0), (0, 1), (2, 2) \}$ ב-$\mathbb{R}^2$ היא תלויה או בלתי תלויה ליניארית?

תלויה ליניארית בלתי תלויה ליניארית

הסבר: הקבוצה תלויה ליניארית. במרחב דו-ממדי ($\mathbb{R}^2$), כל קבוצה עם יותר משני וקטורים היא בהכרח תלויה ליניארית. ניתן גם לראות ש-$(2,2) = 2 \cdot (1,0) + 2 \cdot (0,1)$, כלומר הווקטור השלישי הוא צירוף ליניארי של שני הראשונים.

בסיס

מוטיבציה ℹ️ מבוסס הרחבה

מושג הבסיס הוא לב ליבה של האלגברה הלינארית. בסיס מספק לנו "מערכת צירים" או "שפה" שבאמצעותה ניתן לתאר כל וקטור במרחב באופן ייחודי וחד-משמעי. זה מאפשר לנו לייצג מרחבים וקטוריים מורכבים בצורה פשוטה, קונקרטית וניתנת לחישוב.

הגדרות מרכזיות

בסיס: קבוצה של $n$ וקטורים בלתי תלויים ליניארית במרחב $n$-ממדי ($\mathbb{R}^n$) נקראת בסיס. זוהי קבוצה מקסימלית של וקטורים בת"ל.

משפט: אם $a_1, ..., a_n$ מהווים בסיס ל-$\mathbb{R}^n$, אז כל וקטור $b \in \mathbb{R}^n$ ניתן להצגה יחידה כצירוף ליניארי של וקטורי הבסיס: $b = \alpha_1 a_1 + \cdots + \alpha_n a_n$.

דוגמאות

הבסיס הסטנדרטי של $\mathbb{R}^3$ הוא $\{ e_1, e_2, e_3 \} = \{ (1,0,0), (0,1,0), (0,0,1) \}$. קל להציג כל וקטור בבסיס זה, למשל $b=(b_1, b_2, b_3) = b_1 e_1 + b_2 e_2 + b_3 e_3$.

איזו מהקבוצות הבאות מהווה בסיס למרחב $\mathbb{R}^2$?

$\{ (1,1) \}$ $\{ (1,0), (0,1), (1,1) \}$ $\{ (1,2), (3,4) \}$ $\{ (1,1), (2,2) \}$

הסבר: בסיס ל-$\mathbb{R}^2$ חייב להכיל בדיוק 2 וקטורים בת"ל.

א' קטנה מדי (לא פורשת).
ב' גדולה מדי (ת"ל).
ד' תלויה ליניארית כי $(2,2) = 2 \cdot (1,1)$.
ג' מכילה שני וקטורים שאינם כפולה אחד של השני, ולכן הם בת"ל ומהווים בסיס.

וקטורים אורתונורמליים

מוטיבציה ℹ️ מבוסס הרחבה

בעוד שכל בסיס מאפשר לנו לתאר את המרחב, בסיסים אורתונורמליים הם "הבסיסים המושלמים". הם דומים למערכת הצירים המוכרת לנו, שבה הצירים ניצבים זה לזה ואורך יחידות המידה הוא 1. תכונות אלה מפשטות באופן דרמטי חישובים של מרחקים, זוויות, הטלות ומציאת קואורדינטות.

הגדרות מרכזיות

וקטורים אורתוגונליים: קבוצת וקטורים נקראת אורתוגונלית אם המכפלה הסקלרית של כל שני וקטורים שונים בקבוצה היא אפס. $a_i \perp a_j \iff a_i^T a_j = 0$ לכל $i \neq j$.

קבוצה אורתונורמלית: קבוצת וקטורים נקראת אורתונורמלית אם היא אורתוגונלית, והנורמה (אורך) של כל וקטור היא 1. כלומר:

a_i^T a_j = \delta_{ij} = \begin{cases} 1 & i=j \\ 0 & i \neq j \end{cases}

משפט: קבוצת וקטורים אורתונורמליים היא תמיד בלתי תלויה ליניארית.

דוגמאות

הבסיס הסטנדרטי הוא בסיס אורתונורמלי. קבוצת הווקטורים $\{ (\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}}, 0), (\frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}}, 0), (0,0,1) \}$ מהווה בסיס אורתונורמלי ל-$\mathbb{R}^3$.

נתונים הווקטורים $u=(3,4)$ ו-$v=(-4,3)$. האם הם אורתוגונליים? האם הם אורתונורמליים?

אורתוגונליים אבל לא אורתונורמליים אורתונורמליים לא זה ולא זה

הסבר: נבדוק מכפלה סקלרית: $u \cdot v = 3(-4) + 4(3) = -12 + 12 = 0$. לכן הם אורתוגונליים. נבדוק נורמה: $||u|| = \sqrt{3^2+4^2} = \sqrt{25}=5 \neq 1$. מכיוון שהנורמה אינה 1, הם אינם אורתונורמליים.

אלגוריתם גרם-שמידט

מוטיבציה ℹ️ מבוסס הרחבה

איך יוצרים את ה"בסיסים המושלמים" האלה? אלגוריתם גרם-שמידט הוא מתכון שיטתי להפוך כל בסיס נתון לבסיס אורתונורמלי. זהו כלי קונסטרוקטיבי רב עוצמה, המאפשר לנו ליהנות מהיתרונות של אורתונורמליות גם כשהנתונים המקוריים אינם כאלה.

האלגוריתם

בהינתן קבוצת וקטורים בת"ל $a_1, ..., a_k$, האלגוריתם מייצר קבוצה אורתונורמלית $q_1, ..., q_k$ באופן הבא, עבור $i=1, ..., k$:

אורתוגונליזציה (הסרת רכיבים קודמים): $\tilde{q}_i = a_i - \sum_{j=1}^{i-1} (q_j^T a_i)q_j$
בדיקת תלות לינארית: אם $\tilde{q}_i = \mathbf{0}$, זה אומר ש-$a_i$ היה תלוי בקודמיו והקבוצה המקורית הייתה ת"ל. האלגוריתם עוצר.
נרמול: $q_i = \frac{\tilde{q}_i}{||\tilde{q}_i||}$

Interactive Tool: Gram-Schmidt in 2D

Enter two vectors in $\mathbb{R}^2$:

$a_1 = ($, $)$

$a_2 = ($, $)$

Result ($q_1, q_2$):

מטריצות

מוטיבציה ℹ️ מבוסס הרחבה

מטריצות הן אחד הכלים החזקים והנפוצים ביותר במתמטיקה שימושית. הן מאפשרות לנו לארגן נתונים מרובים בטבלה מסודרת ולבצע עליהם פעולות מורכבות בצורה יעילה. במדעי הנתונים, מטריצות משמשות לייצוג תמונות, רשתות, מערכות משוואות, טרנספורמציות גאומטריות ועוד.

הגדרות מרכזיות

מטריצה: טבלה מלבנית של מספרים. מטריצה עם $m$ שורות ו-$n$ עמודות היא מסדר $m \times n$. האיבר בשורה $i$ ועמודה $j$ מסומן $A_{ij}$.

מטריצה ריבועית: מטריצה שבה מספר השורות שווה למספר העמודות ($m=n$).

מטריצת יחידה ($I$): מטריצה ריבועית עם 1 על האלכסון הראשי ואפסים בכל מקום אחר.

מטריצה משוחלפת ($A^T$): מטריצה המתקבלת מהחלפת השורות והעמודות של $A$. כלומר, $(A^T)_{ij} = A_{ji}$.

חיבור מטריצות: מוגדר רק למטריצות מאותו סדר. החיבור מתבצע איבר-איבר: $(A+B)_{ij} = A_{ij} + B_{ij}$.

דוגמא

אם $A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$ ו- $B = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}$, אז:

A^T = \begin{pmatrix} 1 & 3 \\ 2 & 4 \end{pmatrix}, \quad A+B = \begin{pmatrix} 6 & 8 \\ 10 & 12 \end{pmatrix}

מהי המטריצה המשוחלפת של $C = \begin{pmatrix} 0 & 7 & 3 \\ 4 & 0 & 1 \end{pmatrix}$?

$\begin{pmatrix} 0 & 4 \\ 7 & 0 \\ 3 & 1 \end{pmatrix}$ $\begin{pmatrix} 4 & 0 & 1 \\ 0 & 7 & 3 \end{pmatrix}$

הסבר: השורה הראשונה של $C$ הופכת לעמודה הראשונה של $C^T$, והשורה השנייה של $C$ הופכת לעמודה השנייה של $C^T$.

מילון מונחים

אורתוגונליות: תכונת ניצבות בין וקטורים, המוגדרת על ידי מכפלה סקלרית ששווה לאפס.
אי-תלות לינארית: תכונה של קבוצת וקטורים, שבה אף וקטור לא ניתן להצגה כצירוף ליניארי של האחרים.
בסיס: קבוצה מינימלית של וקטורים בלתי תלויים ליניארית הפורשת מרחב וקטורי.
בסיס אורתונורמלי: בסיס שכל הווקטורים בו ניצבים זה לזה (אורתוגונליים) ובעלי אורך 1 (מנורמלים).
מטריצה: מערך דו-ממדי של מספרים, המשמש לייצוג נתונים וטרנספורמציות לינאריות.
תלות לינארית: תכונה של קבוצת וקטורים, שבה לפחות וקטור אחד ניתן להצגה כצירוף ליניארי של האחרים.

סיכום ונקודות מפתח

תלות ואי-תלות לינארית הן תכונות יסוד המגדירות את הקשרים בין וקטורים בקבוצה.
בסיס הוא "שלד" של מרחב וקטורי; הוא מכיל את המידע המינימלי הדרוש לבנות את המרחב כולו.
לכל מרחב וקטורי יש אינסוף בסיסים, אך לכולם אותו מספר איברים (המימד של המרחב).
בסיסים אורתונורמליים מפשטים חישובים באופן משמעותי, במיוחד מציאת קואורדינטות והטלות.
אלגוריתם גרם-שמידט הוא תהליך אלגוריתמי להפיכת כל בסיס לבסיס אורתונורמלי.
מטריצות הן כלי מרכזי לארגון נתונים וביצוע פעולות לינאריות.

בוחן מסכם

1. סטודנט למדעי הנתונים בונה מודל המלצות לסרטים. הוא מייצג כל סרט כווקטור ב-$\mathbb{R}^2$, כאשר הקואורדינטה הראשונה מייצגת את מידת האקשן (1-10) והשנייה את מידת הקומדיה (1-10). הסרטים הם: "מהיר ועצבני" (9,2), "מת לחיות" (8,3), ו"שעת שיא" (8.5, 2.5). האם קבוצת וקטורי הסרטים הזו תלויה ליניארית?

כן, כי "שעת שיא" הוא הממוצע של השניים האחרים. לא, כי אף סרט אינו כפולה של סרט אחר. כן, כי יש 3 וקטורים במרחב דו-ממדי.

הסבר: התשובה הנכונה והמדויקת ביותר היא שהקבוצה תלויה ליניארית מכיוון שיש 3 וקטורים במרחב דו-ממדי ($\mathbb{R}^2$). כל קבוצה של $k$ וקטורים ב-$\mathbb{R}^n$ היא ת"ל אם $k > n$. העובדה שהווקטור השלישי הוא ממוצע של השניים האחרים היא מקרה פרטי של תלות ליניארית, אך הסיבה הכללית יותר היא המימד.