איך מסכמים הקלטת הרצאה כולל לוח, משוואות ושרטוטים עם ג'מיני (Gemini): מדריך לסטודנטים

הדרך האלגנטית היא לוותר על צילומי מסך ועל תמלול, ולתת לג'מיני (Gemini) של גוגל את קובץ הווידאו המלא. ג'מיני מעבד את התמונה ואת השמע יחד, כך שהוא קורא את מה שנכתב על הלוח ומחבר את זה למה שהמרצה אומר באותו רגע. את קובץ ההקלטה עדיין צריך להוריד פעם אחת לכל הרצאה, כי שום מודל לא נכנס בעצמו למערכת שדורשת התחברות. אבל מהרגע שהקובץ אצלכם, הכול יכול לרוץ אוטומטית: דחיסה, העלאה, סיכום עם משוואות ב-LaTeX וחילוץ השרטוטים כתמונות.

השאלה הגיעה מסטודנט להנדסה בקבוצת AI בפייסבוק. הוא ניסה את Claude for Chrome (קלוד לכרום), שמצלם מסך במרווחי זמן קבועים, וניסה כלי תמלול, שלא רואים את הלוח. שני הכיוונים נתקעו מאותה סיבה: כל אחד מהם רואה רק חצי מההרצאה.

למה צילומי מסך ותמלול לא מספיקים

בהרצאה הנדסית המידע מפוצל בין שני ערוצים, וכל כלי שרואה רק אחד מהם יחמיץ את העיקר. המרצה אומר "ועכשיו נציב את זה כאן", והמשמעות של "זה" ו"כאן" נמצאת רק על הלוח.

• צילומי מסך במרווחים תופסים את הלוח, אבל מפספסים את מה שנכתב ונמחק בין צילום לצילום, ואין להם את ההסבר המילולי. עוד על היכולות והמגבלות של הכלי הזה במדריך ל-Claude for Chrome.
• תמלול תופס כל מילה, אבל משוואה שנכתבה בשקט על הלוח פשוט לא קיימת בו.
• מודל שמקבל וידאו רואה את שני הערוצים על אותו ציר זמן, וזה בדיוק מה שהבקשה המקורית צריכה.

מה ג'מיני (Gemini) עושה בפועל עם קובץ וידאו

ג'מיני לא "צופה" בסרטון כמו אדם, אלא דוגם ממנו פריימים ומצמיד אליהם את השמע. הנתונים הבאים לקוחים מהתיעוד הרשמי של הבנת וידאו ב-Gemini API (נבדק ב-2026-10-20):

שתי שורות בטבלה הזו חשובות במיוחד לסטודנט להנדסה. הראשונה היא פריים בשנייה: לוח לא משתנה בקצב כזה, ולכן הדגימה מספיקה לגמרי. השנייה היא הרזולוציה: התיעוד של רזולוציית מדיה (נבדק ב-2026-10-20) ממליץ על רזולוציה גבוהה כשצריך לקרוא טקסט צפוף או פרטים קטנים בפריים. משוואות על לוח הן בדיוק המקרה הזה. המחיר הוא אורך: ברזולוציה גבוהה נכנסת כשעה בבקשה אחת, ולכן הרצאה של 90 דקות מפצלים לשניים.

ארבע הדרכים, זו מול זו

ההמלצה שלי: מתחילים ב-AI Studio עם הרצאה אחת, מכווננים את הפרומפט עד שהסיכום טוב, ורק אז עוברים לסקריפט.

שלב אחר שלב: הרצאה אחת בגוגל AI סטודיו (Google AI Studio)

גוגל AI סטודיו הוא ממשק הדפדפן של גוגל לעבודה ישירה עם מודלי ג'מיני. הוא הדרך המהירה לבדוק אם השיטה עובדת על ההקלטות שלכם.

1. מורידים את ההקלטה ממערכת הקורס, אם המוסד מאפשר הורדה (על כך בהמשך).
2. דוחסים אותה. קובץ קטן עולה מהר יותר ונכשל פחות. ההגדרות כאן שומרות על לוח קריא:

ffmpeg -i lecture.mp4 -vf "scale=-2:720" -c:v libx264 -crf 28 -c:a aac -b:a 64k lecture_small.mp4

3. מפצלים הרצאה ארוכה לחלקים של 45 דקות, כדי שכל חלק ייכנס ברזולוציה גבוהה:

ffmpeg -i lecture_small.mp4 -c copy -f segment -segment_time 2700 -reset_timestamps 1 part_%02d.mp4

4. פותחים צ'אט חדש ב-AI Studio, בוחרים מודל Flash עדכני, ומעלים את החלק הראשון.
5. מדביקים את הפרומפט מהפרק הבא, ושולחים.
6. בודקים משוואה אחת מול הלוח. בוחרים משוואה מהסיכום, קופצים לחותמת הזמן שג'מיני ציין, ומשווים. זה הצעד שבונה אמון בתוצר.

הפרומפט שמוציא סיכום עם משוואות ושרטוטים

ההבדל בין סיכום כללי לסיכום שאפשר ללמוד ממנו למבחן נמצא בהוראות. העיקרון, כמו במדריך איך כותבים פרומפט טוב, הוא לתת הוראות מדויקות במקום לשאול שאלה פתוחה:

אתה עוזר הוראה בקורס הנדסי. לפניך הקלטה של הרצאה, כולל הלוח והקול של המרצה.

1. כתוב סיכום מפורט בעברית, לפי סדר ההרצאה, עם כותרת לכל נושא וחותמת זמן MM:SS בתחילת כל נושא.
2. העתק כל משוואה שנכתבה על הלוח בתחביר LaTeX, בדיוק כפי שנכתבה. אל תשלים ואל תתקן. אם חלק מהמשוואה לא קריא, כתוב [לא קריא] וציין את חותמת הזמן.
3. לכל משוואה, הסבר במשפט אחד מה המרצה אמר עליה.
4. לכל שרטוט, גרף או דיאגרמה: תאר מה מוצג, ציין חותמת זמן של הרגע שבו השרטוט שלם על הלוח, והוסף שורה בפורמט FIGURE MM:SS.
5. בסוף, רשימה של מה שהמרצה הדגיש שחשוב למבחן, רק אם הוא אמר זאת במפורש.
6. אל תוסיף ידע שלא הופיע בהרצאה.

שתי שורות כאן עושות את רוב העבודה. ההוראה לסמן "לא קריא" במקום לנחש מונעת את התקלה המסוכנת ביותר בסיכום הנדסי: משוואה שנראית נכונה ואינה נכונה. והשורה FIGURE מכינה את השלב הבא.

השרטוטים עצמם, לא רק תיאור שלהם

תיאור מילולי של מעגל חשמלי לא מחליף את המעגל. לכן לא מבקשים מג'מיני לצייר מחדש, אלא לומר מתי השרטוט מופיע, ואז מחלצים את הפריים המקורי מהווידאו:

ffmpeg -ss 00:34:12 -i part_01.mp4 -frames:v 1 fig_34-12.png

את התמונה משבצים בסיכום ליד התיאור. כך מקבלים את השרטוט כפי שהמרצה צייר אותו, ואת ההסבר שלו לצד השרטוט. כדאי לזכור שהפריים מגיע מההקלטה הדחוסה או מהמקורית, לפי מה שתבחרו: אם הלוח מטושטש בגרסה הדחוסה, מחלצים מהמקור.

אוטומציה לכל הסמסטר עם ה-API

ברגע שהפרומפט מכוונן, אין סיבה להמשיך לגרור קבצים לדפדפן. סקריפט קצר בפייתון עושה את אותו הדבר עבור כל הרצאה שנכנסת לתיקייה. הקוד מבוסס על הדוגמה בתיעוד הרשמי, שמשתמשת ב-Interactions API (לפי התיעוד, הממשק הזה עדיין בגרסת בטא):

import sys, time, pathlib
from google import genai

client = genai.Client()  # reads GEMINI_API_KEY from the environment
prompt = pathlib.Path("prompt.txt").read_text(encoding="utf-8")

video = client.files.upload(file=sys.argv[1])
while not video.state or video.state.name != "ACTIVE":
    time.sleep(5)
    video = client.files.get(name=video.name)

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {"type": "video", "uri": video.uri, "mime_type": video.mime_type, "resolution": "high"},
        {"type": "text", "text": prompt},
    ],
)

out = pathlib.Path(sys.argv[1]).with_suffix(".md")
out.write_text(interaction.output_text, encoding="utf-8")
client.files.delete(name=video.name)

מה קורה כאן:

1. הקובץ עולה ל-Files API. לפי תיעוד ה-Files API (נבדק ב-2026-10-20), השירות חינמי, הקבצים נשמרים 48 שעות ונמחקים אוטומטית, ויש מגבלה של 20GB לפרויקט. הסקריפט מוחק את הקובץ מיד בסיום, כדי לא לצבור.
2. ממתינים עד שהווידאו מעובד (מצב ACTIVE), ורק אז שולחים את הבקשה.
3. הסיכום נשמר כקובץ Markdown ליד ההקלטה, כך שהמשוואות ב-LaTeX מוצגות יפה בכל עורך שתומך בכך.
4. שורות FIGURE בקובץ הן הקלט לשלב חילוץ השרטוטים. לולאה קצרה שמריצה את פקודת ה-ffmpeg מהפרק הקודם על כל אחת מהן משלימה את התהליך.

מצב חיסכון שכדאי להכיר. התיעוד מתאר גם מצב עיבוד שנקרא agentic, שבו המודל קורא קודם את התמלול וטוען רק את הקטעים החזותיים שהבקשה צריכה. לפי גוגל, בתוכן ארוך זה יכול לחסוך עד 88% מהטוקנים. לסיכום מלא של לוח, שבו כמעט כל קטע רלוונטי, ההמלצה שלי היא להישאר במצב הרגיל עם רזולוציה גבוהה, ולנסות את מצב agentic לשאלות ממוקדות כמו "איפה המרצה פתר את תרגיל 3".

ומה עם ההקלטות שמאחורי סיסמה?

זה החלק בשאלה שאין לו קיצור דרך, וחשוב להגיד את זה ישר. ג'מיני לא מתחבר לאתר הקורס ולא צופה בנגן. לפי התיעוד של שיטות הקלט (נבדק ב-2026-10-20), קישור חיצוני חייב להיות ציבורי או חתום, ומוגבל ל-15MB לקובץ, הרבה פחות מהרצאה. קישורי יוטיוב נתמכים רק לסרטונים ציבוריים, ולהעלות הקלטת קורס ליוטיוב ציבורי זה רעיון רע מכל בחינה.

לכן "בלי להוריד בכל פעם" מתורגם בפועל ל"להוריד פעם אחת, ולא לגעת יותר":

• הורדה אחת לכל הרצאה, ידנית או מהכפתור שהמערכת מציעה, אל תיקיית "חדש".
• הסקריפט עושה את השאר: דחיסה, פיצול, העלאה, סיכום, שרטוטים ומחיקה.
• הסיכום הוא התוצר שנשאר. את קובץ הווידאו אפשר למחוק מהמחשב אחרי שבדקתם את הסיכום.

לפני שמתחילים, שתי בדיקות שאסור לדלג עליהן. הראשונה: האם המוסד מתיר להוריד את ההקלטות. אם אין כפתור הורדה, זו בדרך כלל החלטה מכוונת, והתשובה הנכונה היא לבקש מהמרצה או ממרכז ההוראה, לא לעקוף. השנייה: פרטיות. לפי עמוד התמחור הרשמי (נבדק ב-2026-10-20), תוכן שנשלח בשכבה החינמית משמש את גוגל לשיפור המוצרים, ובשכבה בתשלום לא. בהקלטה יש קול של מרצה ולפעמים שאלות של סטודנטים, ולכן שווה לשקול את זה ברצינות.

כמה זה עולה

לפי עמוד התמחור של Gemini API (נבדק ב-2026-10-20):

הערכה גסה לפי נתוני התיעוד: שעת וידאו ברזולוציה גבוהה היא כ-300 טוקנים לשנייה, כלומר כמיליון טוקנים לשעה. ב-Gemini 3.8 Flash במחיר הנוכחי, זה מסתכם בפחות מדולר אחד של קלט לשעת הרצאה, לפני הפלט. סקירה רחבה יותר של המודלים עצמם נמצאת במדריך המלא לג'מיני.

שורה תחתונה

הבעיה בשאלה המקורית לא הייתה שהכלים חלשים. כל כלי שנוסה ראה רק ערוץ אחד של ההרצאה. ג'מיני מקבל את שני הערוצים יחד, ולכן הוא מתאים לכאן. ההורדה האחת לכל הרצאה היא המחיר של הקלטה שמוגנת בסיסמה, ושלושה דברים הופכים את התוצר לאמין: רזולוציה גבוהה, פרומפט שאוסר לנחש, וחילוץ השרטוטים המקוריים במקום תיאור שלהם.

מי שרוצה ללמוד את AI Studio מסודר, מהפרומפט הראשון ועד מפתח ה-API שהסקריפט כאן צריך, יכול להיעזר בקורס גוגל AI סטודיו (Google AI Studio) 2026. הוא עולה 9.90 ש"ח.

מקורות

• Gemini API: הבנת וידאו (נבדק ב-2026-10-20)
• Gemini API: רזולוציית מדיה (נבדק ב-2026-10-20)
• Gemini API: Files API (נבדק ב-2026-10-20)
• Gemini API: שיטות קלט לקבצים (נבדק ב-2026-10-20)
• Gemini API: תמחור (נבדק ב-2026-10-20)