מגביל AI חוסמים את עבודת חוקרי אבטחה, המשמעויות לעסקים
חוקרי אבטחה התקפית נתקלים בחוסמים של מודלי AI כשמנסים לגלות חורים בסייבר. זה יכול להשאיר את הארגונים שלכם חשופים.
חוקרי אבטחה התקפית נתקלים בחוסמים של מודלי AI כשמנסים לגלות חורים בסייבר. זה יכול להשאיר את הארגונים שלכם חשופים.
חוסמים נתוניים שמודלי AI משתמשים בהם כדי למנוע יצירת תוכן מסוכן, כולל קוד להתקפות, ניתוח חורים אבטחה וכדומה.
חוקרים צריכים להשתמש בAI כדי לגלות חורים בטחון בארגונים שלהם לפני שהם מנוצלים על ידי התוקפים. guardrails מחסומים מעכבים את התהליך.
אם אתם משכרים חוקרי אבטחה או משתמשים ב-AI בתוך גבולות סוכנות אבטחה, אתם עלול לתקוע עם כלים לא מספיקים, וזה משאיר את הארגון חשוף לסיכונים.
הידעת?
חוקרי סייבר שמנסים להשתמש בAI כדי למצוא חורים בטחון בארגון שלהם עלולים להיתקל בחוסמים שמעכבים את העבודה החיוניתית הזו.
לפי TechCrunch, חוקרי אבטחה התקפית, אלו שעובדים כדי למצוא חורים בטחון בארגונים לפני שהתוקפים מוצאים אותם, נתקלים בבעיות משמעותיות עם מגבילי התוכן של OpenAI ו-Anthropic.
החוקרים דיווחו שכשהם מנסים להשתמש במודלים של בינה מלאכותית כדי לבצע משימות כמו:
הם נתקלים בחוסמים שמונעים מהמודל לספק קוד או הוראות שעלולות להיות מסוכנות.
מגבילים של AI הם בעצם חוסמי תוכן שחברות בתחום בינה מלאכותית משתמשות בהם כדי להבטיח שהמודל לא יסייע בפעילויות מסוכנות כמו:
על הנייר זה הגיוני ואתי. אבל בפועל, חוקרי אבטחה צריכים גישה לקוד כזה כדי לגלות חורים מוקדם, לפני שהתוקפים הרעים יגלו אותם בעצמם.
אם עסקך משכר או משתמש בחוקרי אבטחה (red team, penetration testers, security researchers), הם צריכים גישה למודלים של בינה מלאכותית ללא מגבילים קפדנים כדי לבצע:
כשהמודל מסרב לעזור, זה מאט את התהליך באופן משמעותי. משמעות הדבר היא יותר עבודה ידנית, יותר זמן ועלויות גבוהות יותר.
אם הארגון שלכם לא יכול להשתמש ב-AI כדי לגלות חורים בטחון במהירות, סביר שתוקפים יגלו אותם קודם. זו סכנה משמעותית שצריכה טיפול.
1. שימוש במודלים חדשים יותר או בקוד פתוח
מודלים חדשים יותר או מודלים בקוד פתוח כמו Llama או Qwen אינם בעלי מגבילים קפדנים כמו Claude או GPT. אם אתם משכירים חוקרי אבטחה, כדאי להם יש גישה למודלים אלה.
2. שימוש בـ MCP ו-Claude ישירות
אם בחרתם ב-Claude, אתם יכולים לחבר שרתי MCP שנבנו לכלים ספציפיים של אבטחה, מה שמעקף חלק מהחוסמים. MCP לאוטומציות יכול לעזור לכם לבנות תהליך עבודה חזק לצוות האבטחה שלכם.
3. הערכה של צוות הביטחון שלכם
שימוש במודלים כמו Claude לכלים עצמיים יכול לעזור לחוקרי אבטחה להשלים את עבודתם. עם זאת, אתם חייבים להיות מודעים לכך שהמגבילים עלולים להיות בעיה.
OpenAI ו-Anthropic הגבירו את המגבילים שלהם כדי להיות "אתיים יותר". לעומת זאת, זה גורם נזק אמיתי לשימוש הלגיטימי של חוקרים. זוהי התנגשות ידועה בין אתיקה (לא לעזור לתוקפים) ליכולת הגנה עצמית (להיות מוגן מפני התקפות).
החוקרים שדברו ל-TechCrunch אמרו שהם מוכנים לגבול כלשהו, אבל הגבול הנוכחי קשה מדי. OpenAI ו-Anthropic צריכים למצוא דרך להבחין בין חוקרים לגיטימיים (עם אישור וחוזה) לבין אלו בעלי כוונות רעות.
אם אתם ארגון שמשתמש ב-AI כדי לגלות חורים בטחון במערכות שלכם, שימו לב: המגבילים הנוכחיים של OpenAI ו-Anthropic עלולים להיות מחסום. שקלו מודלים חלופיים, קוד פתוח או בקשה מיוחדת מהחברה לגישה מותאמת.
בעסקים בישראל, אנחנו עדיין לא מדברים מספיק על ההיבט הזה של בינה מלאכותית, אבטחה וניהול סיכונים עם AI. זה הזמן להתחיל.
שקול מודלים של קוד פתוח או מודלים ישנים יותר שאין להם guardrails קפדנים. התייעץ עם צוות אבטחה בעסקך כדי למצוא את הטכנולוגיה הנכונה.