בעיית התוקף באבטחת חסינות

אין לסמוך על כך שנציגי הלקוח יוכלו להגדיר את דרישות החסינות, מכיוון שהם אינם מודעים לאופני הכשל כל עוד הם לא התנסו בהם.

בעיית האימות באבטחת חסינות

אין לסמוך על כך שמפתחי המערכת ייצגו כראוי את המפעילים האמיתיים, בתפעול אמיתי. מפעילי מערכות לומדים להכיר את מגבלות המערכת, ובתפעול לצורך הפיתוח הם נוהגים לעקוף את הבעיות הכרוכות בתפעול במגבלות המוכרות. לפיכך, הם נמנעים מהתמודדות עם בעיות תפעול שיתגלו רק בשלב מאוחר יותר, לאחר שהמערכת תסופק ללקוח.

עקרון התוקף - בדיקות עם מפעילים

התיקוף צריכים להיות כאשר המערכות מאויישות על ידי מפעילים אמיתיים, בתנאי הפעלה אמיתיים, ובתנאי הפעלה קיצוניים.

תכנית הבדיקות

הבדיקות צריכות לענות על השאלות הבאות:

• האם המערכת מונעת טעויות מפעיל?
• האם האילוצים בתהליכי התפעול מקשים על התפעול במצבים סבירים?
• במקרה של הפרה של האילוצים (חריגה מכוונת מתהליך התפעול התקני), האם המערכת מתריעה על החריגה?
• האם המערכת מזהה ומתריעה על חריגות, כגון תקלות בחומרה ותפעול במצבים חריגים?
• האם המערכת מזהה ומתריעה בעוד מועד על תקלות בחיישנים?
• האם המפעיל מזהה את ההתרעות, ומבין את משמעותן?
• האם המפעיל מוצא בקלות את מקור הבעיה?
• האם המפעיל מוצא בקלות את ההנחיות להתגבר על מקור הבעיה?
• במקרה של קשיים באיתור גורמי כשל כלעיל, האם המערכת יוזמת תהליך של תחקור?
• האם במצב תחקור, המערכת מספקת את כל הנתונים הדרושים להפקת הלקחים?

בדיקתיות

המערכת צריכה לכלול אמצעים ותהליכים להדמיית תקלות בחומרה, וכן להדמיית מעבר מערכת למצבים בלתי צפויים, כתוצאה מבאגים בתוכנה.

המערכת צריכה לכלול אמצעים ותהליכים להדמיית תקלות בחיישנים.

תכן להפקת לקחים מאירועים בלתי צפויים

• רישום אוטומטי של האירועים ב"קופסא שחורה", כאשר ביחד עם כל אירוע נרשמים המצב (ערכי פרמטרים המשפיעים על התנהגות המכונה) לפני ואחרי האירוע

• הגדרה של אינדיקאטורים למצבים חריגים, על בסיס האילוצים

• תשאול המפעילים לגבי נסיבות האירוע.

בדיקות מכלולים

בנוסף לבדיקות תפעול המכלולים במצבים שגרתיים, יש לבדוק את תפעול המכלולים בתגובה להפרעות, ובמצבים חריגים

בדיקות אינטגרציה

בשלב בדיקות האינטגראציה, נדרש להתמקד בנושא התנהגות המערכת במצבי תקלה. במיוחד, יש לבדוק את התנהגות המערכת בתגובה להפרעות, ובמצבים חריגים

בדיקות אלפא

בשלב בדיקות האינטגראציה, נדרש להתמקד בנושא התנהגות המערכת במצבי תקלה.

בנוסף לבדיקות האינטגרציה במצבים תפעול שגרתיים, יש לבדוק את התנהגות המערכת בתגובה להפרעות, ובמצבים חריגים. במיוחד, יש לבדוק את התנהגות המערכת בתגובה לטעויות בהפעלה, כולל הפעלה בטעות של פונקציות, כגון, בגלל טעויות מצב.

בדיקות בתא

לקראת הבדיקות אצל הלקוחות, יש לקיים סבב בדיקות עם מפעילים, בכדי ללמוד להכיר את הדרך בה הם תופסים את הנתהגות המערכת במצבים חריגים.

בדיקות במהלך התפעול

בשלב הבדיקות אצל הלקוח, הבדיקות צריכות זהות מצבים ואירועים בלתי צפויים, ולדווח עליהם.

במהלך התפעול, יש לבדוק את הנושאים הבאים:

• האם יש נהלים לאיתור אירועי כשל?
• האם מקיימים את הנהלים?
• איך בודקים אם מקיימים את הנהלים?
• מה עושים במקרה שמתברר שעוקפים את הנהלים?