הרשמה לניוזלטר

מערכות אלקטרוניות רבות עוברות לעבוד עם בינה מלאכותית. הבעיה היא שמערכות החישוב שלהן מסובכות כל כך שאף אחד לא יכול להבין את “שיקול הדעת” שלהן

רקפת תבור | 14 במאי 2019 | מדע וטכנולוגיה | 4 דק׳

השתלטות “הקופסאות השחורות”

הפשיעה בלונדון גוברת. בתחילת נובמבר 2018, במשך שישה ימים, אירעו ברחבי העיר חמישה מקרי רצח שונים והיה ברור שחייבים להגביר את האכיפה. במשטרת לונדון ניסו פתרון חדשני – רשת מצלמות שתיפרש במקומות אסטרטגיים ברחבי העיר ותצויד במערכת מבוססת בינה מלאכותית לזיהוי פנים. כל העוברים ושבים מצולמים ופניהם נסרקות ומושוות מול מאגר תמונות המבוקשים של המשטרה. כשדמותו של אחד העבריינים המבוקשים מזוהה באחת ממצלמות המערכת, במהרה נשלחים למקום כוחות משטרה כדי לעצור את החשוד.

בחודשים האחרונים כבר בוצעו מספר מעצרים שכאלו. אמנם המערכת עדיין בניסוי, אבל הבחירות העירוניות, ב-2020, הולכות ומתקרבות. הפשיעה הגוברת הפכה לנושא מרכזי במערכת הבחירות, ולכן צפוי שמערכת זיהוי הפנים של האכיפה המשטרתית תהפוך במהרה למבצעית ותופעל סביב השעון.

בבריטניה, רופא רובוטי כבר מוסמך לשוחח אתכם בטלפון, לשאול מגוון שאלות לגבי הסימפטומים שלכם ובסוף לספק מרשם עם פירוט התרופות המומלצות

אולם, הבינה המלאכותית משתלבת לא רק בחיי היום-יום כדי לתפוס פיקוד במעקב אחרינו. בעולם הרפואה, מערכות אוטומטיות כאלו כבר מזמן משולבות בתהליכי אבחון מחלות. יש מערכות מבוססות בינה מלאכותית הסורקות הדמיות CT כדי לאבחן סרטן ריאות בשלביו המוקדמים או משולבות בתהליכי אבחון של מחלות לב.

למעשה, לא מדובר רק באבחון אלא גם בייעוץ ראשוני למטופל וברישום תרופות בהתאם. הרופא הרובוטי של חברת בבילון הבריטית יכול לשוחח אתכם טלפונית, לשאול מגוון שאלות לגבי הסימפטומים מהם אתם סובלים ובסוף השיחה הוא גם מוסמך לספק את המרשם עם פירוט התרופות המומלצות, כולל אלו המחייבות מרשם רופא.

חוקרים פדרלים מנסים לפענח את תקרית דריסתה למוות של אלין הרצברג על ידי רכב אוטונומי | צילום: National Transportation Safety Board

מערכות בינה מלאכותית גם עוזרות לנו בתרגום אוטומטי של טקסטים, קובעות אילו פרסומות יוצגו בפני כל אחד מאיתנו בדפדפן האינטרנט וגם עוזרות לבנקים ולחברות פיננסיות לקבוע על מי מאתנו אפשר לסמוך כדי לאשר לו הלוואה. בשנים האחרונות גם שווקי המניות העולמיים מנוהלים בעיקר על ידי סוחרים זריזים אוטומטיים כאלה, וקיימות דוגמאות רבות נוספות.

אבל עם השימוש ההולך ורווח בכלים אלו, מתעוררת בעיה שמטרידה מומחים רבים בתחום. היא קשורה ליכולת שלנו לנתח את אופן הפעולה של המערכות האוטומטיות האלו או בעצם להבין את תהליכי קבלת ההחלטות שלהן. רבים מתארים את הטכנולוגיות החדשות האלו כסוג של “קופסה שחורה” שלעולם לא נוכל לנתח לפרטי פרטים את אופן פעולתה.

כשמתכוונים ל”קופסה שחורה” לא מדברים על הבינה המלאכותית מהדור הישן, שתלו בה תקוות שווא, אלא בטכנולוגיה מתקדמת יותר – ה”למידה העמוקה” (Deep Learning) שפרצה לקדמת הבמה בסביבות שנת 2013. הודות לשכלולים טכנולוגיים, הצליחו סוף סוף לפתח מערכות ממוחשבות שיחסית מצליחות להבין מה קורה מסביבן – מה בעצם רואים בתמונה ומי האיש שמצולם בה או איך להבין ואפילו לתרגם את אוסף המילים המושמע להן.

אם בטכנולוגיה הישנה של הבינה המלאכותית המפתחים הגדירו למערכת אוסף כללים והנחיות (את האלגוריתם שלפיו היא עבדה), הרי ב”למידה עמוקה” כבר אין צורך בהוראות הפעלה מפורטות שכאלה. הן “מסתכלות” על העולם שמסביבן ולומדות ממנו באמצעות ניתוחים סטטיסטיים. הן נעזרות בדוגמאות שהן מקבלות מעולם היום-יום ומשכללות את היכולת שלהן לפענח את התמונות או הקולות שהן קולטות.

הבעיה היא שהאלגוריתמים מתחילים ליצור בעצמם אלגוריתמים חדשים מבלי שלאדם יש שליטה עליהם. כך משוחררת ומופצת תוכנה שאף אחד כבר לא ממש יכול להבין

איך הן עושות את זה? בהפשטה גסה, הן מחקות את פעולת המוח. מערכות ה”למידה העמוקה” מורכבות משכבות על גבי שכבות של “נוירונים” וירטואליים המגיבים לקלטים שהם מקבלים, ולומדים, מתוך הדוגמאות, איך הם אמורים לפרש את הקלט וכיצד כדאי להגיב לו. ביחד, “המוח המלאכותי” הזה עם שכבות הנוירונים הרבות שמרכיבות אותו מלמד את עצמו, מתוך הניסיון, מה הוא יכול לדעת על הסביבה.

כך, בשנים האחרונות פותחו מערכות שמצליחות להפליא במשימות כמו זיהוי פנים, הבנת דיבור, פענוח תמונות ועוד. אבל כשהן חודרות לתחומים רבים כל כך בחיינו ומקבלות דריסת רגל המאפשרת להן גם לקבוע בצמתים חשובים, זה בעייתי אם אין להן דרך להסביר את תהליכי קבלת ההחלטות שלהן.

תקרית שחששו מפניה אנשי המקצוע אירעה בליל ה-18 במארס 2018 בעיר טמפה שבאריזונה, ארה”ב. השעה הייתה כמעט 22:00 כשאלין הרצברג (49) אחזה בידיה אופניים שעל הכידון היו תלויות שקיות הקניות שלה. היא חצתה כך בהליכה כביש בעל ארבעה נתיבים. במהלך החצייה היא ראתה רכב שמתקרב וציפתה שהנהג יסטה ממסלולו כדי לעקוף אותה. אבל זה לא קרה.

הרכב, שנסע בנהיגה אוטונומית במהירות של כמעט 70 קמ”ש התקשה לזהות מה הוא רואה. כשהבחין לראשונה בדמות, המערכת האוטונומית שנוהגת בו לא התייחסה אליה. כעבור מספר שניות המערכת הסיקה שמדובר במכונית אחרת שכנראה בנסיעה ועדיין לא הייתה מוטרדת מהדמות, וכשלבסוף הבינה המערכת שמדובר בהולכת רגל שאוחזת בידיה באופניים זה כבר היה מאוחר מדי. היא התריעה בפני נהגת הגיבוי האנושית שנדרש לבלום, אבל גם היא לא הספיקה להגיב בזמן. תוך שנייה מרגע שהמערכת הצליחה לבסוף לזהות במה מדובר, נדרסה אלין למוות. “אובר” הודתה במהרה בטעויות והפסיקה למשך תקופה ממושכת את הניסויים שערכה בטמפה ובשלוש ערים נוספות בארה”ב.

“כשתוכנות מועברות לקוד ובהמשך הקוד הזה מתורגם אוטומטית לאלגוריתמים ואז אלגוריתמים מתחילים ליצור בעצמם אלגוריתמים חדשים – זה מתרחק יותר ויותר משליטה אנושית. כך משוחררת ומופצת תוכנה שאף אחד כבר לא ממש יכול להבין”, הסבירה אלן אולמן, מתכנתת ותיקה ומחברת הספר “החיים בקוד” בריאיון לגרדיאן, בהתייחסה לאותה תאונה.

ומה צפוי לנו בעתיד? כמו שהדברים נראים כרגע, כשהטכנולוגיה מתקדמת מהר כל כך, וכשכבר היום קשה לעקוב אחר יישומי הבינה המלאכותית השונים המחלחלים לחיינו ומנווטים אותם, נראה שתהליכים כאלו רק ילכו ויאיצו. ותוך שנים ספורות יישאר לנו טווח פעולה מצומצם הרבה יותר לשיקול הדעת האמיתי שלנו.

שתפו את הכתבה:

אילוסטרציה: Fotolia

השתלטות “הקופסאות השחורות”

מערכות אלקטרוניות רבות עוברות לעבוד עם בינה מלאכותית. הבעיה היא שמערכות החישוב שלהן מסובכות כל כך שאף אחד לא יכול להבין את “שיקול הדעת” שלהן

רקפת תבור | 14 במאי 2019 | מדע וטכנולוגיה | 11 דק׳

אילוסטרציה: Fotolia

הפשיעה בלונדון גוברת. בתחילת נובמבר 2018, במשך שישה ימים, אירעו ברחבי העיר חמישה מקרי רצח שונים והיה ברור שחייבים להגביר את האכיפה. במשטרת לונדון ניסו פתרון חדשני – רשת מצלמות שתיפרש במקומות אסטרטגיים ברחבי העיר ותצויד במערכת מבוססת בינה מלאכותית לזיהוי פנים. כל העוברים ושבים מצולמים ופניהם נסרקות ומושוות מול מאגר תמונות המבוקשים של המשטרה. כשדמותו של אחד העבריינים המבוקשים מזוהה באחת ממצלמות המערכת, במהרה נשלחים למקום כוחות משטרה כדי לעצור את החשוד.

בחודשים האחרונים כבר בוצעו מספר מעצרים שכאלו. אמנם המערכת עדיין בניסוי, אבל הבחירות העירוניות, ב-2020, הולכות ומתקרבות. הפשיעה הגוברת הפכה לנושא מרכזי במערכת הבחירות, ולכן צפוי שמערכת זיהוי הפנים של האכיפה המשטרתית תהפוך במהרה למבצעית ותופעל סביב השעון.

בבריטניה, רופא רובוטי כבר מוסמך לשוחח אתכם בטלפון, לשאול מגוון שאלות לגבי הסימפטומים שלכם ובסוף לספק מרשם עם פירוט התרופות המומלצות

אולם, הבינה המלאכותית משתלבת לא רק בחיי היום-יום כדי לתפוס פיקוד במעקב אחרינו. בעולם הרפואה, מערכות אוטומטיות כאלו כבר מזמן משולבות בתהליכי אבחון מחלות. יש מערכות מבוססות בינה מלאכותית הסורקות הדמיות CT כדי לאבחן סרטן ריאות בשלביו המוקדמים או משולבות בתהליכי אבחון של מחלות לב.

למעשה, לא מדובר רק באבחון אלא גם בייעוץ ראשוני למטופל וברישום תרופות בהתאם. הרופא הרובוטי של חברת בבילון הבריטית יכול לשוחח אתכם טלפונית, לשאול מגוון שאלות לגבי הסימפטומים מהם אתם סובלים ובסוף השיחה הוא גם מוסמך לספק את המרשם עם פירוט התרופות המומלצות, כולל אלו המחייבות מרשם רופא.

חוקרים פדרלים מנסים לפענח את תקרית דריסתה למוות של אלין הרצברג על ידי רכב אוטונומי | צילום: National Transportation Safety Board

מערכות בינה מלאכותית גם עוזרות לנו בתרגום אוטומטי של טקסטים, קובעות אילו פרסומות יוצגו בפני כל אחד מאיתנו בדפדפן האינטרנט וגם עוזרות לבנקים ולחברות פיננסיות לקבוע על מי מאתנו אפשר לסמוך כדי לאשר לו הלוואה. בשנים האחרונות גם שווקי המניות העולמיים מנוהלים בעיקר על ידי סוחרים זריזים אוטומטיים כאלה, וקיימות דוגמאות רבות נוספות.

אבל עם השימוש ההולך ורווח בכלים אלו, מתעוררת בעיה שמטרידה מומחים רבים בתחום. היא קשורה ליכולת שלנו לנתח את אופן הפעולה של המערכות האוטומטיות האלו או בעצם להבין את תהליכי קבלת ההחלטות שלהן. רבים מתארים את הטכנולוגיות החדשות האלו כסוג של “קופסה שחורה” שלעולם לא נוכל לנתח לפרטי פרטים את אופן פעולתה.

כשמתכוונים ל”קופסה שחורה” לא מדברים על הבינה המלאכותית מהדור הישן, שתלו בה תקוות שווא, אלא בטכנולוגיה מתקדמת יותר – ה”למידה העמוקה” (Deep Learning) שפרצה לקדמת הבמה בסביבות שנת 2013. הודות לשכלולים טכנולוגיים, הצליחו סוף סוף לפתח מערכות ממוחשבות שיחסית מצליחות להבין מה קורה מסביבן – מה בעצם רואים בתמונה ומי האיש שמצולם בה או איך להבין ואפילו לתרגם את אוסף המילים המושמע להן.

אם בטכנולוגיה הישנה של הבינה המלאכותית המפתחים הגדירו למערכת אוסף כללים והנחיות (את האלגוריתם שלפיו היא עבדה), הרי ב”למידה עמוקה” כבר אין צורך בהוראות הפעלה מפורטות שכאלה. הן “מסתכלות” על העולם שמסביבן ולומדות ממנו באמצעות ניתוחים סטטיסטיים. הן נעזרות בדוגמאות שהן מקבלות מעולם היום-יום ומשכללות את היכולת שלהן לפענח את התמונות או הקולות שהן קולטות.

הבעיה היא שהאלגוריתמים מתחילים ליצור בעצמם אלגוריתמים חדשים מבלי שלאדם יש שליטה עליהם. כך משוחררת ומופצת תוכנה שאף אחד כבר לא ממש יכול להבין

איך הן עושות את זה? בהפשטה גסה, הן מחקות את פעולת המוח. מערכות ה”למידה העמוקה” מורכבות משכבות על גבי שכבות של “נוירונים” וירטואליים המגיבים לקלטים שהם מקבלים, ולומדים, מתוך הדוגמאות, איך הם אמורים לפרש את הקלט וכיצד כדאי להגיב לו. ביחד, “המוח המלאכותי” הזה עם שכבות הנוירונים הרבות שמרכיבות אותו מלמד את עצמו, מתוך הניסיון, מה הוא יכול לדעת על הסביבה.

כך, בשנים האחרונות פותחו מערכות שמצליחות להפליא במשימות כמו זיהוי פנים, הבנת דיבור, פענוח תמונות ועוד. אבל כשהן חודרות לתחומים רבים כל כך בחיינו ומקבלות דריסת רגל המאפשרת להן גם לקבוע בצמתים חשובים, זה בעייתי אם אין להן דרך להסביר את תהליכי קבלת ההחלטות שלהן.

תקרית שחששו מפניה אנשי המקצוע אירעה בליל ה-18 במארס 2018 בעיר טמפה שבאריזונה, ארה”ב. השעה הייתה כמעט 22:00 כשאלין הרצברג (49) אחזה בידיה אופניים שעל הכידון היו תלויות שקיות הקניות שלה. היא חצתה כך בהליכה כביש בעל ארבעה נתיבים. במהלך החצייה היא ראתה רכב שמתקרב וציפתה שהנהג יסטה ממסלולו כדי לעקוף אותה. אבל זה לא קרה.

הרכב, שנסע בנהיגה אוטונומית במהירות של כמעט 70 קמ”ש התקשה לזהות מה הוא רואה. כשהבחין לראשונה בדמות, המערכת האוטונומית שנוהגת בו לא התייחסה אליה. כעבור מספר שניות המערכת הסיקה שמדובר במכונית אחרת שכנראה בנסיעה ועדיין לא הייתה מוטרדת מהדמות, וכשלבסוף הבינה המערכת שמדובר בהולכת רגל שאוחזת בידיה באופניים זה כבר היה מאוחר מדי. היא התריעה בפני נהגת הגיבוי האנושית שנדרש לבלום, אבל גם היא לא הספיקה להגיב בזמן. תוך שנייה מרגע שהמערכת הצליחה לבסוף לזהות במה מדובר, נדרסה אלין למוות. “אובר” הודתה במהרה בטעויות והפסיקה למשך תקופה ממושכת את הניסויים שערכה בטמפה ובשלוש ערים נוספות בארה”ב.

“כשתוכנות מועברות לקוד ובהמשך הקוד הזה מתורגם אוטומטית לאלגוריתמים ואז אלגוריתמים מתחילים ליצור בעצמם אלגוריתמים חדשים – זה מתרחק יותר ויותר משליטה אנושית. כך משוחררת ומופצת תוכנה שאף אחד כבר לא ממש יכול להבין”, הסבירה אלן אולמן, מתכנתת ותיקה ומחברת הספר “החיים בקוד” בריאיון לגרדיאן, בהתייחסה לאותה תאונה.

ומה צפוי לנו בעתיד? כמו שהדברים נראים כרגע, כשהטכנולוגיה מתקדמת מהר כל כך, וכשכבר היום קשה לעקוב אחר יישומי הבינה המלאכותית השונים המחלחלים לחיינו ומנווטים אותם, נראה שתהליכים כאלו רק ילכו ויאיצו. ותוך שנים ספורות יישאר לנו טווח פעולה מצומצם הרבה יותר לשיקול הדעת האמיתי שלנו.

שתפו את הכתבה:

כתבות נוספות שעשויות לעניין אותך
צום נתפס תמיד כדבר שנוי במחלוקת. עכשיו מתברר שהוא עשוי להיות תשובה טבעית למגוון מחלות

רקפת תבור

ליובל יש חום, כאב ראש שאינו מרפה, ובטן שכואבת כבר שלושה ימים. אימו מחפשת להקל עליו ככל...

“היום לגברים יש רק מחצית מספירות הזרע שהיו לסבים שלהם, ואישה בת 20 פחות פורייה ממה שסבתה הייתה בגיל 35”

מאיה מזרחי

"אם גם אתם חשים סקפטים לגבי הנושא הזה, זה בסדר. גם אני הייתי...

מה קורה כשבוקר אחד קם מהנדס תוכנה ומחליט להדליף 950 מסמכים פנימיים של גוגל

ג'ושוע פיליפ

זאק וורהיס היה מהנדס תוכנה בגוגל שאהב את עבודתו. הוא השתכר כ-250 אלף דולר בשנה ונהנה מתנאי עבודה...

מיהו המהנדס שמאחורי הטכנולוגיה המתקדמת בעולם?

רקפת תבור

הביולוג האבולוציוני פרופ' ריצ'רד דוקינס, מהאתאיסטים הנודעים בעולם, כתב כי "הדי-אן-אי נושא מידע בצורה הדומה מאוד...

“הרפואה מעולם לא התייחסה לאור כאל אמצעי ריפוי. היום אנו יודעים שזו טעות – אור מסוגל להפעיל תאי גזע ולרפא פציעות”

רקפת תבור

בשנת 2154 החלה מהפכה אזרחית. קבוצת תושבים ניסתה להגיע...

מה חושב ממציא טכנולוגיית ה-mRNA על החיסון?

יאן יקיאלק

"החיסונים האלו מצילים חיים. הם מצילים חיים רבים, במיוחד בקרב האוכלוסייה המבוגרת. עם זאת, לחיסונים של פייזר יש כיום מספר...

המדע של השליטה בכאב

רקפת תבור

דווין טרנר, חובש קרבי בדיוויזיה המוטסת ה-101 של צבא ארה"ב, הגיע באחד מימי הראשון של אפריל 2003, עם כ-15 לוחמים נוספים, לעיירה השוכנת מדרום...

באטמן גרסת המציאות: העיוורים שפיתחו יכולות סונר של עטלף

רקפת תבור

כשהחושך נופל אפשר להתרשם מיכולתם של העטלפים לתקוף את טרפם – החרקים המעופפים. הם צדים אותם בזריזות, תוך...

שתפו: