שאלה 1 — מודל שפה מסוג n-grams
15 נקודותמודלים לייצוג שפה שומרים סטטיסטיקות של רצפי מילים על סמך מאגרי טקסט. בטבלה נתונות הסתברויות מעבר של מודל ביגרם: ההסתברות למילה בעמודה בהינתן המילה בשורה. לדוגמה, P(I | <s>) = 0.375.
| row \ column | <s> | I | am | Sam |
|---|---|---|---|---|
| <s> | 0.125 | 0.375 | 0.125 | 0.375 |
| I | 0.125 | 0.125 | 0.625 | 0.125 |
| am | 0.375 | 0.125 | 0.125 | 0.375 |
| Sam | 0.125 | 0.375 | 0.375 | 0.125 |
שאלה 2 — Cosine Similarity בין מסמכים
8 נקודותעל מנת לחשב דמיון בין מסמכים נשתמש במדד cosine similarity. בטבלה מופיע מספר הפעמים שכל מילה הופיעה בכל אחד משני המסמכים a ו־b.
| Document | Advertising | Auto | Car | Detroit | Engine | Germany | Sales |
|---|---|---|---|---|---|---|---|
| a | 5 | 88 | 123 | 43 | 35 | 0 | 36 |
| b | 71 | 125 | 42 | 76 | 0 | 27 | 88 |
שאלה 3 — Distributional Similarity ומילים בעייתיות
15 נקודותכדי לחשב דמיון בין מילים על סמך distributional similarity, מחשבים מטריצה של מספר הופעות משותפות של מילים בשכנות של כל מילה בקורפוס גדול. נניח שהמטריצה מתקבלת ממספר גדול מאוד של טקסטים.
שאלה 4 — ייצוג וקטורי של מילים ומסמכים
15 נקודותשאלה 5 — PMI, שכיחות מילים והשוואת קבוצות
15 נקודותשתי קבוצות נשאלו: “מה הדברים שמביאים לכם סיפוק בחיים?”. קבוצה אחת מזוהה כליברלית וקבוצה אחת כשמרנית. בתרשים מופיעות מילים שהופיעו בתדירות גבוהה בתשובות של כל קבוצה.
בסעיפים הבאים נשתמש בטבלה נפרדת: בטבלה מופיע מספר התשובות שהזכירו אחת מהמילים church, hobbies, spouse, וכן מספר התשובות הכולל בכל קבוצה.
| Religious respondents | Non-religious respondents | All respondents | |
|---|---|---|---|
| Responses mentioning “church” | 191 | 3 | 194 |
| Responses mentioning “hobbies” | 65 | 46 | 111 |
| Responses mentioning “spouse” | 44 | 24 | 68 |
| All responses | 3,284 | 1,208 | 4,492 |
שאלה 6 — Regex
10 נקודותנתון הביטוי הרגולרי הבא:
1*0+1?0
סמנו את כל המחרוזות שמתאימות לביטוי זה בהתאמה מלאה, כלומר כל המחרוזת צריכה להתאים לביטוי. הסבירו את הבחירה שלכם.
- א. 0
- ב. 00
- ג. 1010
- ד. 000010
- ה. 10
- ו. 01110
- ז. 1100
- ח. 1
שאלה 7 — קידוד ופענוח טקסט
6 נקודותהסבירו מהו encoder ומהו decoder בהקשר של ייצוג טקסט במחשב, למשל ב־ASCII, Unicode ו־UTF-8. מהו כיוון הפעולה של כל אחד מהם? תנו דוגמה קצרה, והסבירו מה עלול לקרות כאשר מפענחים רצף בתים באמצעות קידוד שגוי.
שאלה 8 — Jaro Similarity ו־Perplexity
16 נקודותנוסחאות עזר
Perplexity
PP(W) = (∏i=1n P(wᵢ))−1/n
Jaro Similarity
m = number of matching characters
t = half the number of transpositions