מצב סטטיסטיקות 2.0

[Uripeer3]

מה הייתם רוצים?

אני רואה שהכיוון היה להרים שמירה שמנוהלת פה ולא ע"י גורם שלישי. אהבתי.
רוצה להאמין שהתשתיות כבר יותר בשלות להוספת פיצ'ר של סטטיסטיקות.

להבנתי נכון להוסיף תיעוד בטבלאות SQL בנוסף ל־DUMP ב־R2,
ואז ע"ג ה־SQL הזה יהיה קל יחסית לבצע שליפות.

ה־API המוצע:

• GET /api/alert-types?from=YYYY-MM-DD&to=YYYY-MM-DD[&includeGreen=1][&state=red,purple,yellow,green]
  מחזיר רשימת סוגי התרעות בטווח, כולל כמות התרעות וכמות פוליגונים ייחודיים לכל סוג.

• GET /api/polygon-counts?from=YYYY-MM-DD&to=YYYY-MM-DD[&type=...][&state=...][&includeGreen=1][&polygonCountOnly=1]
  מחזיר ספירת התרעות לפי פוליגון (ממויין מהגבוה לנמוך), כולל totalAlerts, uniquePolygons, scannedEntries.

• GET /api/polygon-histogram?from=YYYY-MM-DD&to=YYYY-MM-DD&polygon=... [&type=...][&state=...][&includeGreen=1]
  מחזיר היסטוגרמה לפי שעה (hourBuckets) ולפי דקה בתוך שעה (minuteBuckets) עבור פוליגון ספציפי.

ארכיטקטורת הנתונים המוצעת (Hybrid):

• מקור היסטורי גולמי נשאר ב־R2 (oref-history, קבצי JSONL לפי יום).
• מתווספת שכבת SQL ב־D1:
  • stats_alerts (אירועים מנורמלים לפי RID + שדות זמן/מיקום/סוג/state)
  • stats_coverage (סטטוס כיסוי לכל יום: partial / complete)
• לוגיקת קריאה:
  • ימים עם כיסוי complete נקראים מ־D1.
  • ימים ללא כיסוי נשלפים אוטומטית מ־R2.
  • אם הטווח כולל את היום הנוכחי, מתבצע גם השלמה מ־/api2/history כדי לגשר על lag ב־ingestion.
• קיימת דה־דופליקציה בין מקורות (RID + מפתח סמנטי לאירועים ללא RID).

[Uripeer3]

כבר שיחקתי עם זה כדי להבין איך אני חושב על המימוש:
https://github.com/Uripeer3/oref-map/tree/codex/statistics-feature

מוחבא מאחורי FF שהוא: ?f-stats
ויש בDOCS מדריך איך להרים לוקאלית את הSQL ולבצע BACKFILL

כרגע לא מותאם לMOBILE, צריך לחשוב על זה לפני שמוצאים החוצה מה-FF

דוגמאות:

[Uripeer3]

@maorcc יהיה לי כנראה זמן בשבת אם תרצה לתת הנחיות נוספות ☺️

[maorcc]

היי @Uripeer3
מאוד מרשים. באמת.
לדשבורדים של סטטיסטיקות יש כמה אלטרנטיבות. ולפני שנחליט להוסיף משהו כזה למפת העורף כדאי לוודא שזה לא כבר קיים במקום אחר ואפשר פשוט להוסיף קישור או להטמיע בצורה אחרת.

האם מה שמוצע פה נותן דברים שאין באחרים?
האם הוא יותר שימושי או יותר מתאים לפה, אפילו מבחינה ויזואלית?

הנה שני דשבורדים של סטטיסטיקות, אולי יש עוד:

• https://littlemoiz.com/
• https://epic-fury.netlify.app/

:גם לקבי מקורות נתונים יש כמה אלטרנטיבות

• https://github.com/yuval-harpaz/alarms by @yuval-harpaz
• https://github.com/dleshem/israel-alerts-data by @dleshem

מה שמייחד את מפת העורף זה שהיא נותנת מידע שעוזר לאנשים לקבל החלטות אמיתיות.
האם ה-PR הזה יכול להיות תואם את היעד הזה?
האם במקום או בנוסף לסטטיסטיקות אפשר להוסיף שיערוכים לגבי העתיד הקרוב?

[Uripeer3]

@maorcc אני בהחלט מבין את הרציונל, בהחלט יש מספר מקורות לסטטיסטיקה גולמית שמראה מספרים יפים.

האם מה שמוצע פה נותן דברים שאין באחרים?

הפיתוח נבע מהצורך להבין למול מצב עדכני, איפה יחסית בטוח לטייל, לצאת לצימר וכד'.
המטרה פה היא לא לתת דשבורד איפה הייתה הכי הרבה אש, ומאיזה מדינה חטפנו כמה טילים.

אלא לייצר מקור מידע גאוגרפי שקל לפיו לראות ולשכול סכנה בצורה רציונלית כדי להמשיך בחיים כמה שאפשר.

(למשל ניתן לראות שעל אף שאמירים נמצא ליד הגבול, הפעילות שם בשבועות האחרונים הייתה דומה לחיפה ככה שמי שחושב אולי על צימר עם בת הזוג יכול לשקול מחדש את החשש)

האמת שממש מהסיבה הזאת, ורצון לטייל בדרום נולד הפיצ'ר (והעדרו במקורות שמצאתי).
אני sucker אמיתי של מפות, וצירפת כמה מקורות יפים, לדעתי כולם חותאים במימוש ובהנגשה.

התוספת של היסטוגרמה של שעות/דקות זה גם מידע מאד חיוני, במלחמה האחרונה הטילים היו יחסית ספורדים, אבל אם תסתכל על הריכוז בסבב הקודם עם אירן רואים חד משמעית שרוב הטילים הגיעו בxx:12 וxx:42
וזה כי השיגורים מאירן היו בחצאי שעה עגולים + זמן מעוף, נתונים כאלה עוזרים מאד בדברים כמו מתי לצאת לנסיעה וכדומה...

לגבי מקורות מידע אחרים, אפשר להתמיע, זה אפילו קל, בפעם הקודמת שלפתי מצבע אדום אבל חשבתי שתהיה עדיפות למידע שנאגר פה.

לגבי הסקה נוספת על גבי הסטטיסטיקה הזו, למשל כמו האתר של מתי להתקלח, אני חושש שזה יהיה יותר מטעה ממועיל (לפחות בדברים שאני מצליח להריץ בראש כרגע) אבל אני פתוח להצעות :)

אולי סטטיסטיקות זה שם מטעה באמת, גם פה פתוח להצעות ^_^

[Uripeer3]

אולי אפשר לנסות בהינתן התרעה מקדימה לתת אחוז של סבירות להזעקת אמת ע"ס מיקום בפוליגון + היסטוריה\התרעה סטטיסטית סביב איזרים שיש בהם כרגע כטבם, אבל אני חושש שגם זה יהיה יחסית רעוע למול מידע אמיתי (ממה שניסיתי להסתכל בעין) ובסוף יותר מטעה מאשר אפקטיביב.

[yuval-harpaz]

יש לי אנליזה לפי שעה ולפי דקה בשעה. זה יכול מאד להטעות. תעיפו מבט
פה
הבעיה היא שבימים הראשונים היו כמויות של התרעות שלא משקפים את המשך המערכה. הוספץי חישוב הסתברות שמשמעו - מה הסיכוי שבשעה מסויימת, או פלח של כמה דקות, תהיה התרעה. זה מחושב לפי מספר הימים שבהם היתתה התרעה בשעה הזאת.
מצרף תמונה לגבי תל אביב

בכל מקרה, הנקודה היא שיש פה איסוף מידע בלתי תלוי כך שהגרפפים יספקו השלמה, או לכל הפחות הצצה למצב הנתונים של פיקוד העורף. יש עוד עניין של קיבוץ אירועים. הויזואליזציה במקורות שונים מקבצת אירועים סמוכים לאירוע אחד, ומבחינתי זה מעניין לראות מה יצא בשיטת מאור, יכולה להיות עדיפה על שיטות אחרות. לגבי האיזורים הבטוחים, מפת החום יכולה לספק את זה, ואנשים רוצים לדעת. יש כמה אופציות כמו [מפת החום שלי](https://oct7database.com/heatmap_by_time.html) או מפה שמישהו דחף לרפו שלי, אני קורא לה [מפת קור](https://yuval-harpaz.github.io/alarms/safety_heatmap.html). שוב, זה שהמידע קיים בעוד מקומות זה לא סיבה לא לשקף אותו גם כאן מבחינתי.

[Uripeer3]

הבעיה היא שבימים הראשונים היו כמויות של התרעות שלא משקפים את המשך המערכה

במקרה המוצע הטווח שעל פיו מחושבים הצבעים/היסטוגרמות הוא לחלוטין ניתן לבחירה עי המשתמש ודיפולטית על פני השבוע האחרון.

. הויזואליזציה במקורות שונים מקבצת אירועים סמוכים לאירוע אחד, ומבחינתי זה מעניין לראות מה יצא בשיטת מאור, יכולה להיות עדיפה על שיטות אחרות

חידוד מצויין, המפה הזו בשונה מהמקורות האחרים משאירה כל פוליגון בפני עצמו, לטובה ולרעה. (לדעתי במתאר הויזואלי של האפליקציה הזו זה דווקא מתאים)

מעריך את הביקורת והוספת המקורות, ☺️

[yuval-harpaz]

התכוונתי לקיבוץ של האירועים הוא לפי סמיכות בזמן