filling missing cells

amit gal

unread,

Oct 11, 2016, 5:38:05 PM10/11/16

to israel-r-...@googlegroups.com

It must be the time (after midnight) as I have a blackout.

I have a matrix with some missing values I want to fill. for a certain cell, I know that the marginal row probability has mean r (more specifically, the marginal row probability follows the beta distribution with some parameters I know). the marginal column distribution of that cell has mean c (it follows a beta distribution with different known parameters)

what value should I "plug" in that cells (or which probability to sample from, in filling that value?)

Tal Galili

unread,

Oct 11, 2016, 6:14:21 PM10/11/16

to israel-r-...@googlegroups.com

אני משער שאתה רוצה למלא נתונים בשביל להכניס את המטריצה המלאה לאיזשהו מודל. האם אתה מתאר לנו מטריצה tidy שיש בה שורה לכל נבדק ועמודה עם תצפיות על הנבדק? אם כן, האם זה מצב שבו העמודות קבועות והשורות נדגמות, ואתה רוצה לבנות מודל שיחזה תצפיות חדשות? (כי מהתיאור שלך, אני לא בטוח שבזה מדובר)

אם אכן בזה מדובר, נשמע על פניו שתרצה להשתמש באיזשהו אומד מיקום להתפלגות. אם אתה יודע שמדובר בבטא, אז אפשר להשתמש בממוצע כאומר לתוחלת של בטא. אבל בכל מקרה, אי הוודאות של המודל שתתאים צפויה להיות אופטימית מידי, היות והיא תתעלם מתהליך מילוי הנתונים שביצעת (שאגב, מניח פה אקראיות ביצירת הנתונים החסרים).

ממה שנתקלתי, דרך סבירה להתמודד עם זה הוא להשתמש ה multiple imputation.

לא יצא לי לעשות זאת זמן רב, אבל אני חושד שהחבילה mice מיועדת לזה.

https://cran.r-project.org/web/packages/mice/index.html

מקווה שזה עוזר, ואם לא - תרחיב.

טל

----------------Contact Details:-------------------------------------------------------
Contact me: Tal.G...@gmail.com |
Read me: www.talgalili.com (Hebrew) | www.biostatistics.co.il (Hebrew) | www.r-statistics.com (English)
----------------------------------------------------------------------------------------------

--
You received this message because you are subscribed to the Google Groups "Israel R User Group" group.
To unsubscribe from this group and stop receiving emails from it, send an email to israel-r-user-group+unsub...@googlegroups.com.
For more options, visit https://groups.google.com/d/optout.

amit gal

unread,

Oct 11, 2016, 6:20:02 PM10/11/16

to israel-r-...@googlegroups.com

זו לא בדיוק הבעיה שלי.

המטריצה מכילה הסתברויות (אמפיריות מתוך מדידה) לארועים שיקרו תחת צירופים של שני תנאים. כך שכל שורה במטריצה היא רמה של תנאי מספר אחד, וכל טור במטריצה היא רמה של תנאי מספר 2, והערכים הן מדידות שערכתי לגבי ההסתברויות בתנאים הרלוונטיים. כמובן אין לי מדידות לכל הצירופים האפשריים, אבל יש לי מספיק מדידות כדי לקבל מושג על ההתפלגות השולית לכל אחת מהרמות של כל אחד מהתנאים בנפרד. באופן מפתיע יותר או פחות ההתפלגויות האלה באמת קרובות להתפלגויות בטא. כמובן, כל טור וכל שורה יש את הפרמטרים שלה.

אני רוצה להשתמש במידע הזה כדי להעריך את ההסתברויות החסרות במטריצה.

אני אכן ארצה להשתמש בmultiple imputation כשאדע איך לעשות זאת. כלומר אכניס ערכים למטריצה בכמה אופנים, כדי ליצור כמה אלטרנטיבות למטריצות מלאות, ומשם אמשיך. אבל עדיין נשארת השאלה מאיזה התפלגות לדגום את התא החסר הבודד.

To unsubscribe from this group and stop receiving emails from it, send an email to israel-r-user-group+unsubscribe...@googlegroups.com.

For more options, visit https://groups.google.com/d/optout.

amit gal

unread,

Oct 11, 2016, 9:02:22 PM10/11/16

to israel-r-...@googlegroups.com

טוב. חשבתי שזה רק בלקאאוט שלי ושזו בעיה פשוטה וסט, אבל מסתבר שהפוך מזה. זו בעיה קשה מאד.

אם יש לכם תובנות - אשמח. אבל זו לא בעית R, אז אני פוטר אתכם מהתייחסות :-)

Shlomo Yona

unread,

Oct 12, 2016, 6:26:03 AM10/12/16

to israel-r-...@googlegroups.com

עמית, נראה לי שהעיתוי שלך בעייתי. תנסה אחרי יום הכיפורים :-)

אה... וזאת אינה בעיה פשוטה, כשאתה יכול לתאר נעלם ביותר ממודל אחד ושאין מתודולוגיה ברורה לשלב בין מודלים שונים לתיאור אותן העובדות.

מה אתה מתאר, להבנתי?

מצד אחד אתה יכול להגריל תוצאה לפי התפלגות משוערת א', מצד אחר אתה יכול להגריל תוצאה לפי התפלגות משוערת ב'.

האם תבנה ensemble? או mixture of experts? מה תהיה אסטרטגיית ההכרעה? האם שרירותית? האם אפשר ללמוד או להסיק אותה משאר הקשרים שיש בטבלת איסוף הנתונים שלך?

כל אלה שאלות מצויינות ואני לא מכיר דרך שיטתית לענות עליהן, אלא כל מקרה לגופו.

שלמה

To unsubscribe from this group and stop receiving emails from it, send an email to israel-r-user-group+unsub...@googlegroups.com.

amit gal

unread,

Oct 12, 2016, 6:32:02 AM10/12/16

to israel-r-...@googlegroups.com

עיתוי בעייתי זה סיפור חיי :)

בכל מקרה תחשוב על טבלאות שכיחות שבהן יודעים את סכומי הטורים והשורות, ומנסים למלא את התאים עצמם. מצד אחד יש הרבה פתרונות אפשריים, מצד שני ההתפלגות הפוסטריורית על התא, בהינתן סכום הטור והשורה שונה מההתפלגות הפריורית, מה שאומר שיש שם מה ללמוד.

בתאריך 12 באוק׳ 2016 13:26,‏ "Shlomo Yona" <shlom...@gmail.com> כתב:

Shlomo Yona

unread,

Oct 12, 2016, 6:39:40 AM10/12/16

to israel-r-...@googlegroups.com

אז אתה כבר במקום טוב יותר.

עכשיו הייתי משקיע מחשבה איך להסיק את הקשר (משעה שהחלטת שיש קשר שכזה ושאפשר להסיק אותו).

:-)

שלמה

Jonathan Rosenblatt

unread,

Oct 12, 2016, 12:59:33 PM10/12/16

to israel-r-user-group

כמובן שהנחת אי תלות תסגור לך את הפינה.

בהיעדר הנחות נוספות, אתה יכול להיעזר באי שיווינות Frechet בשביל לחסום את הערכים בתאים.

הנה הגרסה הבדידה, והנה הרציפה.

--

Jonathan Rosenblatt

Dept. of Industrial Engineering and Management

Ben Gurion University of the Negev

www.john-ros.com

Jonathan Rosenblatt

unread,

Oct 12, 2016, 1:02:31 PM10/12/16

to israel-r-user-group

ועוד כיוון לפתרון, אם אתה יודע יותר משוליים חד מימדיים:

Dobra, Adrian, and Stephen E. Fienberg. “Bounds for Cell Entries in Contingency Tables given Marginal Totals and Decomposable Graphs.” Proceedings of the National Academy of Sciences 97, no. 22 (October 24, 2000): 11885–92. doi:10.1073/pnas.97.22.11885.

--

--
Jonathan Rosenblatt
Dept. of Industrial Engineering and Management
Ben Gurion University of the Negev
www.john-ros.com

Reply all

Reply to author

Forward