Splitting unicode text by newline and '.'

[Mike Kahn]

Hi all, I'm trying to write a script that will read in and split unicode by whitespace or " ."

I'm able to read the unicode in okay but unable to split the unicode. It comes back unreadable. Heres what I have so far:

import codecs

#opens the file

def readfile():

f = codecs.open('part-aa', encoding='utf-8').read()

# print "success"

return f

a = readfile()

print a

#splits file per new lines

def splitfile():

for line in a:

wds = line.splitlines()

return wds

b= splitfile()

print b

Here is a snippet of the unicode text (hebrew):

‎לפני שנים רבות אי שם בארץ רחוקה הגיע בן המלך הבכור לפרקו. שמח וטוב לבב קרא אותו אביו אליו ואמר: "בני היקר, הנה אתה כבר אינך ילד, לא ירחק 

‎היום וכל הממלכה המונחת לפניך, שלך תהא. הגיע יומך לצאת אל העולם הגדול הסובב אותנו, ולתור אחר הנסיכה בחירת ליבך." כל אותו הזמן הסתתר מאחורי הפרגוד מבלי ידיעתם האח הצעיר. כעת פקח הוא את שתי עיניו, אישוניו הרחבים ממילא התפשטו עוד יותר, משוועים לבלוע לתוכם את כל צפונות העולם. אף שפתיו נפערו מבלי משים, ממתינות בכיליון למוצא פיו של אחיו, "למה זה אצה לך הדרך אבי?" שמע לבסוף את קולו הרועד של זה. "אל לך לחשוש בני", לחש עתה האב בקול מנחם, "תבל נפלאה ממתינה לך מעבר לחומת הארמון. אף אני לפנייך יצאתי לתור אותה. והארץ העניקה לי בשפע מאוצרותיה, לבסוף מצאתי את אימך היקרה, הודות לכך נולדת אתה." האח הצעיר שמח לגלות כי אחיו המורגל לציית לאביהם, ואינו נוהג להמרות את פיו, הנהן עתה בראשו והשיב, "כמצוותך אדוני המלך, כן יהי." בלב כבד וברגליים כושלות ניגש להתכונן אל הלא נודע. עוד הוא אורז מעט צידה לדרך, ואחיו הצעיר ניגש אליו בצעדים נמהרים, ככלבלב עליז המקשקש בזנבו, "שמעתי כי שילח אותך אבינו אל העולם הגדול הנורא." אמר, "זהו גורלי." השיב הבכור בפנים נפולות. "אל דאגה אחי", לחש הצעיר בקול ממתיק סוד, "לא אנטוש אותך כאבינו לצאת בגפך אל מעבר לשריון החומות, אחים בדם אנו על-כן אלווה אותך בכל אשר תפנה. "כעת היה זה תורו של הבכור לחייך, ולהצמיד את 

‎אחיו אל לוח ליבו בחיבוק חם. כך יצאו עם שחר האחים יחדיו לדרך. שמחים לגלות כי כדבריי אביהם אכן נהדרים הם פלאי התבל העוטפת את ממלכתם. תמימי דעים שמו פעמיהם דרומה, לעבר הממלכה השכנה. עם ערב מצאו עצמם בשערי הארמון. משהציגו זהותם התקבלו בברכה, ואף הוזמנו לסעוד את ליבם על שולחן המלך בכבודו ובעצמו. המלך קיבל את פניהם בלבביות, "הו אביכם הוא לי כאח ורע, לכבוד הוא לי לארח אתכם בארמוני." שני הנסיכים קדו כיאה, מרכינים ראשם לאות כבוד. משנשאו עיניהם נעתקה נשימתם. לצד המלך האדיב, עמדה עתה נערה קורנת אור וטובת מראה. "הרשו לי להציג בפניכם את בתי היחידה והיקרה, זאכו" אמר האב בגאווה, בעוד הנסיכה מגישה להם את ידה הענוגה. הבן הבכור שסומק עלה בלחייו, לחץ את היד המושטת בגמלוניות מהוססת, וכמעט שאיבד את שיווי המשקל, בשעה שהשתחווה בפניה. ואילו אחיו נטל בביטחון את הכף וקרבה לשפתיו לנשיקה רכה. כה נסער היה הבכור, שלא שט ליבו לחיוך שעלה על שפתיה הורודות של הנסיכה. רק עם ליל בבואם לעלות על יצועם בחדר שהוקצה עבורם, פצה לבסוף הבכור פיו ואמר, "לא האמנתי שמשאלת ליבו של אבי תתגשם במהירות רבה כל-כך. מעולם לא חזיתי ביופי שכזה, כשמה כן הנסיכה זאכו, זכה היא וברה. עורה צח עדין וענוג, עיניה התכלות משקפות בחובן את משאלות נפשי הכמוסות." עוד זה מדבר בשטף לא אופייני, נפלו שמורות עיני אחיו, פניו החווירו וליבו צנח בקרבו כמשקולת. שלא כמנהגו החריש עתה, אף כשסיכם לבסוף אחיו נאומו הנמרץ והכריז בביטחון, "עם שחר אבקש את ידה מאביה." לא הוציא אחיו הגה מפיו לטוב או לרע. בתום ליבו חשב הבכור כי העייפות הכריעה את אחיו, וכעת עצם אף הוא את עיניו, מתמסר לחלומות

Any guidance or feedback appreciated.

Mike

[Mike Kahn]

I switched over to python3 as it seems to handle unicode better and was able to get it to split but now I am trying to figure out how to split by the left-to-right mark u"\u200E" :)

import codecs

import re

#opens the file

def readfile():

f = codecs.open('part-aa', encoding='utf-8').read()

return f

a = readfile()

print(a)

#splits by new line and character u'\u200e' 'left to right mark'

def splitfile():

part2 = re.split(r'[\n\r]+', a)

return part2

b = splitfile()

print(b)

Heres my output. Note the highlighted left-to-right marks. I think my next step is to modify the re.split function for these just not sure how.

mikekahn-macbookpro2:py mikekahn$ python3 read-3.py 

‎מבבל לציון מסעה של משפחת נחום 

‎האזינה וכתבה: אושרת ירושלמי 

‎2 מבבל לציון 

‎מסעה של משפחת נחום 3 

                                             

‎לפני שנים רבות אי שם בארץ רחוקה הגיע בן המלך הבכור לפרקו. שמח וטוב לבב קרא אותו אביו אליו ואמר: "בני היקר, הנה אתה כבר אינך ילד, לא ירחק 

‎היום וכל הממלכה המונחת לפניך, שלך תהא. הגיע יומך לצאת אל העולם הגדול הסובב אותנו, ולתור אחר הנסיכה בחירת ליבך." כל אותו הזמן הסתתר מאחורי הפרגוד מבלי ידיעתם האח הצעיר. כעת פקח הוא את שתי עיניו, אישוניו הרחבים ממילא התפשטו עוד יותר, משוועים לבלוע לתוכם את כל צפונות העולם. אף שפתיו נפערו מבלי משים, ממתינות בכיליון למוצא פיו של אחיו, "למה זה אצה לך הדרך אבי?" שמע לבסוף את קולו הרועד של זה. "אל לך לחשוש בני", לחש עתה האב בקול מנחם, "תבל נפלאה ממתינה לך מעבר לחומת הארמון. אף אני לפנייך יצאתי לתור אותה. והארץ העניקה לי בשפע מאוצרותיה, לבסוף מצאתי את אימך היקרה, הודות לכך נולדת אתה." האח הצעיר שמח לגלות כי אחיו המורגל לציית לאביהם, ואינו נוהג להמרות את פיו, הנהן עתה בראשו והשיב, "כמצוותך אדוני המלך, כן יהי." בלב כבד וברגליים כושלות ניגש להתכונן אל הלא נודע. עוד הוא אורז מעט צידה לדרך, ואחיו הצעיר ניגש אליו בצעדים נמהרים, ככלבלב עליז המקשקש בזנבו, "שמעתי כי שילח אותך אבינו אל העולם הגדול הנורא." אמר, "זהו גורלי." השיב הבכור בפנים נפולות. "אל דאגה אחי", לחש הצעיר בקול ממתיק סוד, "לא אנטוש אותך כאבינו לצאת בגפך אל מעבר לשריון החומות, אחים בדם אנו על-כן אלווה אותך בכל אשר תפנה. "כעת היה זה תורו של הבכור לחייך, ולהצמיד את 

‎אחיו אל לוח ליבו בחיבוק חם. כך יצאו עם שחר האחים יחדיו לדרך. שמחים לגלות כי כדבריי אביהם אכן נהדרים הם פלאי התבל העוטפת את ממלכתם. תמימי דעים שמו פעמיהם דרומה, לעבר הממלכה השכנה. עם ערב מצאו עצמם בשערי הארמון. משהציגו זהותם התקבלו בברכה, ואף הוזמנו לסעוד את ליבם על שולחן המלך בכבודו ובעצמו. המלך קיבל את פניהם בלבביות, "הו אביכם הוא לי כאח ורע, לכבוד הוא לי לארח אתכם בארמוני." שני הנסיכים קדו כיאה, מרכינים ראשם לאות כבוד. משנשאו עיניהם נעתקה נשימתם. לצד המלך האדיב, עמדה עתה נערה קורנת אור וטובת מראה. "הרשו לי להציג בפניכם את בתי היחידה והיקרה, זאכו" אמר האב בגאווה, בעוד הנסיכה מגישה להם את ידה הענוגה. הבן הבכור שסומק עלה בלחייו, לחץ את היד המושטת בגמלוניות מהוססת, וכמעט שאיבד את שיווי המשקל, בשעה שהשתחווה בפניה. ואילו אחיו נטל בביטחון את הכף וקרבה לשפתיו לנשיקה רכה. כה נסער היה הבכור, שלא שט ליבו לחיוך שעלה על שפתיה הורודות של הנסיכה. רק עם ליל בבואם לעלות על יצועם בחדר שהוקצה עבורם, פצה לבסוף הבכור פיו ואמר, "לא האמנתי שמשאלת ליבו של אבי תתגשם במהירות רבה כל-כך. מעולם לא חזיתי ביופי שכזה, כשמה כן הנסיכה זאכו, זכה היא וברה. עורה צח עדין וענוג, עיניה התכלות משקפות בחובן את משאלות נפשי הכמוסות." עוד זה מדבר בשטף לא אופייני, נפלו שמורות עיני אחיו, פניו החווירו וליבו צנח בקרבו כמשקולת. שלא כמנהגו החריש עתה, אף כשסיכם לבסוף אחיו נאומו הנמרץ והכריז בביטחון, "עם שחר אבקש את ידה מאביה." לא הוציא אחיו הגה מפיו לטוב או לרע. בתום ליבו חשב הבכור כי העייפות הכריעה את אחיו, וכעת עצם אף הוא את עיניו, מתמסר לחלומות

split section below

['\u200eמבבל לציון מסעה של משפחת נחום ', '\u200eהאזינה וכתבה: אושרת ירושלמי ', '\u200e2 מבבל לציון ', '\u200eמסעה של משפחת נחום 3 ', '                                             ', '\u200eלפני שנים רבות אי שם בארץ רחוקה הגיע בן המלך הבכור לפרקו. שמח וטוב לבב קרא אותו אביו אליו ואמר: "בני היקר, הנה אתה כבר אינך ילד, לא ירחק ', '\u200eהיום וכל הממלכה המונחת לפניך, שלך תהא. הגיע יומך לצאת אל העולם הגדול הסובב אותנו, ולתור אחר הנסיכה בחירת ליבך." כל אותו הזמן הסתתר מאחורי הפרגוד מבלי ידיעתם האח הצעיר. כעת פקח הוא את שתי עיניו, אישוניו הרחבים ממילא התפשטו עוד יותר, משוועים לבלוע לתוכם את כל צפונות העולם. אף שפתיו נפערו מבלי משים, ממתינות בכיליון למוצא פיו של אחיו, "למה זה אצה לך הדרך אבי?" שמע לבסוף את קולו הרועד של זה. "אל לך לחשוש בני", לחש עתה האב בקול מנחם, "תבל נפלאה ממתינה לך מעבר לחומת הארמון. אף אני לפנייך יצאתי לתור אותה. והארץ העניקה לי בשפע מאוצרותיה, לבסוף מצאתי את אימך היקרה, הודות לכך נולדת אתה." האח הצעיר שמח לגלות כי אחיו המורגל לציית לאביהם, ואינו נוהג להמרות את פיו, הנהן עתה בראשו והשיב, "כמצוותך אדוני המלך, כן יהי." בלב כבד וברגליים כושלות ניגש להתכונן אל הלא נודע. עוד הוא אורז מעט צידה לדרך, ואחיו הצעיר ניגש אליו בצעדים נמהרים, ככלבלב עליז המקשקש בזנבו, "שמעתי כי שילח אותך אבינו אל העולם הגדול הנורא." אמר, "זהו גורלי." השיב הבכור בפנים נפולות. "אל דאגה אחי", לחש הצעיר בקול ממתיק סוד, "לא אנטוש אותך כאבינו לצאת בגפך אל מעבר לשריון החומות, אחים בדם אנו על-כן אלווה אותך בכל אשר תפנה. "כעת היה זה תורו של הבכור לחייך, ולהצמיד את ', '\u200eאחיו אל לוח ליבו בחיבוק חם. כך יצאו עם שחר האחים יחדיו לדרך. שמחים לגלות כי כדבריי אביהם אכן נהדרים הם פלאי התבל העוטפת את ממלכתם. תמימי דעים שמו פעמיהם דרומה, לעבר הממלכה השכנה. עם ערב מצאו עצמם בשערי הארמון. משהציגו זהותם התקבלו בברכה, ואף הוזמנו לסעוד את ליבם על שולחן המלך בכבודו ובעצמו. המלך קיבל את פניהם בלבביות, "הו אביכם הוא לי כאח ורע, לכבוד הוא לי לארח אתכם בארמוני." שני הנסיכים קדו כיאה, מרכינים ראשם לאות כבוד. משנשאו עיניהם נעתקה נשימתם. לצד המלך האדיב, עמדה עתה נערה קורנת אור וטובת מראה. "הרשו לי להציג בפניכם את בתי היחידה והיקרה, זאכו" אמר האב בגאווה, בעוד הנסיכה מגישה להם את ידה הענוגה. הבן הבכור שסומק עלה בלחייו, לחץ את היד המושטת בגמלוניות מהוססת, וכמעט שאיבד את שיווי המשקל, בשעה שהשתחווה בפניה. ואילו אחיו נטל בביטחון את הכף וקרבה לשפתיו לנשיקה רכה. כה נסער היה הבכור, שלא שט ליבו לחיוך שעלה על שפתיה הורודות של הנסיכה. רק עם ליל בבואם לעלות על יצועם בחדר שהוקצה עבורם, פצה לבסוף הבכור פיו ואמר, "לא האמנתי שמשאלת ליבו של אבי תתגשם במהירות רבה כל-כך. מעולם לא חזיתי ביופי שכזה, כשמה כן הנסיכה זאכו, זכה היא וברה. עורה צח עדין וענוג, עיניה התכלות משקפות בחובן את משאלות נפשי הכמוסות." עוד זה מדבר בשטף לא אופייני, נפלו שמורות עיני אחיו, פניו החווירו וליבו צנח בקרבו כמשקולת. שלא כמנהגו החריש עתה, אף כשסיכם לבסוף אחיו נאומו הנמרץ והכריז בביטחון, "עם שחר אבקש את ידה מאביה." לא הוציא אחיו הגה מפיו לטוב או לרע. בתום ליבו חשב הבכור כי העייפות הכריעה את אחיו, וכעת עצם אף הוא את עיניו, מתמסר לחלומות']