getting hindi-english word list in notepad ++

[V S Rawat]

वर्ड लिस्ट पाने में बहुत ढूँढने, परेशानी उठाने के बाद,
मैंने notepad ++ में regex का इस्तेमाल करके वर्डलिस्ट पाने का तरीका ढूँढ लिया है

बाकी जगह समस्या ये आ रही थी कि कई साइटों और सॉफ़्टवेयरों में यूनीकोड हिन्दी का
समर्थन नहीं है

इस तरह के विश्लेषण के लिए tsstat मेरा फेवरेट है, वो क्लेम करते हैं कि उसमें यूनीकोड
समर्थन है, लेकिन मैं नवीनतम वर्जन इस्तेमाल करता हूँ तो हिन्दी शब्द गड़बड़ आते हैं।

किसी भी हिन्दी, अंग्रेज़ी, हिन्दी अंकों, अंग्रेज़ी अंकों, पंक्च्युएशन वगैरह सबकुछ वाले पाठ को
notepad ++ में डालें।

अब इन रिप्लेसमेण्ट्स को करें।

replace [\(\)\{\}\[\]\<\>\,\;\:\\\/\"\“\”\'\‘\।\?\®\±\#\%\+\\•] with
one blank
इससे लगभग सारे पंक्च्युएशन की जगह पर एक-एक ब्लैंक हो जाएगा।
(इसमें . फ़ुल स्टॉप को नहीं बदला गया है क्योंकि a.m. p.m. जैसे शब्दों में . हटाने से उनका
अर्थ चला जाएगा)

replace \s with \r
यह सभी व्हाइट स्पेस को कैरिएज रिटर्न से बदल देगा जिसे सारे शब्द एक लाइन में एक शब्द
हो जाएगा

replace \_+ with _
कई बार भरने वाली जगहों को बताने के लिए ____ जैसी रिपीटेड अण्डरलाइन दी जाती है, ये
कमाण्ड उन रिपीटेड को एक अकेले अकरेन्स में बदल देगा।

replace \.\.+ with .
यह एक से अधिक . फ़ुलस्टॉप की जगह एक . फ़ुलस्टॉप ही रहने देगा, जो कि संख्याओं में
इस्तेमाल होगा।

अब दो में से कोई भी एक तरीका अपनाइए
replace \r+ with \r
or
Edit - Line Operations - Remove empty lines
ये दोनों ही सारी पूरी ब्लैंक लाइनों को हटा देंगे

अब उसे सॉर्ट कर लीजिए
Edit - Line Operations - sort lines Lexicographically ascending

बस आपकी वर्ड लिस्ट आ गई, जिसमें यूनीकोड (हिन्दी या कोई भी अन्य भाषा) और अंग्रेज़ी
दोनों के शब्द होंगे,

लेकिन ये शब्द रिपीटेड होंगे। मूल पाठ में एक शब्द जितनी बार आ रहा है, वह उतनी बार इस
लिस्ट में आएगा।

इसके लिए इस तरीक़े को अपनाएँ।
notepad ++ का एक प्लगइन है TextFX, उसे इन्स्टॉल कर लें। मेन मेन्यू में एक "TextFX"
करके नया आइटम आ जाएगा

अब इस मेन्यू ऑप्शन पर क्लिक करें
TextFX - Tools - sort ouput only UNIQUE at (column) lines
यह सेट हो जाएगा और इसके बाद से यह सारी सॉर्टिंग से डुप्लिकेट को हटा दिया करेगा।

अब सॉर्ट करें
TextFX - Tools - sort ascending caseinsensitive
आपकी सॉर्टेड लिस्ट मिल गई जिसमें हर शब्द एक बार आएगा।

आप उस लिस्ट को मैन्युअली देख सकते हैं, और अब भी अगर कोई अनचाहा कैरेक्टर आ रहा है तो
उसे हटा सकते हैं, जैसे अंग्रेजी सेन्टेन्स के अन्त वाला . फ़ुलस्टॉप अभी भी सेन्टेन्स आख़िरी वर्ड
से जुड़ा हुआ आएगा, उसे हटा सकते हैं।
और ज़रूरत पड़े तो फिर से सॉर्ट कर सकते हैं, ताकि इस . फ़ुलस्टॉप को हटाने से कोई वर्ड
डुप्लिकेट हो गया हो तो वो हट जाए।

बस, हो गया।

आपने
TextFX - Tools - sort ouput only UNIQUE at (column) lines
को सेट कर दिया है जो इसके बाद से यह सारी सॉर्टिंग से डुप्लिकेट को हटा दिया करेगा।
अगर आपको ज़रूरत न हो, तो उसे फिर से क्लिक करके अनसेट कर दें, ताकि अगली सॉर्टिंग में
डुप्लिकेट रहा करें, जो कि इस प्लगइन की नॉर्मल सेटिंग है।

इसमें - हाइफ़न डैश को नहीं हटाया गया है क्यों वो शब्दों को जोड़ता है, जिनका जुड़े हुए
अलग अर्थ होता है और अलग हो जाने पर अर्थ अलग हो जाएगा या अर्थ ख़तम हो जा सकता है।

इससे आपको किसी साइट, किसी सॉफ़्टवेयर पर निर्भर रहने की ज़रूरत नहीं रहेगी।

सब कुछ आपकी आँखों के सामने ही होता रहेगा।

आप इन कमाण्डों को अपनी जानकारी में आई नई चीज़ों के मुताबिक बदल भी सकेंगे। अगर कोई
अन्य कैरेक्टर आपके पाठ में दिखा या बार-बार आता है तो उसे आप हमेशा के लिए इसमें शामिल
कर सकेंगे।

और आपको इतना डीप टेक्निकल काम ख़ुद करने की संतुष्टि भी मिलेगी।
-

मुझे लगता है कि regex में वर्ड बाउण्डरीज़ को पहचानने के लिए भी कमाण्ड रहता है, इसलिए
अगर इतने सारे पंक्चयुएशन्स को देने की जगह पर वर्ड के स्टार्ट और एण्ड को रिकगनाइज़ करके
इस तरह से अलग करना हो पाए, तो वो आसान रहेगा।

मुझे regex का बहुत पता नहीं है, यदि कोई सुझाव हो तो निःसंकोच बताएँ।

धन्यवाद।
रावत

[Anunad Singh]

रावत जी, इतना बढ़िया हल स्वयं निकाल लेने के लिये बधाई।

रेगुलर एक्सप्रेशन से बड़े कठिन काम भी आसानी से हो जाते हैं। यह हल कभी-कभार करना हो तो ठीक है। क्योंकि कुछ काम नोटपैड में करना है और कुछ कहीं अन्यत्र।

यदि गम्भीरता से और बार-बार करना हो तो  इसके लिये टेक्स्टक्राउलर (Text Crawler) और डुप्लिकेट्स फाइण्डर (Duplicates Finder) में यह काम  एक दो क्लिक में हो सकता है। इसके अलावा ये सॉफ्टवेयर अन्य काम भी करते हैं।

[V S Rawat]

धन्यवाद अनुनाद जी।

टेक्स्टक्राउलर (Text Crawler) तो यूनीकोड को रिकगनाइज़ ही नहीं करता है। मेरे पास
3.0.3 लेटेस्ट फ़्री वर्ज़न है।

वैसे अंग्रेज़ी टेक्स्ट को कई फ़ाइलों-फ़ोल्डरों में ढूँढने के लिए यह बहुत बढ़िया है।

यदि किसी को इसमें यूनीकोड हिन्दी टेक्स्ट को ढूँढने की कोई सेटिंग पता हो तो कृपया साझा करें।

धन्यवाद।
रावत

> --
> आपको यह संदश इसलिए मिला है क्योंकि आपने Google समूह के "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com
> <mailto:technical-hin...@googlegroups.com> को ईमेल भेजें.
> अधिक विकल्पों के लिए, https://groups.google.com/d/optout में जाएं.

[Anunad Singh]

मैं तो टेक्स्ट क्राउलर को तीन-चार वर्ष से प्रयोग कर रहा हूँ। देवनागरी फाइलों पर 'सर्च'  और 'रिप्लेसमेण्ट' करता है।  कहीं कोई समस्या नहीं है, न तो डिस्प्ले करने में, न रेगुलर एक्सप्रेशन के प्रयोग में और न कोई अन्य। 

आपको इसमें किस तरह की समस्या आती है?

--
आपको यह संदेश इसलिए प्राप्त हुआ क्योंकि आपने Google समूह "Scientific and Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए, technical-hin...@googlegroups.com को ईमेल भेजें.
अधिक विकल्‍पों के लिए, https://groups.google.com/d/optout पर जाएं.

[V S Rawat]

मैंने इसमें यूनीकोड हिन्दी के कुछ शब्द डाले,
और Find क्लिक किया

वो यह बताए गए सारे फ़ोल्डर्स में .doc और .docx फाइल्स में वो शब्द नहीं ढूँढ पाया
जबकि वो शब्द उन्हीं फ़ाइलों में से लेकर पेस्ट किए थे।

जबकि अंग्रेज़ी के शब्द डाले तो इसने उन्हीं फ़ाइलों में फटाफट ढूँढ लिए थे।

रावत

On 10/21/2015 5:05 PM, Anunad Singh wrote:
> मैं तो टेक्स्ट क्राउलर को तीन-चार वर्ष से प्रयोग कर रहा हूँ। देवनागरी फाइलों पर
> 'सर्च' और 'रिप्लेसमेण्ट' करता है। कहीं कोई समस्या नहीं है, न तो डिस्प्ले करने में, न
> रेगुलर एक्सप्रेशन के प्रयोग में और न कोई अन्य।
>
> आपको इसमें किस तरह की समस्या आती है?
>
> 2015-10-21 16:59 GMT+05:30 V S Rawat <vsr...@gmail.com

> <mailto:vsr...@gmail.com>>:

>
> धन्यवाद अनुनाद जी।
>
> टेक्स्टक्राउलर (Text Crawler) तो यूनीकोड को रिकगनाइज़ ही नहीं करता है। मेरे
> पास 3.0.3 लेटेस्ट फ़्री वर्ज़न है।
>
> वैसे अंग्रेज़ी टेक्स्ट को कई फ़ाइलों-फ़ोल्डरों में ढूँढने के लिए यह बहुत बढ़िया है।
>
> यदि किसी को इसमें यूनीकोड हिन्दी टेक्स्ट को ढूँढने की कोई सेटिंग पता हो तो कृपया
> साझा करें।
>
> धन्यवाद।
> रावत
>
>
> On 10/21/2015 4:29 PM, Anunad Singh wrote:
>
> रावत जी, इतना बढ़िया हल स्वयं निकाल लेने के लिये बधाई।
>
> रेगुलर एक्सप्रेशन से बड़े कठिन काम भी आसानी से हो जाते हैं। यह हल कभी-कभार
> करना हो
> तो ठीक है। क्योंकि कुछ काम नोटपैड में करना है और कुछ कहीं अन्यत्र।
>
> यदि गम्भीरता से और बार-बार करना हो तो इसके लिये टेक्स्टक्राउलर (Text
> Crawler)
> और डुप्लिकेट्स फाइण्डर (Duplicates Finder) में यह काम एक दो क्लिक में हो
> सकता है।
> इसके अलावा ये सॉफ्टवेयर अन्य काम भी करते हैं।
>
> --
> आपको यह संदश इसलिए मिला है क्योंकि आपने Google समूह के "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com

> <mailto:technical-hindi%2Bunsu...@googlegroups.com>
> <mailto:technical-hin...@googlegroups.com
> <mailto:technical-hindi%2Bunsu...@googlegroups.com>> को ईमेल भेजें.

> अधिक विकल्पों के लिए, https://groups.google.com/d/optout में जाएं.
>
>
> --
> आपको यह संदेश इसलिए प्राप्त हुआ क्योंकि आपने Google समूह "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com

> <mailto:technical-hindi%2Bunsu...@googlegroups.com> को ईमेल भेजें.

> अधिक विकल्‍पों के लिए, https://groups.google.com/d/optout पर जाएं.
>
>

[V S Rawat]

यह तो अंग्रेज़ी टेक्स्ट भी कभी ढूँढ पा रहा है, कभी नहीं ढूँढ पा रहा है,
जबकि टेक्स्ट को उन्हीं फ़ोल्डरों में मौज़ुद फ़ाइलों से कॉपी पेस्ट किया था।

जब एक बार इसने एक अंग्रेज़ी टेक्स्ट ढूँढ लिया तो फिर प्रोग्राम चल तो रहा है,
फिर बाद को जाने क्या समस्या हो जाती है।

धन्यवाद
रावत

On 10/21/2015 5:05 PM, Anunad Singh wrote:

> मैं तो टेक्स्ट क्राउलर को तीन-चार वर्ष से प्रयोग कर रहा हूँ। देवनागरी फाइलों पर
> 'सर्च' और 'रिप्लेसमेण्ट' करता है। कहीं कोई समस्या नहीं है, न तो डिस्प्ले करने में, न
> रेगुलर एक्सप्रेशन के प्रयोग में और न कोई अन्य।
>
> आपको इसमें किस तरह की समस्या आती है?
>
> 2015-10-21 16:59 GMT+05:30 V S Rawat <vsr...@gmail.com

> <mailto:vsr...@gmail.com>>:

>
> धन्यवाद अनुनाद जी।
>
> टेक्स्टक्राउलर (Text Crawler) तो यूनीकोड को रिकगनाइज़ ही नहीं करता है। मेरे
> पास 3.0.3 लेटेस्ट फ़्री वर्ज़न है।
>
> वैसे अंग्रेज़ी टेक्स्ट को कई फ़ाइलों-फ़ोल्डरों में ढूँढने के लिए यह बहुत बढ़िया है।
>
> यदि किसी को इसमें यूनीकोड हिन्दी टेक्स्ट को ढूँढने की कोई सेटिंग पता हो तो कृपया
> साझा करें।
>
> धन्यवाद।
> रावत
>
>
> On 10/21/2015 4:29 PM, Anunad Singh wrote:
>
> रावत जी, इतना बढ़िया हल स्वयं निकाल लेने के लिये बधाई।
>
> रेगुलर एक्सप्रेशन से बड़े कठिन काम भी आसानी से हो जाते हैं। यह हल कभी-कभार
> करना हो
> तो ठीक है। क्योंकि कुछ काम नोटपैड में करना है और कुछ कहीं अन्यत्र।
>
> यदि गम्भीरता से और बार-बार करना हो तो इसके लिये टेक्स्टक्राउलर (Text
> Crawler)
> और डुप्लिकेट्स फाइण्डर (Duplicates Finder) में यह काम एक दो क्लिक में हो
> सकता है।
> इसके अलावा ये सॉफ्टवेयर अन्य काम भी करते हैं।
>
> --
> आपको यह संदश इसलिए मिला है क्योंकि आपने Google समूह के "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com

> <mailto:technical-hindi%2Bunsu...@googlegroups.com>
> <mailto:technical-hin...@googlegroups.com
> <mailto:technical-hindi%2Bunsu...@googlegroups.com>> को ईमेल भेजें.

> अधिक विकल्पों के लिए, https://groups.google.com/d/optout में जाएं.
>
>
> --
> आपको यह संदेश इसलिए प्राप्त हुआ क्योंकि आपने Google समूह "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com

> <mailto:technical-hindi%2Bunsu...@googlegroups.com> को ईमेल भेजें.

> अधिक विकल्‍पों के लिए, https://groups.google.com/d/optout पर जाएं.
>
>

[Anunad Singh]

मैने कभी डॉक फाइल के साथ इसका प्रयोग नहीं किया है।

कई जगह मिल रहा है कि इसकी सबसे बड़ी कमी यह है कि यह DOC फाइलों के साथ काम नहीं करता।  एक जगह यह भी मिला कि यह डॉक फाइलों के साथ काम करता है। 

किन्तु  यह बात फाइल फॉर्मट को पढ़ने और उसमें परिवर्तन कर पाने का मामला है, न कि यूनिकोड का मामला। आप कोई टेक्स्ट फाइल (देवनागरी) लीजिये और उसमें 'खोजो-बदलो' करके देखिये। 

यह भी पढ़िये-

Cons (of TextCrawler)

Frankly speaking, the only weakness in TextCrawler is that the file formats it is able to handle are limited. Most notably, TextCrawler is unable to handle *.doc files, which are probably the most popular type of document.

The formats that are supported by TextCrawler are: *.ini, *.txt, *.html, *.php, *.js, *.bat, and *.css.

Because of this drawback (and based on the list of supported formats), TextCrawler is generally a more useful tool for programmers, web developers and so on, as opposed to writers or others who use word processors.

[Vinod Sharma]

महानुभाव द्वय,

आप दोनों के वार्तालाप को मंत्रमुग्ध हो कर पढ़ गया। कुछ-कुछ ऐसा लगा जैसे दो संस्कृत के विद्वान वार्तालाप कर रहे हैैं, जिसके कोई-कोई शब्द पल्ले पड़ रहे हों।

आप लोगों की इस तकनीकी वार्ता का प्रयोजन स्पष्ट नहीं हो पाया।

लगभग 20 वर्ष से अनुवाद कार्य करते रहने के बावजूद, स्वयं को तकनीकी क्षेत्र में नितांत अज्ञानी ही पाता हूँ। एक प्रकार का अपराध बोध भी अनुभव होता है। हर साल लाखों शब्दों का अनुवाद करता हूँ, किंतु अभी तक अपने अनुवाद से कोई शब्दकोश नहीं बना पाया जिसका टीएम के रूप में उपयोग किया जा सके।

कभी समय मिले तो क्या आप कोई सरल विधि बता सकते हैं जिससे, अपने किए हुए अनुवाद में से अंग्रेजी और हिंदी के शब्दों का एक कोश या संग्रह बनाया जा सके, और उसे एक्सेल के दो कॉलम में व्यवस्थित किया जा सके। इस प्रकार की सूची से टीएम बनाई जा सकती है, जो आगामी अनुवाद को सुगम बना देगी।

सादर,

विनोद शर्मा  

--

आपको यह संदश इसलिए मिला है क्योंकि आपने Google समूह के "Scientific and Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.

इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए, technical-hin...@googlegroups.com को ईमेल भेजें.

[Hariraam]

विनोद जी,

विभिन्न CAT TOOLs का उपयोग करनेवाले सदस्यों से मैंने कई बार अनुरोध किया था कि सभी अपने TM से Phrases को छाँट कर योगदान करें ताकि एक समेकित Phrasal Dictionary बनाई जा सके। चूँकि TM में कुछ क्लाईंट्स की गोपनीय सामग्री भी होती है, अतः सब लोग share करने में हिचकते हैं। 

TMX format विभिन्न CAT tools की परस्पर compatible होती है और इसमें से phrases को छाँट कर या काट कर अलग किया जा सकता है।

विशेषकर अंग्रेजी-हिन्दी मशीनी अनुवाद में phrasal terms ही ज्यादा उपयोगी होते हैं। क्योंकि वाक्य-कोश से सिर्फ 5% तक ही अधिक मैचिंग मिल पाती है। इसका कारण अंग्रेजी-हिन्दी के syntax में भारी अन्तर  है।

मैं अपने CAT tool की TM और TDB को बीच बीच में Excel में Export करके Edit करके Compact करके वापस TM /TDB में import करके rebuild index कर देता हूँ तो प्रोग्राम काफी तीव्र गति से चलने लगता है और अनुवाद कार्य जल्दी और बेहतर होता है।

Regex बहुत अच्छा उपाय है Edit करने का, किन्तु जटिल होने के कारण पूर्ण उपयोग नहीं कर पाता।

Notepad++ में regex का उपयोग करके संग्रहीत TM और TDB के समेकन में काफी मदद मिल सकती है।

यदि सभी CAT TOOLs का उपयोग करनेवाले सदस्य अपनी TM & TDB में से गोपनीय रिकार्डों को हटाकर शेष का योगदान करने के लिए तैयार हो जाएँ तो इसके लिए उपयुक्त प्रक्रिया का विकास किया जा सकता है और परिणामस्वरूप प्राप्त समेकित कोश को सभी की TM / TDB में शामिल करने के लिए सबको उपलब्ध कराया जा सकता है। जिससे सभी का मशीनी अनुवाद कार्य कई गुना तीव्र और बेहतर हो सकता है।

हरिराम
प्रगत भारत <http://hariraama.blogspot.in>

[Vinod Sharma]

हरिराम जी,

मैंने भी कई बार साथी अनुवादकों से अनुरोध किया है। यूरोप और अमरीका में टीएम और शब्दकोशों के मामलों में परस्पर काफी सहयोग पाया जाता है। लेकिन हमारे यहाँ अनुवादक टीएम साझा नहीं करना चाहते। मैं अपनी टीएम साझा करने को तैयार हूँ लेकिन तकनीकी रूप से अल्पज्ञ होने के कारण मैं न तो टर्मबेस बना पाता हूँ और न ही कई टीएम में से विषयवार टीएम तैयार कर पाता हूँ। 

परिणाम यह होता है कि हर बार लगभग नए सिरे से ही अनुवाद करना पड़ता है।

मुझे से जैसा सहयोग करने के लिए कहेंगे, मैं तैयार हूँ।

सादर,

विनोद शर्मा

[Anunad Singh]

विनोद जी,

यह पोस्ट अलग विषय (समस्या) पर थी, इसका अनुवाद से कोई सम्बन्ध नहीं था। शायद आपको गलतफहमी हो गयी।

मुझे लगता है कि हिन्दी समुदाय को और अधिक उन्नत सॉफ़्टवेयर टूल प्रयोग करना चाहिये।  सुई का काम तलवार से और तलवार का काम कुल्हाड़ी से नहीं करना चाहिये।  मैं ओमेगा-टी के उपयोग की विधि पर एक विस्तृत लेख लिखूँगा और कुछ अनुवाद स्मृतियाँ भी शीघ्र बनाउँगा।

आपके पूर्व-कार्यों का लाभ आपको दिलाया जा सकता है यदि आपके पास  अंग्रेजी वाक्यों के साथ उनके हिन्दी अनुवाद कहीं टेक्स्ट या डॉक रूप में उपस्थित हों। या एक फाइल में अंग्रेजी और दूसरे में उसके संगत हिन्दी हो। यदि हो तो मैं आपको इसे अनुवाद-स्मृति में बदलकर दे सकता हूँ।

[Vinod Sharma]

जी धन्यवाद,  अनुनाद जी.

22-10-2015 2:15 pm को "Anunad Singh" <anu...@gmail.com> ने लिखा:

[V S Rawat]

शर्मा जी,
एवं अन्य मित्रों के लिए जिनको इस बारे में और जानकारी चाहिए।

यह एक अंग्रेज़ी का पैराग्राफ़ लीजिए।
Ram is a boy. Sita is a girl. Laxman is Ram's brother. Ram went to jungle. Sita was kidnapped by Ravan. Ram killed Ravan.

इसका हिन्दी अनुवाद हुआ।
राम एक बालक है। सीता एक बालिका है। लक्ष्मण राम का भाई है। राम जंगल गया (गए)। सीता का रावण के द्वारा अपहरण कर लिया गया था। राम ने रावण को मार डाला।

अब अंग्रेजी मूल पाठ को वाक्य की बाउण्ड्री पर (. फुल स्टॉप पर) ब्रेक करके अलग-अलग लाइन में ले आइए, कि एक लाइन में एक पूरा वाक्य रहे। (वर्ड या नोटपैड, वर्डपैड, नोटपैड प्लसप्लस किसी में भी हो जाएगा)

Ram is a boy.
Sita is a girl.
Laxman is Ram's brother.
Ram went to jungle.
Sita was kidnapped by Ravan.
Ram killed Ravan.

हिन्दी अनुवाद को भी ऐसे ही वाक्य की सीमाओं पर (। पूर्ण विराम पर) तोड़ कर एक लाइन में एक पूरा वाक्य कर लीजिए।

राम एक बालक है।
सीता एक बालिका है।
लक्ष्मण राम का भाई है।
राम जंगल गया (गए)।
सीता का रावण के द्वारा अपहरण कर लिया गया था।
राम ने रावण को मार डाला।

अब इनको वर्ड या एक्सेल में ऐसे रखें के एक लाइन में एक तरफ़ अंग्रेज़ी का पूरा वाक्य आए और उसी लाइन में दूसरी तरफ़ उसका पूरा हिन्दी अनुवाद आए।

Ram is a boy.	राम एक बालक है।
Sita is a girl.	सीता एक बालिका है।
Laxman is Ram's brother.	लक्ष्मण राम का भाई है।
Ram went to jungle.	राम जंगल गया (गए)।
Sita was kidnapped by Ravan.	सीता का रावण के द्वारा अपहरण कर लिया गया था।
Ram killed Ravan.	राम ने रावण को मार डाला।

या इसे सीएसवी टेक्स्ट फ़ाइल में टैब से सेपरेट करके भी कर सकते हैं।

बस, हो गया।
यह आपकी ट्रांसलेशन मेमोरी या टीएम हो गई।

इसे आप विभिन्न सॉफ़्टवेयर से टीएमएक्स या अन्य फ़ॉरमेटों में सीधे बदल सकते हैं।
इनमें "ट्रांसलेशन यूनिट" एक पूरे वाक्य की न्यूनतम इकाई है।

आप फ़ुल स्टॉप (.) और पूर्ण विराम (।) को हटा भी सकते हैं, प्रोग्राम उन्हें ख़ुद ही लगा देगा।

अब आपके भविष्य के अनुवाद में इनमें से कोई भी अंग्रेज़ी का मूल वाक्य आएगा, तो वह कैट प्रोग्राम उसे इस मेमोरी से बदल कर हिन्दी में कर देगा।

जैसे कि आपके अगले पाठ में " Ram killed Ravan." आएगा, तो प्रोग्राम उसे ख़ुद ही बदल कर " राम ने रावण को मार डाला।" कर देगा।

या अगले पाठ में Ram killed Ravan and returned to Ayodhya with Sita and Laxman."
तो प्रोग्राम उसे बदल कर "राम ने रावण को मार डाला and returned to Ayodhya with Sita and Laxman." कर देगा।
क्योंकि "and returned to Ayodhya with Sita and Laxman." इस मेमोरी में नहीं है, इसलिए प्रोग्राम उसका अनुवाद नहीं कर पाएगा।
लेकिन फिर आप इस नए अंश का अनुवाद मैन्युअली करेंगे तो प्रोग्राम इस नए अर्धवाक्य को भी अपनी मेमोरी में जोड़ लेगा जिससे ये उसके बाद आए हुए इस भाग का भी अनुवाद कर पाएगा।

अगर इसे उल्टा कर दें, कि हिन्दी मूल पाठ हो, और अंग्रेज़ी में अनुवाद हो, तो आपकी हिन्दी से अंग्रेज़ी की मेमोरी तैयार हो जाएगी।

अब आपके भविष्य के पाठ में अगर "राम ने रावण को मार डाला।" आएगा, तो प्रोग्राम उसे ख़ुद ही बदल कर "Ram killed Ravan." कर देगा।

पूरे वाक्य या वाक्यांश के मिलान होने पर 100% match बोलते हैं, कम होने पर फ़ज़ी fuzzy
तो
"राम ने रावण को मार डाला।
की जगह पर अगर
"राम ने रावण को मारा।
आएगा,

तो इसे 6 में से 5 से कम शब्द मिलान होने के कारण 4.66/6*100 = 77.77% fuzzy match बोलेंगे।

प्रोग्राम उस मूल मिलान वाले पूरे वाक्यांश को आउटपुट में डाल देगा,
और आपको इस बाकी बचे 32 फ़ीसदी के लिए आपको इसे मैन्युअली एडिट करने देगा,
और फिर आपके किए गए पूरे अनुवादित वाक्य को पूरे मूल नए वाक्य के साथ मेमोरी में जोड़ लेगा।

बस, यही है मशीन ट्रान्सलेशन या कैट टूल्स की वर्किंग।

यदि कोई प्रश्न या शंका हो तो निःसंकोच पूछें।

यदि किसी जानकार मित्र को इस व्याख्या में कोई ग़लती दिखे या स्पष्टीकरण की आवश्यकता लगे, तो भी बिना झिझके ठीक करें।

वैसे मैं ख़ुद इस काम को टीएम या कैट टूल्स से नहीं, बल्कि इस अंग्रेज़ी-हिन्दी को एक्सेल फ़ाइल में सेव करके, उसे vlookup() function से करता हूँ। जो लगभग मैन्युअल है, लेकिन फिर भी मूल सिद्धान्त यही है। इसे vlookup() की जगह index() और match() functions का उपयोग करके भी किया जा सकता है जो और ज्यादा सटीक होगा।

 धन्यवाद।
रावत

[V S Rawat]

अब विनोद जी, और अन्य सदस्यगण,

आप अपने पहले किए जा चुके विभिन्न अनुवादों की मूल और अनुवादित दोनों फ़ाइलों को लें

उन्हें इस तरह से अंग्रेज़ी में फ़ुल स्टॉप, और हिन्दी में पूर्ण विराम पर अलग अलग कर लें
एक लाइन में एक ही वाक्य रहे।

फ़ॉर्मेटिंग चली जाने दीजिए, सिर्फ़ टेक्स्ट मोड में काम कीजिए।
यह काम आप नोटपैड प्लसप्लस में regex से ग्लोबल रिप्लेस कर के कर सकते हैं। अंग्रेज़ी में थोड़ा
ध्यान देना पड़ेगा कि आप वाक्य के अन्त के फुल स्टॉप की जगह आ रहे . को न बदलें। हिन्दी में
तो पूर्ण विराम एक ही जगह पर आता है।

वैसे इस काम को aligner कहते हैं, और नेट पर कई aligner सॉफ़्टवेयर भी मौज़ूद हैं, जो पूरे
पाठ को एक-एक वाक्यों को ऐसे तोड़ देते हैं। लेकिन समस्या वही है कि ये सही ब्रेक नहीं
करती हैं, क्योंकि बाकी पन्क्चयुएशन भी आते हैं हिन्दी और अंग्रेज़ी में, जिनसे वो गड्ड-मड्ड हो
जाते हैं।

यह कर सकते हैं कि किसी aligner से पहले ब्रेक करके, फिर उसे मैन्युअली करेक्ट कर लें, तो
काम हल्का हो जाएगा।

फिर उसे इसी तरह अंग्रेज़ी मूल, और संगत हिन्दी अनुवाद के जोड़ों को किसी एक्सेल फ़ाइल में
एक ही रो के दो अगल-बगल के कॉलम्स में डाल लें।

बस हो गई आपकी ट्रांसलेशन मेमोरी तैयार।

अगर आपने अपने एक हफ़्ते या एक महीने के अनुवादों का भी इतना कर लिया,
तो भी आपके पास एक भयंकर वृहद ट्रान्सलेशन मेमोरी तैयार हो जाएगी।

[Hariraam]

इतना करने की कोई जरूरत नहीं है, सामान्यतः कैट टूल में TM Export / import की सुविधा होती है, जो MS Access, MS Excel, SQL, Tab-separated Plain Text, तथा अन्य फोर्मेट में आउटपुट स्वतः निकाल देते हैं। जिन्हें सरलता से Edit किया जा सकता है।

2015-10-22 14:49 GMT+05:30 V S Rawat <vsr...@gmail.com>:

आप अपने पहले किए जा चुके विभिन्न अनुवादों की मूल और अनुवादित दोनों फ़ाइलों को लें

उन्हें इस तरह से अंग्रेज़ी में फ़ुल स्टॉप, और हिन्दी में पूर्ण विराम पर अलग अलग कर लें
एक लाइन में एक ही वाक्य रहे।

फ़ॉर्मेटिंग चली जाने दीजिए, सिर्फ़ टेक्स्ट मोड में काम कीजिए।
यह काम आप नोटपैड प्लसप्लस में regex से ग्लोबल रिप्लेस कर के कर सकते हैं। अंग्रेज़ी में थोड़ा ध्यान देना पड़ेगा कि आप वाक्य के अन्त के फुल स्टॉप की जगह आ रहे . को न बदलें। हिन्दी में तो पूर्ण विराम एक ही जगह पर आता है।

वैसे इस काम को aligner कहते हैं,

[Hariraam]

अनुनाद जी,

यदि अनुवाद किसी कैट टूल से किया गया हो तो उनकी TM एवं TDB फाइलों को संग्रह कर लिया जाए तो ही यह आराम से हो सकता है। बेकार श्रम की जरूरत ही नहीं।

यदि मैनुअली अनुवाद किया गया हो तो Source और translation दोनों फाइलों का संग्रह करके उन्हें वाक्यवार pair करके TM बनाई जा सकती है। 

लेकिन मेरा कैट टूल के पिछले 6-7 साल से उपयोग का अनुभव कहता है कि 

विशेषकर अंग्रेजी हिन्दी अनुवाद के मामले में 

TM अधिक उपयोगी नहीं होती, बल्कि छोटे छोटे वाक्यांश के pair यदि TDB में जोड़ें जाएँ तो ज्यादा उपयोगी होते हैं।

क्योंकि नए अनुवाद में TM से 100% match या 80% तक मैच मिलने के काफी कम अवसर आते है।

जबकि वाक्यांश अर्थात् Phrase Pairs हर नए अनुवाद में काफी मदद करते हैं। अतः phrasal dictionary बनाना ज्यादा उपयोगी होगा।

द्विभाषी अनूदित डैटा में से आम प्रयोग के वाक्यांशों को ही रखकर वाक्यांश कोश बनाया जा सकता है।

रेलवे जैसे संस्थानों में अंग्रेजी में लिखे नामों का हिन्दी में लिप्यन्तरण मात्र करने के लिए सीडैक ने कई लाख शब्द-जोड़ी संग्रह करके NTrans नामक सॉफ्टवेयर विकसित किया था, जिसके सहारे रेलवे रिजर्वेशन चार्ट में नामों का हिन्दी लिप्यन्तरण प्रस्तुत किया जाता है, लेकिन फिर भी हिन्दी में छपे नामों में भयंकर भूलें रहती है।

बेहतर होगा कि हम पिछले वर्षों में विभिन्न वैज्ञानिकों/संस्थाओं/विद्वानों द्वारा किए जा चुके (परीक्षण किए जा चुके) कार्यों को बेकार में दुहरा करके अपना बहुमूल्य समय एवं ऊर्जा जाया न करें, बल्कि उनसे सीख लेकर वह जरूरी कार्य करें जो आनेवाली पीढ़ी के लिए अधिक उपयोगी हो सके।

2015-10-22 14:15 GMT+05:30 Anunad Singh <anu...@gmail.com>:

आपके पूर्व-कार्यों का लाभ आपको दिलाया जा सकता है यदि आपके पास  अंग्रेजी वाक्यों के साथ उनके हिन्दी अनुवाद कहीं टेक्स्ट या डॉक रूप में उपस्थित हों। या एक फाइल में अंग्रेजी और दूसरे में उसके संगत हिन्दी हो। यदि हो तो मैं आपको इसे अनुवाद-स्मृति में बदलकर दे सकता हूँ।

[V S Rawat]

हरिराम जी,

मैं मूल पाठ और अनुवादों को MS Access, MS Excel, SQL, Tab-separated Plain
Text, तथा अन्य फोर्मेट में बदलने का मैन्युअल तरीका ही बता रहा हूँ ताकि उसे टीएम में
इम्पोर्ट किया जा सके।

उन्होंने कहा कि उनके पास उनके किए अलग-अलग अनुवाद भर हैं, कोई भी ऐसा एक फ़ॉर्मेट नहीं
है जिसमें संगत जोड़े एक साथ हों।

On 10/22/2015 4:31 PM, Hariraam wrote:
> इतना करने की कोई जरूरत नहीं है, सामान्यतः कैट टूल में TM Export / import की सुविधा
> होती है, जो MS Access, MS Excel, SQL, Tab-separated Plain Text, तथा अन्य
> फोर्मेट में आउटपुट स्वतः निकाल देते हैं। जिन्हें सरलता से Edit किया जा सकता है।
>
>
> 2015-10-22 14:49 GMT+05:30 V S Rawat <vsr...@gmail.com

> <mailto:vsr...@gmail.com>>:

>
> आप अपने पहले किए जा चुके विभिन्न अनुवादों की मूल और अनुवादित दोनों फ़ाइलों को लें
>
> उन्हें इस तरह से अंग्रेज़ी में फ़ुल स्टॉप, और हिन्दी में पूर्ण विराम पर अलग अलग कर लें
> एक लाइन में एक ही वाक्य रहे।
>
> फ़ॉर्मेटिंग चली जाने दीजिए, सिर्फ़ टेक्स्ट मोड में काम कीजिए।
> यह काम आप नोटपैड प्लसप्लस में regex से ग्लोबल रिप्लेस कर के कर सकते हैं। अंग्रेज़ी में
> थोड़ा ध्यान देना पड़ेगा कि आप वाक्य के अन्त के फुल स्टॉप की जगह आ रहे . को न
> बदलें। हिन्दी में तो पूर्ण विराम एक ही जगह पर आता है।
>
> वैसे इस काम को aligner कहते हैं,
>
>
>
>
> हरिराम
> प्रगत भारत <http://hariraama.blogspot.in>
>

> --
> आपको यह संदश इसलिए मिला है क्योंकि आपने Google समूह के "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com

> <mailto:technical-hin...@googlegroups.com> को ईमेल भेजें.

[Anunad Singh]

वास्तव में ट्रान्सलेशन मेमोरी की विशेष बात यही है कि यह अनुवाद के लिये  वाक्यों को एक 'यूनिट' मान सकता है (और अधिकांशतः यही करता है)। इसलिये यदि हम  सेगमेण्टेशन में वाक्य को एक इकाई मानकर चलते हैं तो वह एक एक वाक्य का ही अनुवाद स्टोर करता है और  डेटाबेस (टीएम) में भी पूरा वाक्य ही ढूढता है। इसलिये  गलती की कम सम्भावना है। कितने प्रतिशत वाक्यों का स्वतः अनुवाद हो जायेगा, यह निर्भर करता है कि आपके पास कितने अधिक  वाक्यों का संग्रह है। 

मुझे लगता है कि कोई ५००० वाक्यों का संग्रह कर ले तो ८०% स्वतः काम हो जायेगा।

[Hariraam]

अनुनाद जी,

हमारे मित्र अनुवादक की TM में लगभग 36 हजार वाक्य जोड़े(pair) हैं, फिर भी नए अनुवाद में 1 या 2 प्रतिशत तक भी पूर्ण मैच नहीं मिलते...

हाँ यदि उसी मूल अंग्रेजी पाठ का संशोधित पाठ फिर से अनुवाद के लिए आता है, तो 40-50 प्रतिशत मैच मिल जाते हैं।

कार्यालय में रोजमर्रा के लगभग एक ही विषय सामग्री के पत्रादि और परिपत्रादि के अनुवाद में काफी मदद मिल जाती है।

रिपोर्टों आदि के अनुवाद में तो 2 प्रतिशत भी मैच मिलना कठिन होता है।

अगर 5 लाख 'वाक्य-जोड़ी' की विशाल TM हो तो भी नए अनुवाद में 5 प्रतिशत तक भी पूर्ण मैच मिलने की सम्भावना कम ही होगी...

जबकि TDB में भंडारित वाक्यांश pair लगभग हर TU में काफी मदद करते हैं... 

किन्तु TDB में ओटोमेटिक रूप से किसी भी कैट टूल में कोई  नया DATA नहीं जुड़ता,  मैनुअली जोड़ना पड़ता है, हालांकि इसके लिए shortcut command उपलब्ध है, लेकिन हिन्दी या अंग्रेजी में से किसी एक कॉलम में वाक्यांश ओटोमेटिक जुड़ता है, लेकिन दूसरे एक कॉलम में टाइप करके ही वाक्यांश की एंट्री करनी पड़ती है।

Theory और practical use में आकाश पाताल का अन्तर है। यह अनुभव अनेक ठोकरें खाकर हुआ है...

- हरिराम

[V S Rawat]

बुरा मत मानिएगा अगर आप या यहाँ के कोई अन्य सदस्य भी यही कर रहे हों।

लेकिन मेरा मानना है कि 36000 पेयर या 5 लाख पेयर से मशीन अनुवाद करना,
यह हम्माली है, तकनीकी बुद्धिमता नहीं है।

उन्होंने लम्बे-लम्बे वाक्यों को पूरा का पूरा टीएम में डाल लिया होगा, और बढ़ाते जा रहे होंगे।

36000 की फ़ाइल खोलने में ही घण्टो लग जाते होंगे।

उनको करना यह चाहिए, कि नए आए वाक्यों को कॉमा , सेमी कोलन ; पैरेन्थेसिस () आदि
सभी पंक्च्युएशन पर ब्रेक करके हर ऐसे शब्द-समूह को अलग लाइन में डाल लेना चाहिए।
लेकिन क्रम वही रखें जो मूल पाठ में है।

अपने 36000 पेयर्स को भी इसी तरह अरेन्ज करें।

फिर vlookup का इस्तेमाल करके नए पाठ से निकले इन शब्द समूहों को 36000 की टेबल से ढूँढ
लेना चाहिए।
70-80% तक मिल जाने चाहिए।

फिर वो vlookup के आउटपुट को वर्ड में लेकर, उनकी लाइनों के ब्रेक को हटा कर मूल वाले ,
; () आदि सब लगा सकते हैं और शब्द समूहों को अंग्रेज़ी के क्रम से हिन्दी के उल्टे क्रम में रख
सकते हैं।

vlookup के साथ समस्या है कि यह सर्च की जाने वाली स्ट्रिंग के 255 कैरेक्टर से बड़ी होने
पर एरर दे देता है, तो इसके लिए हर स्ट्रिंग को 255 से कम करना पड़ेगा।

धन्यवाद।
रावत

> <mailto:anu...@gmail.com>>:

>
> मुझे लगता है कि कोई ५००० वाक्यों का संग्रह कर ले तो ८०% स्वतः काम हो जायेगा।
>
>
>
>
>
>

> --
> आपको यह संदश इसलिए मिला है क्योंकि आपने Google समूह के "Scientific and
> Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
> इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए,
> technical-hin...@googlegroups.com

> <mailto:technical-hin...@googlegroups.com> को ईमेल भेजें.

[Hariraam]

आधुनिक CAT Tool चूँकि SQL database पर आधारित होते हैं। इनके साथ MS SQL redistributable framework भी इन्स्टाल होता है। multilevel indexed होते हैं। अतः सर्च में समय ज्यादा नहीं लगता। लाखों रिकार्ड की डैटाबेस में भी मैचिंग वाक्यों को क्षणमात्र में प्रकट कर देते हैं। किन्तु कम्प्यूटर की प्रोसेसिंग पावर और मेमोरी ज्यादा होना  आवश्यक होता है।

लेकिन सबसे बड़ी समस्या अंग्रेजी - हिन्दी में syntax बदलने की आती है। जिसे कोई भी कैट टूल ठीक नहीं कर पाता। मैनुअली करना पड़ता है। इसमें बहुत समय व श्रम लगता है।

कोई syntax editor का feature इनमें जोड़ा जा सके तो काफी सुविधा मिल सकती है।

मैंने कई CAT tool निर्माताओं से इस फीचर के लिए अनुरोध किया, लेकिन किसी ने कोई सकारात्मक रिस्पोन्स नहीं दिया। क्योंकि सभी निर्माता विदेशों के हैं। विश्व की अन्य भाषाओं और अंग्रेजी में syntax में कोई ज्यादा बदलाव नहीं करना पड़ता। अतः उनको इसकी जरूरत महसूस नहीं हुई।

हरिराम
प्रगत भारत <http://hariraama.blogspot.in>

--
आपको यह संदेश इसलिए प्राप्त हुआ क्योंकि आपने Google समूह "Scientific and Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" समूह की सदस्यता ली है.
इस समूह की सदस्यता समाप्त करने और इससे ईमेल प्राप्त करना बंद करने के लिए, technical-hin...@googlegroups.com को ईमेल भेजें.
अधिक विकल्‍पों के लिए, https://groups.google.com/d/optout पर जाएं.