Query: Softwares accepting external Language Corpus as input for Analysis

[Narayan Prasad]

Dear members,
       I would like to know any websites or softwares that accept external Language Corpus (in unicode) as input for analysing that corpus. This corpus may be for any Indian language in any script.
       Regards
       Narayan Prasad

[Anunad Singh]

पाठ संग्रह (कॉर्पस) को बहुत तरह से उपयोग में लाया जा सकता है और इसके लिए बीसों तरह के सॉफ्टवेयर औजार उपलब्ध हैं।  सबसे सरल उपयोग की बात करें तो आवृत्ति विश्लेषण (फ्रीक्वेंसी एनालिसिस) ध्यान में आता है।  यह काम साधारण पाठ सम्पादित्र से भी किया जा सकता है और इसके लिए पचासों ऑनलाइन/ऑफलाइन औजार भी मिल सकते हैं।  

दूसरा उपयोग लोगों ने कॉन्कर्डेन्स (concordance ) के रूप में किया है।  इसके लिए एक जापानी विद्वान् का औजार बहुत प्रसिद्ध  है- AntConc .   

पाठ संग्रह के बहुत से उच्च  स्तरीय उपयोग किये जाते हैं जैसे आधुनिक युग के LLM बनाने और उन्हें ट्रेन  करने में।  आधुनिक युग के मशीनी अनुवादक बनाने में द्विभाषी या बहुभाषी पैरेलल कार्पस का बहुत उपयोग किया गया है।  मॉडल बनाने और ट्रैन करने के लिए अनेकों तरीके है , आप kaggle , गूगल colab  , हग्गिंग फेस (Hugging Face ) आदि साइट्स का उपयोग कर सकते हैं। 

NLTK नामक पाइथन लाइब्रेरी बहुत उपयोगी है। 

कुल मिलाकर औजारों की कमी नहीं है।  टेक्स्ट कार्पस के उपयोग भी सैकड़ों में होंगे।  पर्याप्त अनुभव हो जाने पर कुछ नए उपयोग भी निकाले  जा सकते हैं।  आपके जिज्ञासा के साथ एक प्रतिजिज्ञासा यह है कि  यह कार्पस किस काम को ध्यान में रखते हुए बनाया गया था और इसकी प्रमुख विशेषताएं कौन सी हैं  (जैसे एक भाषी है या पैरेलल, लिखित पुस्तकों का टेक्स्ट है या अख़बारों का , इसका आकार कितना बड़ा है , इसकी सामग्री ऐतिहासिक महत्वा की है, भौगोलिक ज्यां है, या विज्ञानं आदि की सामग्री है, आप इस कार्पस का क्या  करना  चाहते हैं , आदि )  

--
आपको यह मैसेज इसलिए मिला है क्योंकि आपने Google Groups के "Scientific and Technical Hindi (वैज्ञानिक तथा तकनीकी हिन्दी)" ग्रुप की सदस्यता ली है.
इस समूह की सदस्यता खत्म करने और इससे ईमेल पाना बंद करने के लिए, technical-hin...@googlegroups.com को ईमेल भेजें.
यह बातचीत देखने के लिए, https://groups.google.com/d/msgid/technical-hindi/CAKmACTnyeJETQcnoej4wKaSjX0jqnSdbim93udxQOVD0M%2B5L%2BQ%40mail.gmail.com पर जाएं.