प्रस्तावना:
प्रत्येक भाषा
के शब्द-वर्गों के भिन्न प्रकार के शब्दों को प्रणाली को समझाने के लिए कुछ
निश्चित टैग निर्धारित किए जाते हैं, जिससे कि उन शब्दों के इनपुट देने पर उनका
उचित एवं स्पष्ट परिणाम या आउटपुट(Output) प्राप्त किया जा सके। जैसे- हिंदी के
व्यक्तिवाचक संज्ञा के लिए ‘NNP’ जातिवाचक संज्ञा के लिए ‘NN’ सर्वनाम ‘PR’ मुख्य
क्रिया ‘VM’ एवं संयोजक ‘CC’ आदि के लिए टैग निर्धारित किए गए हैं। शब्द-भेद टैगिंग (Parts of Speech Tagging) से संबंधित कुछ अन्य छोटी-छोटी प्रक्रियाएं भी होती हैं जो निम्न हैं- नाम पद
चिह्नन, मुद्रा चिह्नन, दिनांक पद चिह्नन, पदबंध चिन्हन आदि।
टैगर के माध्यम से दिए गए इनपुट पाठ का दो भाषिक इकाइयों के बीच में खाली
स्थान या संभावित विराम के आधार पर शाब्दिक इकाइयों को अलग-अलग किया जाता है। इसका
विस्तृत विवरण आगे किया जा रहा है।
शब्दभेद(POS) टैगिंग:- टैगिंग का आरंभ सर्वप्रथम कार्पस टैगिंग से हुआ।
पेंसिलवेनिया विश्वविद्यालय द्वारा ‘Penn Tree Bank’ के निर्माण हेतु प्रथम टैग
सेट का विकास किया गया था जो इस प्रकार है-
|
Number
|
Tag
|
Description
|
|
1.
|
CC
|
Coordinating
conjunction
|
|
2.
|
CD
|
Cardinal
number
|
|
3.
|
DT
|
Determiner
|
|
4.
|
EX
|
Existential there
|
|
5.
|
FW
|
Foreign
word
|
|
6.
|
IN
|
Preposition
or subordinating conjunction
|
|
7.
|
JJ
|
Adjective
|
|
8.
|
JJR
|
Adjective,
comparative
|
|
9.
|
JJS
|
Adjective,
superlative
|
|
10.
|
LS
|
List
item marker
|
|
11.
|
MD
|
Modal
|
|
12.
|
NN
|
Noun,
singular or mass
|
|
13.
|
NNS
|
Noun,
plural
|
|
14.
|
NNP
|
Proper
noun, singular
|
|
15.
|
NNPS
|
Proper
noun, plural
|
|
16.
|
PDT
|
Predeterminer
|
|
17.
|
POS
|
Possessive
ending
|
|
18.
|
PRP
|
Personal
pronoun
|
|
19.
|
PRP$
|
Possessive
pronoun
|
|
20.
|
RB
|
Adverb
|
|
21.
|
RBR
|
Adverb,
comparative
|
|
22.
|
RBS
|
Adverb,
superlative
|
|
23.
|
RP
|
Particle
|
|
24.
|
SYM
|
Symbol
|
|
25.
|
TO
|
to
|
|
26.
|
UH
|
Interjection
|
|
27.
|
VB
|
Verb,
base form
|
|
28.
|
VBD
|
Verb,
past tense
|
|
29.
|
VBG
|
Verb,
gerund or present participle
|
|
30.
|
VBN
|
Verb,
past participle
|
|
31.
|
VBP
|
Verb,
non-3rd person singular present
|
|
32.
|
VBZ
|
Verb,
3rd person singular present
|
|
33.
|
WDT
|
Wh-determiner
|
|
34.
|
WP
|
Wh-pronoun
|
|
35.
|
WP$
|
Possessive
wh-pronoun
|
|
36.
|
WRB
|
Wh-adverb
|
शब्दों के साथ उनके
शब्दवर्ग आदि संबंधी सूचनाएं जोड़ने की प्रक्रिया टैगिंग है। आरंभ में केवल शब्दभेद
संबधी सूचनाएं ही जोड़ी जाती थीं, इस कारण इसे शब्दभेद टैगिंग कहा जाता था। प्रत्येक
भाषा में कुछ वर्ग समान होते हैं। अतः उनके टैग एक ही होने चाहिए किंतु भाषा विशेष
में पाये जाने वाले शब्दवर्गों के लिए स्वतंत्र टैग बनाये जा सकते हैं। हिंदी के
लिए IIT हैदराबाद और CIIL मैसूर द्वारा टैगसेट बनाये गए हैं। एक सामान्य हिंदी
टैगसेट इस प्रकार हो सकता है-
|
टैग
|
शब्दवर्ग नाम
|
हिंदी नाम
|
उदाहरण
|
|
NNP
|
Proper noun
|
व्यक्तिवाचक संज्ञा
|
राम, मोहन
|
|
NN
|
Common noun
|
जातिवाचक संज्ञा
|
लड़का, छाता
|
|
PR
|
Pronoun
|
सर्वनाम
|
वह, तुम
|
|
DT
|
Determiner
|
निर्धारक
|
यह, वह
|
|
VM
|
Verb Main
|
मुख्य क्रिया
|
जाना, खाता
|
|
JJ
|
Adjective
|
विशेषण
|
सुंदर, बुरा
|
|
RB
|
Adverb
|
क्रियाविशेषण
|
तेज, धीमा
|
|
QW
|
Question word
|
प्रश्नवाचक शब्द
|
क्या, कौन
|
|
UH
|
Interjection
|
विस्मयादिबोधक
|
ओह, आह
|
|
PP
|
Postposition
|
परसर्ग
|
ने, को
|
|
PT
|
Particle
|
निपात
|
ही, भी
|
|
NW
|
Negation word
|
नकारात्मक शब्द
|
न, नहीं
|
|
DE
|
Date entity
|
दिनांक पद
|
20/2/2014, 20 फर. 2014
|
|
NM
|
Number
|
संख्या
|
01, 23785
|
|
CR
|
Currency
|
मुद्रा
|
$
|
|
TE
|
Time entity
|
समय पद
|
12:13, 01:23 PM
|
|
PM
|
Punctuation mark
|
विराम चिह्न
|
; ‘
|
|
LS
|
Listing
|
सूचीकरण
|
1. 2.
|
|
CC
|
Conjunction
|
संयोजक
|
और, किंतु
|
|
PW
|
Postpositional word
|
परसर्गीय शब्द
|
बाद, पहले
|
|
VAX
|
Verb Auxiliary
|
सहायक क्रिया
|
है, था
|
|
VAS
|
Verb Aspectual
|
पक्षात्मक क्रिया
|
रहा, चुका
|
|
VEX
|
Verb Explicator
|
रंजक क्रिया
|
चल दिया, कर बैठा
|
|
CH
|
character
|
वर्ण
|
अ, क
|
|
PRP
|
Reflexive Pronoun
|
स्ववाची सर्वनाम
|
अपना, खुद
|
|
SFW
|
Suffix Word
|
प्रत्ययात्मक शब्द
|
वाला, कर
|
|
CW
|
Compound Word
|
सामासिक शब्द
|
माता-पिता, रूप-निर्माण
|
|
DW
|
Duplicative Word
|
द्विरुक्त शब्द
|
पहला-पहला, चलते-चलते
|
किसी पाठ की
टैगिंग में पाठ में आए हुए शब्दों के साथ उनके टैग कई प्रकार से जोड़े जा सकते हैं:
जैसे-
इस प्रकार टैग
संबंधी सूचनाएं सामान्य पाठ की तरह भी हो सकती है और प्रत्येक शब्द के साथ अलग-अलग
भी दी जा सकती हैं। जैसे-
ü इसप्रकार
/DEN/
ü वह
/PR/
ü तेज
/JJ/
ü दौड़ता
/VM/
ü है
/AUX/
जब किसी पाठ
का इनपुट(Input) दिया जाता है, तो जो सामग्री आउटपुट(Output) के रूप में प्राप्त
होती है। उसका वाक् चिह्नन हो जाने के बाद पाठ इनपुट का दो भाषिक इकाइयों के बीच
में आने वाले खाली स्थान और वाक् इनपुट में वास्तविक या संभावित विराम के आधार पर
शाब्दिक इकाइयों को अलग-अलग किया जाता है और उनकी शब्द-भेद टैगिंग की जाती है। POS
टैगिंग के आवश्यकतानुसार रूपवैज्ञानिक विश्लेषण का भी प्रयोग किया जाता है। यह
मुख्यतः दो प्रकार का होता है- रूपसाधक एवं व्युत्पादक। जैसे- ‘घोड़ा’ हिंदी भाषा
का एककोशीय शब्द है अतः इसे ‘मूल शब्द’ माना जाएगा। वाक्य में प्रयोग के आधार पर
इसके चार व्याकरणिक रुप प्राप्त होते हैं।
o घोड़ा जा रहा है: (एकवचन, प्रत्यक्ष रुप)
o घोड़े को जाने दो: (एकवचन, परसर्गीय, तिर्यक रूप)
o घोड़े जा रहे हैं: (बहुवचन, प्रत्यक्ष रूप)
o घोड़ों को जाने दो: (बहुवचन, परसर्गीय, तिर्यक
रूप)
रूपवैज्ञानिक
विश्लेषण प्रक्रिया को संपन्न करने वाली प्रणाली का नाम रूपवैज्ञानिक विश्लेषक है।
यह प्रणाली ‘घोड़ा’ के इन चारों रूपों का विश्लेषण कर ‘मूल शब्द’ घोड़ा से मैप
करेगा। जिससे कि इस शब्द की शब्द-भेद टैगिंग ‘जातिवाचक संज्ञा’ के रूप में की जा
सकेगी। रूप विश्लेषक प्रणाली में रूपविश्लेषण नियम एवं डेटाबेस(database) मुख्य
होते हैं। इसी प्रकार विभिन्न नियमों और डेटाबेस की सहायता से पाठ में आये सभी
शब्दों की शब्द-भेद टैगिंग की जाती है। इसके अलावा इसमें कुछ अन्य छोटी-छोटी
प्रक्रिया भी होती है। इनमें से कुछ प्रमुख निम्नलिखित हैं-
(1)- नाम पद चिह्नन :- व्याकरण में
प्राप्त ‘व्यक्तिवाचक संज्ञाओं’ जैसे- राम, मोहन आदि को प्राकृतिक भाषा संसाधन
प्रणालियों के विकास के क्षेत्र में इन्हें नाम पद कहा जाता है। संसाधन की
प्रक्रिया के दौरान इनका अलग से संज्ञान किया जाता है। शब्द-भेद टैगिंग के दौरान
इनका भी चिह्नन किया जाता है।
(2)- दिनांक
पद चिह्नन :-
दिनांक पदों की संरचना अन्य से भिन्न होती है।
अतः दिनांक संरचनाओं के स्वरूप के आधार पर उसे अलग से चिन्हित करने का कार्य भी
शब्द-भेद टैगिंग के दौरान किया जाता है। जैसे- dd/mm/yy और dd/mm/yyyy आदि।
(3)- बहुशब्दीय
अभिव्यक्ति संज्ञान :-
प्राकृतिक भाषा संसाधन के दौरान आयी हुई एक नई
संकल्पना बहुशब्दीय अभिव्यक्ति है। जब एक से अधिक शब्द एक
साथ रहते हुए एक ही अर्थ का प्रतिनिधित्व करते हों और अलग-अलग आने पर अलग-अलग अर्थों का, तो ऐसे शब्द-युग्म बहुशब्दीय अभिव्यक्ति के अंतर्गत
आते हैं। और इनकी पहचान आवश्यक हो जाती है। यदि इनकी पहचान नहीं होगी और यदि किसी
प्रणाली द्वारा उन्हें अलग-अलग समझ लिया जाएगा तो आगे जो भी प्रक्रिया होगी उसमें
शब्दों के मेल से प्राप्त होने वाला मूल अर्थ प्राप्त नहीं हो सकेगा। अतः इसके बाद
जो भी आउटपुट प्राप्त होगा वह वास्तविक परिणाम से भिन्न होगा। जैसे-
गोरखपाण्डेय छात्रावास, गोपालपुर, चंदन यादव आदि में प्रत्येक शब्द-युग्मों द्वारा
प्राप्त अर्थ उसमें आए शब्दों के अलग-अलग अर्थों को जोड़कर बनाए गए अर्थों से
भिन्न है। अतः शब्द-भेद टैगिंग के दौरान इनके शब्दभेद का भी संज्ञान आवश्यक हो
जाता है।
(4)- मुद्रा चिह्नन :-
विभिन्न देशों की मुद्राओं की रूप रचना एवं
बनावट भिन्न होती है। अतः उन देशों की मुद्राओं और उनसे संबंधित चिन्हों की पहचान
के लिए यह कार्य शब्द-भेद टैगिंग के दौरान किया जाता है।
(5)- विसंदिग्धीकरण :-
सभी भाषाओं का निर्माण प्राकृतिक रूप
से हुआ है इसलिए सभी भाषाएँ जटिल होती हैं। इसमें एक ही शब्द प्रयोग की स्थिति के
आधार पर कई प्रकार्यात्मक भूमिकाओं का निर्वहन करता है। इसी स्थिति में कुछ शब्दों
की संरचनात्मक कोटि और अर्थ के निर्धारण में संदिग्धता होने पर विसंदिग्धिकरण से
संबंधित टूल का भी प्रयोग किया जाता है।
(6)- पदबंध
चिन्हन:-
पद एवं पदों का विस्तार पदबंध कहलाता
है। किसी वाक्य में आए हुए पदबंधों को अलग-अलग चिन्हित करने की प्रक्रिया पदबंध
चिन्हन है। पदबंध एक शब्द का भी हो सकता है और एक से अधिक शब्दों का भी हो सकता है
यह गतिक संरचना है। पदबंधों की अलग-अलग पहचान के लिए पदबंध रचना नियमों की
आवश्यकता होती है। वाक्य में पदबंधों की पहचान के लिए कोई चिन्हक नहीं आता और न ही
पदों की संख्या के आधार पर उन्हें अलग-अलग पहचाना जा सकता है। हिंदी में परसर्ग,
पदबंध के पूरा होने के सूचक हैं किंतु सभी वाक्यों में कर्ता और कर्म के साथ
परसर्गों का प्रयोग नहीं होता इसलिए अन्य पदबंध रचना नियम भी लगाने पड़ते हैं।
किसी भी वाक्य में पदबंध चिन्ह्न के लिए पहले टैगिंग आवश्यक है: जैसे-
संदर्भ :Ø धनजी प्रसाद:- भाषा विज्ञान का सैद्धांतिक अनुप्रयुक्त
एवं तकनीकी पक्षØ https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html
Ø https://lgandlt.blogspot.in/2016/11/blog-post.html?m=0
