Tokens in C++

Programming Language में लिखा गया प्रत्येक Program कई छोटे-छोटे Elements से मिलकर बना होता है। Compiler Source Code को सीधे पूरा Program के रूप में नहीं पढ़ता बल्कि उसे छोटे Logical Units में विभाजित करता है। इन छोटे Units को Tokens कहा जाता है। इसलिए Tokens को C++ Programming का सबसे मूलभूत Concept माना जाता है।

जब Programmer कोई Program लिखता है तब उसमें Keywords, Variables, Constants, Operators, Identifiers तथा Special Symbols का उपयोग करता है। Compiler इन्हीं सभी Components को अलग-अलग Tokens के रूप में पहचानता है। यदि Program में Invalid Token का उपयोग किया जाता है तो Compiler Syntax Error Generate करता है।

Introduction

Compiler Program को Character by Character पढ़ने के बजाय Meaningful Units के रूप में पढ़ता है। प्रत्येक Meaningful Unit एक Token कहलाती है।

उदाहरण के लिए यदि Program में लिखा गया है —

तो Compiler इसे निम्न Tokens में विभाजित करेगा।

• int
• sum
• =
• a
• +
• b
• ;

अर्थात Program कई Tokens से मिलकर बनता है।

Definition of Token

Token C++ Program की सबसे छोटी Meaningful Unit होती है जिसे Compiler पहचान सकता है।

Objectives of Tokens

• Compiler को Program समझने योग्य बनाना।
• Programming Syntax Define करना।
• Program Analysis आसान बनाना।
• Error Detection करना।
• Source Code को Compile करना।

Types of Tokens

1. Keywords
2. Identifiers
3. Constants
4. Variables
5. String Literals
6. Operators
7. Punctuators (Separators)

1. Keywords

Keywords वे Reserved Words होते हैं जिनका पहले से निश्चित अर्थ होता है। Programmer इन्हें Variable या Function Name के रूप में उपयोग नहीं कर सकता।

Examples

Characteristics of Keywords

• Reserved Words
• Fixed Meaning
• Cannot be Modified
• Cannot be Used as Identifier

2. Identifiers

Identifiers वे Names होते हैं जो Programmer द्वारा Variables, Functions, Classes तथा Objects को दिए जाते हैं।

Rules for Identifiers

• Must start with Alphabet or Underscore (_).
• Cannot start with Digit.
• No White Spaces Allowed.
• Special Symbols are not allowed except Underscore.
• Keywords cannot be used.
• C++ is Case Sensitive.

Valid Identifiers

3. Constants

Constants वे Fixed Values होती हैं जिनका Program Execution के दौरान मान (Value) नहीं बदलता।

Types of Constants

• Integer Constant
• Floating Constant
• Character Constant
• String Constant
• Boolean Constant

4. Variables

Variable Memory का वह Named Location होता है जिसमें Program Execution के दौरान Data Store किया जाता है। Variable की Value आवश्यकता अनुसार बदल सकती है, इसलिए इसे Variable कहा जाता है।

Characteristics of Variables

• Stores Data Temporarily
• Occupies Memory
• Value Can Change
• Must Have a Valid Identifier
• Associated with Data Type

5. String Literals

String Literal Characters का एक Sequence होता है जिसे Double Quotes (" ") के अंदर लिखा जाता है। String Literals का उपयोग Messages, Names तथा Text Data Store करने के लिए किया जाता है।

6. Operators

Operators विशेष Symbols होते हैं जो Operands पर विभिन्न Operations Perform करते हैं।

7. Punctuators (Separators)

Punctuators या Separators वे Special Symbols होते हैं जो Program की Structure को Define करते हैं।

Naming Conventions for Identifiers

• Use Meaningful Names.
• Use Camel Case (studentName).
• Avoid Single Letter Names.
• Do Not Use Keywords.
• Keep Naming Consistent.
• Use Underscore Only When Required.

Comparison of Different Tokens

Applications of Tokens

• C++ Programming
• Compiler Design
• Interpreter Development
• Programming Language Processing
• Source Code Analysis
• Syntax Checking
• Software Development
• Code Optimization

Industrial Importance

Compiler तथा IDE Development में Tokens की महत्वपूर्ण भूमिका होती है। आधुनिक IDE जैसे Visual Studio, VS Code तथा Code::Blocks Source Code को Tokens में विभाजित करके Syntax Highlighting, Error Detection, Auto Completion तथा Intelligent Code Analysis जैसी सुविधाएँ प्रदान करते हैं।

Viva Questions

1. What is a Token?
2. What are the different types of Tokens?
3. What is a Keyword?
4. What is an Identifier?
5. What are the rules for Identifiers?
6. What is a Constant?
7. What is a Variable?
8. What is a String Literal?
9. What is a Punctuator?
10. What is the difference between Keywords and Identifiers?

Exam Oriented Important Questions

1. Define Token in C++.
2. Explain different types of Tokens.
3. Write rules for Identifiers.
4. Differentiate Keywords and Identifiers.
5. Explain Constants and Variables.
6. Describe Operators and Punctuators.
7. Write a note on String Literals.
8. Explain the importance of Tokens in C++.

Conclusion

Tokens C++ Program की सबसे छोटी Meaningful Units होती हैं जिनके बिना कोई भी Program नहीं लिखा जा सकता। Keywords, Identifiers, Constants, Variables, String Literals, Operators तथा Punctuators मिलकर Program की संरचना तैयार करते हैं। Compiler इन्हीं Tokens की सहायता से Source Code को Analyze तथा Compile करता है। इसलिए प्रत्येक Engineering Student के लिए Tokens की स्पष्ट समझ आवश्यक है।