lexer_test.txt

=				// '='
+=				// '+='
-=				// '-='
*=				// '*='
/=				// '/='
%=				// '%='
<<=			        // '<<='
>>=			        // '>>='
&=				// '&='
^=	                        // '^='
|=	                        // '|='
&					// '&'
|					// '|'
^					// '^'
~					// '~'
<<					// '<<'
>>					// '>>'
/*This is a block comment
which won't appear in token form*/
int a = 10;
//These numbers mean nothing and this is a line comment
int b = 20;
22							//Literal Int
//10.1m						//Literal Decimal
//10.1M						//Literal Decimal
0xAF2323F5					//Literal Hexadecimal
0b00100010					//Literal Binary
51.37f						//Literal Float
51.37F						//Literal Float
true						//Literal True
false						//Literal False
'c'							//Literal Char
"Hola"						//Literal String
@"Hola \r\nsoy ""Jesus"""	//Literal String Verbatim
&&					// '&&'
||					// '||'
!					// '!'
sizeof						// 'sizeof()'
type						// 'type()'
?							// '? :'
??							// '??'
is							// 'is'
as							// 'as'
.							// '.'
hello					//Identifier
:						// ':'
,						// ','
;						// ';'
(						// '('
)						// ')'
{						// '{'
}              			// '}'
[                		// '['
]               		// ']'
==						// '=='
!=						// '!='
>						// '>'
<						// '<'
>=						// '>='
<=						// '<='
@"Foo ""Bar"" Baz ""Quux"" this?"	//Verbatim String
+							// '+'
-							// '-'
*							// '*'
/							// '/'
%							// '%'
++							// '++'
--							// '--'