match用パターン
/(\/\*[\s\S]*?\*\/|\/{2,}[^\r\n]*(?:\r\n|\r|\n|)|"(?:\\[\s\S]|[^"\r\n\\])*"|'(?:\\[\s\S]|[^'\r\n\\])*'|(?:(?:\/(?!\*)(?:\\.|[^\/\r\n\\])+\/)(?:[gimy]{0,4}|\b)(?=\s*(?:(?!\s*[\/\\<>*+%`^"'\w$-])[^\/\\<>*+%`^'"@({[\w$-]|===?|!==?|\|\||[&][&]|\/[*\/]|[,.;:!?)}\]\r\n]|$)))|<([^\s>]*)[^>]*>[\s\S]*?<\/\2>|>>>=?|<<=|===|!==|>>=|\+\+(?=\+)|\-\-(?=\-)|[=!<>*+\/&|^-]=|[&][&]|\|\||\+\+|\-\-|<<|>>|0(?:[xX][0-9a-fA-F]+|[0-7]+)|\d+(?:\.\d+)?(?:[eE][+-]?\d+)?|[1-9]\d*|[-+\/%*=&|^~<>!?:,;@()\\[\].{}]|(?![\r\n])\s+|(?:\r\n|\r|\n)|[^\s+\/%*=&|^~<>!?:,;@()\\[\].{}'"-]+)/g


字句解析のパターン 例:トークン名: (パターン)
COMMENT: (/{2}.*$|/\*.*\*/) REGION_B: (\s*#region\s+[a-zA-Z0-9]+.*$) REGION_E: (\s*#endregion$) SPACE: ([\s]+) L-BRACE: (\{) R-BRACE: (\}) L-PAREN: (\() R-PAREN: (\)) COMMMA: (\,) DOT: (\.) BINOP: (\|\||&&|!=|==|\+|<=|>=|-|\*|\/|%|=) DELIMITER: (;) NULL: (null) VALUE_TYPE: (void|integer|bool|string) SCOPE: (public|private|friend|static) THIS: (this) NEW: (new) BOOL: (true|false) SYMBOLE: ([a-zA-Z0-9]+) NUMBER: ([1-9]\.?[0-9]+) LITERAL: ('[^']*') WQLITERAL: ("[^"]*")
exec()用の正規表現パターン

JavaScriptのリテラル

1～$nのトークン名

字句解析するテキスト

デバッグ・ログ出力
結果