編譯原理詞法分析器

① 編譯原理詞法分析器是干什麼用的，怎麼用

1、識別出源程序中的各個單詞符號，並轉換成內部編碼形式 2、刪除無用的空白字元回車字元以及其他非實質性字元 3、刪除注釋 4、進行詞法檢查，報告所發現的錯誤。

② 詞法分析器是什麼

詞法分析器即詞法分析程序又稱為掃描器，其功能在於依次掃視字元串形式源程序中的各個字元，逐個識別出其中的單詞，並將其轉換為內部編碼形式的單詞符號串作確為輸出。通常，可採用二元式

（class，value）

來表示一個單詞符號的內部編碼，其中：class為一整數碼，用於表示該單詞的類別；value則是該單詞之值（如變數名在符號表中序號，常數的二進製表示，以及運算符和分隔符的編碼等等）。

概括地說，掃描器在其工作過程中，一般應完成下列的任務：

（1）識別出源程序中的各個單詞符號，並將其轉換為內部編碼形式；

（2）刪除無用的空白字元、回車字元以及其它非實質性字元；

（3）刪除注釋；

（4）進行詞法檢查，報告所發現的錯誤。

此外，視編譯工作流程的組織，一些編譯程序在進行詞法分析時，還要完成將所識別出的標識符登錄到符號表的工作。

詞法分析工作在詞法規則的控制下進行。用來描述程序設計語言詞法的手段通常有三種，即正規文法、有限自動機和正規式。

③ 編譯原理詞法分析器

用C++語言
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <ctype.h>
#include <malloc.h>
#include <conio.h>
#define NULL 0
FILE *fp;
char ch;
char *keyword[34]={"auto","break","case","char","const","continue","default","do","double",
"else","enum","extern","float","for","goto","if","int","long","register",
"return","short","signed","sizeof","static","struct","switch","typedef", "printf",
"union","unsigned","void","volatile","while","main"};
char *operatornum[6]={"+","-","*","/","++","--"};
char *comparison[8]={"<","<=","=",">",">=","<>","==","!="};
char *interpunction[8]={",",";",":=",".","(",")","{","}"};
char *biaoshifu[6]={"%","$","^","&","_","#"};//特殊標識符
char *zhushifu[3]={"//","/*","*/"};//注釋符
char *luoji[3]={"&&","||","!"};//邏輯運算符
//////////////////////////////////////////////////////////////////////////////////////////
bool search(char searchstr[],int wordtype)
{
int i;
switch (wordtype)
{
case 1:for(i=0;i<=33;i++)
{
if(strcmp(keyword[i],searchstr)==0)
return(true);

}
case 2:{
for(i=0;i<=5;i++)
{
if(strcmp(operatornum[i],searchstr)==0)
return(true);
}
break;
}
case 3: {
for(i=0;i<=7;i++)
{
if(strcmp(comparison[i],searchstr)==0)
return(true);
}
break;
}
case 4: for(i=0;i<=7;i++)
{
if(strcmp(interpunction[i],searchstr)==0)
return(true);
}

break;
case 5: for(i=0;i<=5;i++)
{
if(strcmp(biaoshifu[i],searchstr)==0)
return(true);
}break;
case 6: for(i=0;i<=2;i++)
{
if(strcmp(zhushifu[i],searchstr)==0)
return(true);
}break;
case 7: for(i=0;i<=2;i++)
{
if(strcmp(luoji[i],searchstr)==0)
return(true);
}break;
}
return(false);
}

///////////////////////////////////////////////////////////////////////////////////////////
char letterprocess (char ch)//字母處理函數
{
int i=-1;
char letter[20];
while (isalnum(ch)!=0)
{
letter[++i]=ch;
ch=fgetc(fp);
};
letter[i+1]='\0';
if (search(letter,1))
{
printf("<%s,關鍵字>\n",letter);
//strcat(letter,"\n");
//fputs('<' letter '>\n',outp);
}
else
{
printf("<%s,自定義變數>\n",letter);
//strcat(letter,"\n");
//fputs(letter,outp);
}
return(ch);
}
///////////////////////////////////////////////////////////////////////////////////////////
char numberprocess(char ch)//數字處理程序
{
int i=-1;
char num[20];
while (isdigit(ch)!=0)
{
num[++i]=ch;
ch=fgetc(fp);
}
if(isalpha(ch)!=0)
{
while(isspace(ch)==0)
{
num[++i]=ch;
ch=fgetc(fp);
}
num[i+1]='\0';
printf("錯誤！非法標識符：%s\n",num);
goto u;
}
num[i+1]='\0';
printf("<%s,數字>\n",num);
//strcat(num,"\n");
//fputs(num,outp);
u: return(ch);
}
//////////////////////////////////////////////////////////////////////////////////////////////
char otherprocess(char ch)
{
int i=-1;
char other[20];
if (isspace(ch)!=0)
{
ch=fgetc(fp);
goto u;
}
while ((isspace(ch)==0)&&(isalnum(ch)==0))
{
other[++i]=ch;
ch=fgetc(fp);
}
other[i+1]='\0';
if (search(other,2))
printf("<%s,算數運算符>\n",other);
else
if (search(other,3))
printf("<%s,關系運算符號>\n",other);
else
if (search(other,4))
printf("<%s,分隔符號>\n",other);
else
if (search(other,5))
printf("<%s,特殊標識符號>\n",other);
else
if (search(other,6))
printf("<%s,注釋符號>\n",other);
else
if (search(other,7))
printf("<%s,邏輯運算符號>\n",other);
else
printf("錯誤！非法字元：%s\n",other);
u: return (ch);
}

/////////////////////////////////////////////////////////////////////////////////////////////
void main ()
{
char str,c;
printf("**********************************詞法分析器************************************\n");
//outp=fopen("二元式表.txt","w");
if ((fp=fopen("源程序.txt","r"))==NULL)
printf("源程序無法打開！\n");
else
{
str =fgetc(fp);
while (str!=EOF)
{
if (isalpha(str)!=0)
str=letterprocess(str);
else
{
if (isdigit(str)!=0)
str=numberprocess(str);
else
str=otherprocess(str);
}

};
printf("詞法分析結束，謝謝使用！\n");
printf("點任意鍵退出!\n");
}
c=getch();
}

④ 編譯原理課設實現C/C++語言詞法分析器

詞法分析很簡單的，就是把輸入文件的字元串組合成為一個個單詞就可以了。
比如 void main(){} ，本來都是一個個字元，你要做的是：把它轉換為 "void" ， "main" ， "(" ， ")" ， "{" ， "}"等，相當於是單詞了，原來的只是單個字元。。。
當然真正的詞法分析還需要有一定的語義分析和糾錯功能，但是估計你暫時是用不到的。。。

⑤ 求編譯原理的詞法分析器源碼

/* 我上編譯原理課時的第一次作業就是這個，flex源碼. */
%{
#include<math.h>
int num_lines=0;
%}
DIGIT [0-9]
ID [a-zA-Z_][a-zA-Z0-9]*
%%
"#include" {
printf("<包含頭文件,請手動合並文件\\>\n");
fprintf(yyout,"<包含頭文件,請手動合並文件\\>\n");
}
{DIGIT}+ {
printf("(3整數, \"%s\")\n", yytext);
fprintf(yyout,"(3整數, \"%s\")\n", yytext);
}
{DIGIT}+"."{DIGIT}* {
printf("(3浮點數, \" %s\")\n",yytext);
fprintf(yyout,"(3浮點數, \" %s\")\n",yytext);
}
auto |
break |
case |
char |
const |
continue |
default |
do |
double |
else |
enum |
extern |
float |
for |
goto |
if |
int |
long |
register |
return |
short |
signed |
sizeof |
static |
struct |
switch |
typedef |
union |
unsigned |
void |
volatile |
while {
fprintf(yyout,"(1, \"%s\")\n",yytext);
fprintf(yyout,"(1, \"%s\")\n",yytext);
}
{ID} {
printf("(2, \"%s\")\n",yytext);
fprintf(yyout,"(2, \"%s\")\n",yytext);
}
"+" |
"++" |
"+=" |
"-" |
"--" |
"-=" |
"->" |
"*" |
"**" |
"*=" |
"/" |
"/=" |
"=" |
"==" |
">" |
">>" |
">=" |
">>=" |
"<" |
"<<" |
"<=" |
"<<=" |
"!" |
"!=" |
"%" |
"%=" |
"&" |
"&&" |
"&=" |
"|" |
"||" |
"|=" |
"^" |
"^=" {
printf("(4, \"%s\")\n",yytext);
fprintf(yyout,"(4, \"%s\")\n",yytext);
}
"{" |
"}" |
"(" |
")" |
";" |
"," |
"'" |
"\"" |
"." |
"?" |
"[" |
"]" |
"\\" |
":" {
printf("(5, \"%s\")\n",yytext);
fprintf(yyout,"(5, \"%s\")\n",yytext);
}
\n {
++num_lines;
}
"/*"[^(*/)\n]*"*/"
(" ")+
[\t]+
. {
printf("(不能識別字元, \"%s\")\n",yytext);
fprintf(yyout,"(不能識別字元, \"%s\")\n",yytext);
}
%%
main(argc,argv)
int argc;
char **argv;
{
++argv,--argc;
if(argc>0)
yyin=fopen(argv[0],"r");
else
yyin=stdin;
yyout=fopen("output.txt","w");
yylex();
fclose(yyout);
}
int yywrap()
{
return 1;
}

/* 附：我們第一次作業的要求。
實驗一：用高級語言編寫詞法分析器（用lex生成）一、實驗目的：編制一個識別C語言子集的詞法分析器。從輸入的源程序中，識別出各個具有獨立意義的記號，即基本保留字、標識符、常數、運算符、分隔符五大類。並依次輸出各個記號的內部編碼及記號符號自身值。（遇到錯誤時可顯示「Error」，然後跳過錯誤部分繼續顯示）二、實驗過程和指導：（一）准備：1.閱讀課本有關章節，明確語言的詞法，寫出基本保留字、標識符、常數、運算符、分隔符和程序例。2.初步編制好程序。3.准備好多組測試數據。（二）程序要求：程序輸入/輸出示例：如源程序為C語言。輸入如下一段：main(){ int a,b; a = 10; b = a + 20;}要求輸出如下：（2，」main」）（5，」（「）（5，」）「）（5，」{「）（1，」int」）（2，」a」）（5，」,」）（2，」b」）（5，」;」）（2，」a」）（4，」=」）（3，」10」）（5，」;」）（2，」b」）（4，」=」）（2，」a」）（4，」+」）（3，」20」）（5，」;」）（5，」）「}
要求（滿足以下要求可獲得70%該題的得分）：識別保留字：if、int、for、while、do、return、break、continue其他的都識別為標識符；常數為無符號整形數；運算符包括：+、-、*、/、=、>、<、>=、<=、!=分隔符包括：,、;、{、}、(、)以上為參考，具體可自行增刪。 三、實驗檢查：1.程序：輸入：測試數據（以文件形式）；輸出：二元組（以文件形式）。2.實驗報告：（1）功能描述：該程序具有什麼功能？（2）狀態轉換圖。（2）程序結構描述：函數調用格式、參數含義、返回值描述、函數功能；函數之間的調用關系圖、程序總體執行流程圖。（4）源程序代碼。（5）實驗過程記錄：出錯次數、出錯嚴重程度、解決辦法摘要。（6）實驗總結：你在編程過程中花時多少？多少時間在紙上設計？多少時間上機輸入和調試？多少時間在思考問題？遇到了哪些難題？你是怎麼克服的？你對你的程序的評價？你的收獲有哪些？

另可附加：關鍵字 有符號數 符號表填寫 行號記錄，等
*/

⑥ 編譯原理中的詞法分析器的輸入與輸出是什麼

編譯原理中的詞法分析器的輸入是源程序，輸出是識別的記號流。

詞法分析器編制一個讀單詞的程序，從輸入的源程序中，識別出各個具有獨立意義的單詞，即基本保留字、標識符、常數、運算符和分隔符五大類。並依次輸出各個單詞的內部編碼及單詞符號自身值。（遇到錯誤時可顯示「Error」，然後跳過錯誤部分繼續顯示）。

(6)編譯原理詞法分析器擴展閱讀

詞法分析器的作用：

1、與符號表進行交互，存儲和讀取符號表中的標識符的信息。

2、讀入源程序的輸入字元，將他們組成詞素，生成並輸出一個詞法單元序列，每個詞法單元序列對應一個於一個詞素。

3、過濾掉程序中的注釋和空白。

4、將編譯器生成的錯誤消息與源程序的位置聯系起。

⑦ 編譯原理中詞法分析器

或許……可以通過這個符號的前面的第一個有實際意義的「單詞」的屬性來判斷，因為如果它是加減號，
那麼它「前面」的那個單詞必然具有可以被它加或減的屬性，否則就是正負號。
如果前一個單詞屬性是標示符或者某種數據類型（比如整型、字元串型），
那麼這個符號就是加減號而不是正負號，如果前面一個單詞
是關鍵字或運算符這類不可能承受「加減」操作的這種，這個號就是正負號。
個人覺得這個問題應該沒有一針見血或者一勞永逸的辦法，就得一點一點分析吧。
PPPS：還有一策就是甭搭理它，交給語義分析辦。

⑧ 編譯原理的詞法分析器的原理......

將文件讀入內存中 然後從首字元開始分析，匹配規則一般是採用自動機，以語句 int a = 12;為例 首先從字元i開始 每次取一個單詞 即從一個非空白字元開始 到下一個空白字元出現為止 為一個單詞 先 看看 該單詞是不是關鍵字 如看看是不是if 是不是int 都不是的話 則將其當做 字元標記 依此類推

⑨ 編譯原理課程設計－詞法分析器設計（C語言）

#include"stdio.h"/*定義I/O庫所用的某些宏和變數*/

#include"string.h"/*定義字元串庫函數*/

#include"conio.h"/*提供有關屏幕窗口操作函數*/

#include"ctype.h"/*分類函數*/

charprog[80]={''},

token[8];/*存放構成單詞符號的字元串*/

charch;

intsyn,/*存放單詞字元的種別碼*/

n,

sum,/*存放整數型單詞*/

m,p;/*p是緩沖區prog的指針，m是token的指針*/

char*rwtab[6]={"begin","if","then","while","do","end"};

voidscaner(){

m=0;

sum=0;

for(n=0;n<8;n++)

token[n]='';

ch=prog[p++];

while(ch=='')

ch=prog[p++];

if(isalpha(ch))/*ch為字母字元*/{

while(isalpha(ch)||isdigit(ch))/*ch為字母字元或者數字字元*/{

token[m++]=ch;

ch=prog[p++];}

token[m++]='';

ch=prog[p--];

syn=10;

for(n=0;n<6;n++)

if(strcmp(token,rwtab[n])==0)/*字元串的比較*/{

syn=n+1;

break;}}

else

if(isdigit(ch))/*ch是數字字元*/{

while(isdigit(ch))/*ch是數字字元*/{

sum=sum*10+ch-'0';

ch=prog[p++];}

ch=prog[p--];

syn=11;}

else

switch(ch){

case'<':m=0;token[m++]=ch;ch=prog[p++];

if(ch=='>'){

syn=21;

token[m++]=ch;}

elseif(ch=='='){

syn=22;

token[m++]=ch;}

else{

syn=20;

ch=prog[p--];}

break;

case'>':m=0;token[m++]=ch;ch=prog[p++];

if(ch=='='){

syn=24;

token[m++]=ch;}

else{

syn=23;

ch=prog[p--];}

break;

case':':m=0;token[m++]=ch;ch=prog[p++];

if(ch=='='){

syn=18;

token[m++]=ch;}

else{

syn=17;

ch=prog[p--];}

break;

case'+':syn=13;token[0]=ch;break;

case'-':syn=14;token[0]=ch;break;

case'*':syn=15;token[0]=ch;break;

case'/':syn=16;token[0]=ch;break;

case'=':syn=25;token[0]=ch;break;

case';':syn=26;token[0]=ch;break;

case'(':syn=27;token[0]=ch;break;

case')':syn=28;token[0]=ch;break;

case'#':syn=0;token[0]=ch;break;

default:syn=-1;}}

main()

{

printf(" Thesignificanceofthefigures: "

"1.figures1to6saidKeyword "

"2. "

"3.figures13to28saidOperators ");

p=0;

printf(" pleaseinputstring: ");

do{

ch=getchar();

prog[p++]=ch;

}while(ch!='#');

p=0;

do{

scaner();

switch(syn){

case11:printf("(%d,%d) ",syn,sum);break;

case-1:printf(" ERROR; ");break;

default:printf("(%d,%s) ",syn,token);

}

}while(syn!=0);

getch();

}

程序測試結果

對源程序beginx:=9:ifx>9thenx:=2*x+1/3;end#的源文件，經過詞法分析後輸出如下圖5-1所示：

具體的你在修改修改吧

⑩ 編譯原理 詞法分析器問題

NFA、DFA以及最簡DFA如下圖所示：