Innholdsfortegnelse:
Definisjon - Hva betyr leksikalsk analyse?
Leksikalsk analyse er et konsept som brukes på informatikk på en veldig lik måte som det brukes på språkvitenskap. I hovedsak betyr leksikalsk analyse å gruppere en strøm av bokstaver eller lyder i sett med enheter som representerer meningsfull syntaks. I språkvitenskap kalles det parsing, og innen informatikk kan det kalles parsing eller tokenizing.
Techopedia forklarer Lexical Analysis
Ideen med leksikalsk analyse i informatikk er at leksikalsk analyse bryter strømmer ned til “leksemer” der et symbol representerer den grunnleggende meningsenheten. Tokens er sammensveiset på en slik måte at språkkompilatoren må gå tilbake og isolere dem for å implementere de rette beregningsinstruksjonene. I utgangspunktet gjør både mennesker og datamaskiner leksikalsk analyse, men datamaskiner gjør det annerledes, og på en mye mer teknisk måte. Måten datamaskiner gjør leksikalsk analyse trenger ikke å være gjennomsiktig for mennesker - den må bare programmeres inn i datasystemet. Programmer som gjør leksikalsk analyse i informatikk, kalles ofte lexers, tokenizers eller scannere.
