Yuav ua li cas yog Corpus Linguistics?

Cia li ib ob peb xyoo dhau los rau automate txoj lus tshawb fawb, zaum yuav tsuas npau suav ntawm. Cov ua hauj lwm twb ua los ntawm txhais tes, nws attracts ib tug loj tus naj npawb ntawm cov tub ntxhais kawm, muaj ib tug ntau yam pauv loj ntxim yuav zoo siv "careless" yuam kev, thiab feem ntau cov tseem ceeb - tag nrho cov no coj ib tug ntev, lub sij hawm ntev.

Nrog rau txoj kev loj hlob ntawm lub computer technology tau ua tau mus tshawb xyuas nyob rau hauv qhov kev txiav txim ntawm qhov ntau sai, thiab niaj hnub no ib tug ntawm cov feem ntau pheej qhia nyob rau hauv txoj kev tshawb no ntawm cov lus yog ib tug corpus linguistics. Nws lub ntsiab feature yog kev siv ntawm loj nyiaj ntawm cov ntawv nyeem ntaub ntawv, ntaub ntawv rau hauv ib database, nyob rau hauv ib tug tshwj xeeb txoj kev thiab hu ua lub cim lub cev.

Rau hnub tim, muaj ntau lub tsev tsim muaj ntau lub hom phiaj nyob rau hauv lub hauv paus ntawm ntau yam lus cov ntaub ntawv uas ib ntawm ntau plhom leej los kaum ntawm billions ntawm lexical units. Qhov no kev taw qhia yog pom tau hais tias raws li ib tug pheej hab qha kev nruam ntej ntawm daim ntawv thov thiab kev tshawb fawb hom phiaj. Kws txawj, ib txoj kev los sis lwm soj ntsuam txog nrog tej yam ntuj tso lus, nws yog pom zoo kom mus ntsib nrog rau lub cev ntawm cov ntawv tsawg kawg yog rau ib lub yooj yim theem.

Keeb kwm ntawm corpus linguistics

Cov tsim ntawm no sib yog vim lub creation ntawm lub tebchaws United States nyob hauv Brown lub cev nyob rau hauv thaum ntxov 60-ies ntawm lub xeem caug xyoo. Tus sau muaj xws li cov phau ntawv ntawm tag nrho cov 1 lab ntawm lo lus cov ntaub ntawv, thiab hnub no rau hauv lub cev ntawm no yuav muaj lig uncompetitive. Qhov no yog kev lom zem ntau vim lub pace ntawm kev loj hlob ntawm computer technology, raws li zoo raws li lub loj hlob xav tau rau kev tshawb fawb tshiab kev pab.

Nyob rau hauv lub 90s corpus linguistics sawv mus rau hauv ib tug tag nrho thiab ywj siab kev qhuab qhia, ib tug sau ntawm cov ntawv tau kos mus txog thiab cim rau dozens ntawm cov lus. Nyob rau hauv lub sij hawm no nws tau tsim, piv txwv li, lub British National Corpus 100 lab tokens.

Nrog rau txoj kev loj hlob ntawm cheeb tsam no lug, ntawv nyeem tagnrho cov kab ntau thiab ntau (thiab mus txog billions ntawm phau ntawv txhais lus units), thiab qhov layout yog ua ntau ntau haiv neeg. Rau hnub tim, lub Internet chaw yuav muaj nyob tuag sau thiab hais lus, ntau hom lus, thiab kev kawm-oriented artistic los yog kev kawm ntaub ntawv, raws li tau zoo raws li ntau lwm hom.

Yuav ua li cas yog lub tsev

Lub cev hom nyob rau hauv lub cev linguistics tej zaum yuav muab rau ob peb yog vim li cas. Intuitively, lub hauv paus rau lub kev faib yuav ua tau ib tug ntawv nyeem lus (Lavxias teb sab, German), lub nkag hom (qhib qhov, kaw, coj mus muag), ib hom ntawv nyeem ntawm lub qhov khoom (tseeb, documentary, kev kawm, journalism).

Nthuav txoj kev generates ntaub ntawv ntawm hais lus. Txij li thaum lub txhob txwm cov ntaubntawv povthawj siv hais tej lus li los tsim ib co ib puag ncig rau cov neeg teb, thiab lub resulting cov ntaub ntawv uas yuav tsis tau hu ua "txawj", niaj hnub corpus linguistics tau ploj mus rau lwm txoj kev. Ib tug neeg tuaj pab yog txawm peem rau nrog ib tug microphone, thiab thaum lub sij hawm lub hnub ua ib cov ntaub ntawv ntawm tag nrho cov kev sib tham, nyob rau hauv uas nws koom. Cov neeg nyob ib ncig ntawm, ntawm chav kawm, tej zaum yuav tsis paub hais tias nyob rau hauv lub chav kawm ntawm txhua hnub kev sib tham txhawb rau txoj kev loj hlob ntawm science.

Tom qab ntawd tau txais cov ntaub ntawv khaws tseg nyob rau hauv lub database thiab tau nrog los ntawm sau ntawv nyeem ntawv tseem ceeb ntaus. Yog li, nws yuav tau markup yuav tsum tau mus tsim ib lub qhov ncauj txhua hnub hais lus rau vaj tse.

daim ntawv thov

Txhua qhov chaw uas tau siv cov lus, thiab tej zaum siv cov vaj tse ntawv. Txoj kev ua ntaub ntawv thov cov hull nyob rau hauv kev kawm yam lus yuav tsum tau:

• Tsim ib qhov kev pab cuam kev txiav txim tseem ceeb, yog dav siv nyob rau hauv nom ua tswv thiab ua lag ua luam kom khiav zoo thiab tsis zoo cov lus teb ntawm cov neeg xaiv tsa thiab cov neeg muas zaub, ntsig txog.
• Kev twb kev txuas ntaub ntawv system rau dictionaries thiab txhais los txhim kho lawv cov kev kawm.
• Ib tug ntau yam ntawm kev tshawb fawb paub tab uas ua rau kom qhov kev nkag siab ntawm cov lus unit, lub keeb kwm ntawm nws txoj kev loj hlob thiab twv ua ntej ntawm kev hloov nyob rau hauv lub nyob ze yav tom ntej.
• Txoj kev loj hlob ntawm cov ntaub ntawv nqi systems raws li nyob rau hauv lub morphological, syntactic, semantic thiab lwm nta.
• Optimization ntawm qhov sib txawv lus systems thiab lwm tus neeg.

Siv cov vaj tse

zoo xws li cov kev pab interface nrog ib tug raug search engine, thiab ua rau tus neeg siv mus rau nkag mus rau ib tug lo lus los yog ua ke nrog cov lus mus nrhiav cov ntaub ntawv puag. Apart tsim lub caij nyoog cov lus nug yuav siv lub enhanced version, uas tso cai rau mus nrhiav ntseeg cuav thaum ub ntaub ntawv nyob zoo tej lus kev.

nrhiav puag tej zaum yuav:

• tswv cuab ntawm tej pab pawg neeg ntawm qhov chaw hais lus;
• grammatical nta;
• semantics;
• stylistic thiab kev xav coloring.

Koj yuav tau muab tshawb fawb kev rau ib theem ntawm cov lus, piv txwv li, mus nrhiav tau tag nrho cov occurrences ntawm qhov qhia txog kev nyob rau hauv lub tam sim no tense, thawj tus neeg zoo tshaj, uas los tom qab lub preposition "nyob rau hauv" thiab cov noun nyob rau hauv lub accusative cov ntaub ntawv. Cov tshuaj rau xws li ib tug yooj yim ua hauj lwm yuav siv sij hawm rau tus neeg siv ib tug ob peb lub vib nas this thiab yuav tsum tau tsuas yog ob peb nas clicks nyob rau hauv lub teev teb.

Tus txheej txheem ntawm kev tsim

Qhov kev tshawb nws tus kheej muaj peev xwm yuav nqa tawm nyob rau tag nrho cov subcorpus thiab ib tug xaiv, nyob ntawm seb cov kev xav tau nyob rau hauv ua tau raws li ib tug lub hom phiaj:

1. Thawj kauj ruam yog los txhais uas phau ntawv lub hauv paus rau cov ntaub ntawv. Rau cov tswv yim hom phiaj, nws yog nquag siv journalistic, xov xwm dab neeg, online comments. Cov kev tshawb fawb project yog kev siv ntawm ib tug ntau yam ntawm pob hom, tab sis cov ntawv nyeem yuav tsum tau xaiv raws li ib txhia qho av.
2. Cov uas ua sau los ntawm phau ntawv raug pretreatment, muaj yog kho ntawm uas tsis, yog tias muaj, npaj los ntawm bibliographic thiab ntxiv-lus piav qhia ntawm cov ntawv nyeem.
3. Yog tshem tawm tag nrho cov uas tsis yog-ntseeg cuav thaum ub cov lus qhia: clears graphics, duab, ntxhuav.
4. Yog ib tug faib ntawm tokens, uas yog feem ntau hais lus, rau ntxiv ua.
5. Thaum kawg, nws nqa morphological, syntactical thiab lwm yam cim tau plurality hais.

Cov tshwm sim ntawm tag nrho cov muas ua los ntawm ib tug syntactic qauv nrog faib nyob rau ntawd ib tug plurality hais, txhua tus uas yog qhia tau ib feem ntawm kev hais lus, grammatical thiab, nyob rau hauv tej rooj plaub, lub semantic cwj pwm.

Teeb meem nyob rau hauv kev tsim vaj tse

Nws yog ib qho tseem ceeb kom to taub tias yog tsis txaus rau muab tso ua ke ib pawg ntawm cov lus los yog kab lus rau hauv lub cev. Nyob rau hauv ib tes, ib tug sau ntawm cov ntawv yuav tsum tau kuas, uas yog, sawv cev rau ntau hom ntawm phau ntawv nyob rau hauv tej yam proportions. Nyob rau hauv lwm yam - tus txheem ntawm lub enclosure yuav tsum tau spaced nyob rau hauv ib tug tshwj xeeb txoj kev.

Tus thawj teeb meem yog solved los ntawm ib daim ntawv cog: piv txwv li, nyob rau hauv sau muaj xws li 60% ntawm cov phau ntawv sau phau ntawv, 20% ntawm cov documentaries, ib tug tej yam feem pua yog muab ib daim ntawv sawv cev ntawm cov lus hais lus, txoj cai, kev ua hauj lwm, thiab lwm yam zoo meej daim ntawv qhia balanced lub cev niaj hnub no tsis muaj nyob ...

Qhov thib ob lo lus nug, hais txog cov ntsiab lus layout, daws tau yooj yim. Muaj kev kawm tshwj xeeb thiab algorithms siv rau automatic npav ntawm phau ntawv, tab sis lawv tsis muab ib tug zoo meej tshwm sim, yuav ua rau disruptions thiab yuav tsum tau los ntawm txhais tes rework. Cov Tsam Thawj thiab txoj kev sib tw nyob rau hauv kev soj ntsuam txog nrog qhov teeb meem no yog piav nyob rau hauv kom meej nyob rau hauv ib daim ntawv V. P. Zaharova ntawm corpus linguistics.

Phau ntawv markup yog DVR ntawm ob peb ntau ntau, uas peb sau hauv qab no.

morphological tagging

Los ntawm lub tsev kawm ntawv, peb nco ntsoov tias nyob rau hauv lub Lavxias teb sab lus, muaj ntau qhov chaw ntawm kev hais lus, thiab txhua tus ntawm lawv muaj nws tus kheej cov yam ntxwv. Piv txwv li, qhov qhia txog kev muaj pawg ntawm inclination thiab lub sij hawm uas tsis muaj tus. ib haiv neeg hais lus tsis muaj hesitation cia npe thiab conjugate verbs, tab sis mus rau kos tus cim rau lub cev ntawm 100 lab. tokens ceev zog yuav tsis ua hauj lwm. Tag nrho cov tsim nyog ua hauj lwm muaj peev xwm ua lub computer, txawm li cas los, qhov no nws yuav tsum tau qhia.

Morphological tagging, lub computer yuav tsum "to taub" txhua lo lus raws li ib tug tej yam yog ib feem ntawm kev hais lus muaj tej yam grammatical nta. Txij li thaum lub Lavxias teb sab (thiab muaj lwm yam lus) ua hauj lwm ib tug xov tooj ntawm cov kev cai, nws yog tau tsim ib tug tsis siv txoj kev rau lub morphological tsom xam, investing nyob rau hauv lub tsheb rau ib tug xov tooj ntawm algorithms. Txawm li cas los, muaj kev zam rau txoj cai, raws li tau zoo raws li ntau yam complicating yam. Raws li ib tug tshwm sim, net computer tsom xam ntawm hnub no yog deb ntawm zoo tagnrho, thiab txawm 4% yuam kev yields ib tug nqi ntawm 4 mln. Lo lus ntawm lub cev ntawm 100 lab. Chav, uas yuav tsum tau phau ntawv rework.

Ncauj lus kom ntxaws phau ntawv qhia txog cov teeb meem Zaharova V. P. "Corpus Linguistics".

syntactic annotation

Parsing los yog parsing - ib txoj kev uas txiav txim cov kev sib raug ntawm cov lo lus nyob rau hauv ib tug kab lus. Siv ib lub teeb ntawm algorithms yog tau los mus txiav txim cov ntawv nyeem ntawm kev kawm, predicate, ntxiv, ntau yam lem ntawm kev hais lus. Nrhiav tawm uas lus yog lub ntsiab theem zuj zus, thiab cov uas - nyob, peb yuav zoo extract ntaub ntawv los ntawm cov ntawv nyeem thiab qhia lub tshuab rau qhov teeb meem nyob rau hauv teb mus rau ib tug kev tshawb fawb thov xwb cov ntaub ntawv nthuav peb.

Los ntawm txoj kev, niaj hnub nrhiav xyaw siv no muab tawm tej xov tooj es tsis txhob ntawm lengthy ntawv nyob rau hauv cov lus teb rau cov lus nug xws li "ntau npaum li cas calorie ntau ntau nyob rau hauv ib cov kua" los yog "cov kev coj ntawm Moscow rau St. Petersburg." Txawm li cas los, kom koj to taub txawm tsim ntawm tus txheej txheem tau piav los ntawm qhov yuav tsum tau mus tham cov "Introduction to lub Corpus Linguistics" los yog lwm yam yooj yim tutorial.

semantic markup

Lub semantics ntawm cov lo lus - yog, nyob rau hauv tej yam yooj yim cov ntsiab lus, lub ntsiab lus. Lug siv mus kom ze rau lub semantic tsom xam ntawm ib lo lus attribution cim npe, zoo li nws teej tug mus rau ib tug set ntawm semantic pawg thiab subcategories. Cov ntaub ntawv no yog zoo rau optimizing algorithms tsom xam text laus, tsis siv neeg summarization thiab lwm yam kev pab raws qib kev ntawm corpus linguistics.

Muaj ib tug xov tooj ntawm "hauv paus" ntawm tsob ntoo, uas sawv cev rau ib tug paub daws teeb lo lus nrog ib tug dav heev semantics. Raws li ib tug ceg ntawm tsob ntoo ntshav yog tsim, uas muaj ntau thiab ntau kev lexical ntsiab. Piv txwv li, lo lus "zeej" tej zaum yuav txuam nrog xws li lub tswv yim raws li "tib neeg" thiab "tsiaj". Cov thawj lo lus yuav ntxiv rau ceg tawm mus rau txawv professions, kinship lus, haiv neeg, thiab lub thib ob - nyob rau hauv cov chav kawm ntawv thiab hom ntawm cov tsiaj.

Kev siv cov ntaub ntawv nqi tshuab

Cov cheeb tsam ntawm kev siv cov corpus linguistics npog ntau haiv neeg teb ntawm kev ua si. Housings yog siv rau cov kev npaj thiab kho ntawm dictionaries, tsim suab translation systems, annotating, retrieving tseeb, kev txiav txim lub suab nrov thiab lwm yam ntawv nyeem ua.

Nyob rau hauv tas li ntawd, cov kev pab zoo muaj kev koom siv nyob rau hauv txoj kev tshawb no ntawm lub ntiaj teb hom lus thiab mechanisms ntawm ua tau hauj lwm ntawm cov lus nyob rau hauv feem ntau. Mus saib tau loj tagnrho ntawm pre-npaj ntaub ntawv tswj ceev ceev thiab kev tshawb ntawm cov tiam sis ntawm txoj kev loj hlob yam lus, thiab ruaj khov tsim neologisms hais lus ceev hloov tseem ceeb lexical chav nyob thiab lwm tus neeg.

Txij li thaum lub chaw ua hauj lwm nrog xws li loj nyiaj ntawm cov ntaub ntawv yuav tsum tau automation, niaj hnub no muaj yog nyob ze sib raug zoo ntawm lub computer thiab corpus linguistics.

Lavxias teb sab teb chaws Corpus

Cov ntaub ntawv no (abbreviated NKRYA) muaj xws li ib tug xov tooj ntawm subcorpus, tas cov siv ib qho chaw rau ib tug ntau yam ntawm kev pab raws qib.

Cov ntaub ntawv nyob rau hauv lub database muab faib NKRYA:

• rau cov ntaub ntawv nyob rau hauv lub xov xwm '90s thiab 2000s, ob qho tib si domestic thiab txawv teb chaws;
• cov ntaubntawv povthawj siv kev hais lus;
• aktsentologicheski cim phau ntawv (i.e., cov qhab nia ntawm kev nyuaj siab);
• lub suab hais lus kev hais lus;
• paj huam;
• Ntaub ntawv nrog syntactic thiab lwm yam cim.

Cov ntaub ntawv system kuj muaj xws li Subcorpus nrog thaum uas tig mus translations ntawm tej hauj lwm los ntawm Lavxias teb sab ua lus Askiv, German, Fabkis thiab ntau ntau lwm yam lus (thiab vice versa).

Tsis tas li ntawd nyob rau hauv lub database muaj ib tug seem ntawm keeb kwm ntawv, sawv cev rau sau hais lus nyob rau hauv Lavxias teb sab nyob rau hauv sij hawm sib txawv ntawm nws txoj kev loj hlob. Muaj kuj yog ib txoj kev kawm lub cev, uas muaj peev xwm yuav pab tau rau txawv teb chaws cov pej xeem nyob rau hauv mastering lub Lavxias teb sab lus.

Lavxias teb sab teb chaws Corpus muaj 400 lab lexical units, thiab nyob rau hauv ntau txoj kev uas ua ntej ntawm ib tug tseem ceeb ib feem ntawm cov lus ntawm teb chaws Europe lub cev.

prospects

Fact nyob rau hauv dej siab ntawm tus paub txog qhov no qauv yog cov nyob rau ntawm pheej kuaj corpus linguistics nyob rau hauv Lavxias teb sab universities, raws li zoo raws li txawv teb chaws. Nrog rau kev siv thiab kev tshawb fawb nyob rau hauv lub moj khaum ntawm cov ntaub ntawv no thiab nrhiav kev pab entails txoj kev loj hlob ntawm tej qhov chaw nyob rau hauv lub teb ntawm siab technologies, lo lus nug-teb systems, tab sis nws yog los sib tham saum toj no.

Ntxiv txoj kev loj hlob ntawm corpus linguistics yog kwv yees ntawm tag nrho cov ntau ntau, xws li los ntawm cov kev thiab nyob rau hauv cov nqe lus ntawm kev siv ntawm tshiab algorithms uas optimize cov txheej txheem ntawm searching thiab ua ntaub ntawv, empowering computers, ntau RAM, thiab cov neeg siv, vim hais tias cov neeg siv yog xav paub ntxiv thiab xav paub ntau txoj kev siv hom kev pab nyob rau hauv lawv txhua txhua hnub lub neej thiab kev ua hauj lwm.

Nyob rau hauv xaus

Nyob rau hauv nruab nrab ntawm lub xyoo pua xeem nyob rau hauv 2017 ciali nyob deb yav tom ntej, qhov twg spaceships taug kev los ntawm cov ntug thiab robots ua tag nrho cov ua hauj lwm rau cov neeg. Nyob rau hauv qhov tseeb, science yog tej uas "dawb me ntsis" thiab ua xav ua kom tau cov me nyuam no los teb cov lus nug ntawm noob neej rau centuries puas tabkaum. Yog muaj lus nug ua tau hauj lwm ntawm cov lus no nyob ib qhov chaw ntawm yawm, thiab txee thiab computational linguistics yuav pab kom peb teb tau peb.

Ua loj cov ntaub ntawv poob lawm yuav ntes cov qauv, yav tas los tsis cuag, twv seb txoj kev loj hlob ntawm tej lus nta mus taug txoj kev tsim tsa ntawm cov lo lus nyob rau hauv yuav luag tiag tiag lub sij hawm.

Nyob rau ib cov tswv yim theem, lub ntiaj teb no Certificate yuav pom, piv txwv li, raws li ib tug neeg lub cuab tam rau kev ntsuam xyuas cov pej xeem mus ob peb vas - lub Internet yog ib tug lossi tshiab txhua hnub ntau yam ntawv uas tsim los ntawm tiag tiag cov neeg siv: no cov lus thiab kev txheeb xyuas, thiab cov khoom, thiab ntau lwm yam ntaub ntawv ntawm kev hais lus.

Nyob rau hauv tas li ntawd, ua hauj lwm nrog lub cev muaj txhawb rau txoj kev loj hlob ntawm lub tib lub kho vajtse, uas yog muab kev koom tes nyob rau hauv ntaub ntawv tau los, peb yeej paub txog cov kev pab cuam "Google" los yog "Yandex", tshuab txhais lus, hluav taws xob dictionaries.

Peb yuav confidently hais tias cov corpus linguistics ua tsuas yog thawj kauj ruam, thiab nyob rau hauv lub nyob ze yav tom ntej yuav vam.