Прагляд зыходнага тэксту старонкі Моўная мадэль

{{Short description|Статыстычная мадэль структуры мовы}}

'''Моўная мадэль''' ({{lang-en|language model}}) — гэта імавернасная мадэль натуральнай мовы<ref>{{cite book |last1=Jurafsky |first1=Dan |last2=Martin |first2=James H. |title=Speech and Language Processing |date=2021 |edition=3rd |url=https://web.stanford.edu/~jurafsky/slp3/ |access-date=24 May 2022 |chapter=N-gram Language Models |archive-date=22 May 2022 |archive-url=https://web.archive.org/web/20220522005855/https://web.stanford.edu/~jurafsky/slp3/ |url-status=live }}</ref>. Першая значная статыстычная моўная мадэль была прапанавана ў 1980 годзе і цягам дзесяцігоддзя кампанія IBM правяла шэраг эксперыментаў у «стылі Шэнана» (Shannon-style), у якіх патэнцыйныя крыніцы для паляпшэння мадэлявання моў вызначаліся праз назіранне і аналіз здольнасці людскіх падвопытных прадказваць або выпраўляць тэксты<ref>{{cite journal |last1=Rosenfeld |first1=Ronald |year=2000 |title=Two decades of statistical language modeling: Where do we go from here? |journal=Proceedings of the IEEE |volume=88 |issue=8|pages=1270–1278 |doi=10.1109/5.880083 |s2cid=10959945 |url=https://figshare.com/articles/journal_contribution/6611138 }}</ref>.

Моўныя мадэлі карысныя для розных задач, у тым ліку для [[Распазнаванне маўлення|распазнаванне маўлення]]<ref>Kuhn, Roland, and Renato De Mori (1990). [https://www.researchgate.net/profile/Roland_Kuhn2/publication/3191800_Cache-based_natural_language_model_for_speech_recognition/links/004635184ee5b2c24f000000.pdf "A cache-based natural language model for speech recognition"]. ''IEEE transactions on pattern analysis and machine intelligence'' 12.6: 570–583.</ref> (дапамагаючы прадухіліць прадказанні малаімаверных, напрыклад, бессэнсоўных, паслядоўнасцей), [[Машынны пераклад|машыннага перакладу]]<ref name="Semantic parsing as machine translation">Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). [https://www.aclweb.org/anthology/P13-2009 "Semantic parsing as machine translation"] {{Webarchive|url=https://web.archive.org/web/20200815080932/https://www.aclweb.org/anthology/P13-2009/ |date=15 August 2020 }}. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers).</ref>, {{нп5|Генераванне натуральнай мовы|генеравання натуральнай мовы|en|natural language generation}} (стварэнне тэксту, найбольш падобнага на чалавечы), {{нп5|Аптычнае распазнаванне сімвалаў|аптычнага распазнаванне сімвалаў|en|optical character recognition}}, {{нп5|распазнаванне почырку|распазнавання почырку|en|handwriting recognition}}<ref>Pham, Vu, et al (2014). [https://arxiv.org/abs/1312.4569 "Dropout improves recurrent neural networks for handwriting recognition"] {{Webarchive|url=https://web.archive.org/web/20201111170554/https://arxiv.org/abs/1312.4569 |date=11 November 2020 }}. 14th International Conference on Frontiers in Handwriting Recognition. IEEE.</ref>, {{Нп5|Індукцыя граматыкі|індукцыі граматыкі|en|grammar induction}}<ref>Htut, Phu Mon, Kyunghyun Cho, and Samuel R. Bowman (2018). [https://arxiv.org/pdf/1808.10000.pdf?source=post_page--------------------------- "Grammar induction with neural language models: An unusual replication"] {{Webarchive|url=https://web.archive.org/web/20220814010528/https://arxiv.org/pdf/1808.10000.pdf?source=post_page---------------------------|date=14 August 2022}}. {{arXiv|1808.10000}}.</ref>. і {{Нп5|Інфармацыйны пошук|інфармацыйнага пошуку|en|information retrieval}}<ref name="ponte1998">{{cite conference |first1=Jay M. |last1=Ponte |first2= W. Bruce |last2=Croft | title= A language modeling approach to information retrieval |conference=Proceedings of the 21st ACM SIGIR Conference |year=1998 |publisher=ACM |place=Melbourne, Australia | pages = 275–281| doi=10.1145/290941.291008}}</ref><ref name="hiemstra1998">{{cite conference | first=Djoerd | last=Hiemstra | year = 1998 | title = A linguistically motivated probabilistically model of information retrieval | conference = Proceedings of the 2nd European conference on Research and Advanced Technology for Digital Libraries | publisher = LNCS, Springer | pages=569–584 | doi= 10.1007/3-540-49653-X_34}}</ref>.

{{Нп5|Вялікая моўная мадэль|Вялікія моўныя мадэлі|4=Large language models}} з’яўляюцца сёння найбольш прасунутай іх формай, з’яўляючыся камбінацыяй большых набораў даных (часта выкарыстоўваючы словы, узятыя з агульнадаступнага інтэрнэту), {{нп5|праманакіраваная нейронная сетка|праманакіраваных нейронных сетак|en|feedforward neural network}} і {{нп5|Трансформер (мадэль машыннага навучання)|трансформераў|en|Transformer (machine learning model)}}. Яны замянілі сабой мадэлі, заснаваныя на {{нп5|Рэкурэнтная нейронная сетка|рэкурэнтных нейронных сетках|en|recurrent neural network}},якія раней замянілі чыста-статыстычныя мадэлі, такія як {{нп5|Слоўная n-грамная моўная мадэль|слоўныя ''n''-грамныя моўныя мадэлі|en|Word n-gram language model}}.

== Чыста-статыстычныя мадэлі ==

=== Мадэлі, заснаваныя на слоўных ''n''-грамах ===
{{асноўны артыкул|{{нп5|Слоўная n-грамная моўная мадэль||en|Word n-gram language model}}}}

=== Экспаненцыйныя ===

Моўныя мадэлі з {{нп5|Прынцып максімуму энтрапіі|максімумам энтрапіі|en|Principle of maximum entropy}} кадзіруюць узаемаадносіны паміж словам і гісторыяй ''n''-грама, ужываючы функцыі адзнак. Ураўненне будзе мець наступны выгляд

<math display="block"> P(w_m \mid w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))</math>

дзе <math>Z(w_1,\ldots,w_{m-1})</math> — гэта {{нп5|функцыя разбівання||en|Partition function (mathematics)}}, <math>a</math> — гэта вектар параметраў, а <math>f(w_1,\ldots,w_m)</math> — функцыя адзнак. У найпрасцейшым выпадку функцыя адзнак будзе індыкатарам прысутнасці пэўнага ''n''-грама. Карысна ўжываць {{нп5|Апрыёрная імавернасць|апрыёрнае размеркаванне|en|Prior probability}} на <math>a</math> або нейкую форму {{нп5|Рэгулярызацыя (матэматыка)|рэгулярызацыі|en|Regularization (mathematics)}}.

Лог-білінейная мадэль — яшчэ адзін прыклад экспаненцыйнай моўнай мадэлі.

== Нейронныя мадэлі ==

=== Рэкурэнтныя нейронныя сеткі ===
Бесперарыўныя прадстаўленні або {{нп5|убудаванне слоў||en|Word embedding}} ствараюцца ў моўных мадэлях, заснаваных на {{нп5|Рэкурэнтная нейронная сетка|рэкурэнтных нейронных сетках|en|recurrent neural network}} (вядомыя таксама як ''моўныя мадэлі з бесперапыннай прасторай'').<ref>{{cite web |last1=Karpathy |first1=Andrej |title=The Unreasonable Effectiveness of Recurrent Neural Networks |url=https://karpathy.github.io/2015/05/21/rnn-effectiveness/ |access-date=27 January 2019 |archive-date=1 November 2020 |archive-url=https://web.archive.org/web/20201101215448/http://karpathy.github.io/2015/05/21/rnn-effectiveness/ |url-status=live }}</ref> Такія ўбудаванні ў бесперапыннай прасторы дапамагаюць змякчыць {{нп5|праклён памернасці||en|curse of dimensionality}}, які з’яўляецца следствам таго, што колькасць магчымых паслядоўнасцей слоў павялічваецца ў {{нп5|Экспанентны рост|экспанентна|en|Exponential growth}} разам з памерам слоўнікавага запасу, што ў будучым выклікае праблему разрэджанасці даных. Нейронныя сеткі абыходзяць гэту праблему прадстаўляючы словы як нелінейныя камбінацыя вагаў у нейроннай сетцы.<ref name="bengio">{{cite encyclopedia|title=Neural net language models|first=Yoshua|last=Bengio|year=2008|encyclopedia=[[Scholarpedia]]|volume=3|issue=1|page=3881|url=http://www.scholarpedia.org/article/Neural_net_language_models|doi=10.4249/scholarpedia.3881|bibcode=2008SchpJ...3.3881B|doi-access=free|access-date=28 August 2015|archive-date=26 October 2020|archive-url=https://web.archive.org/web/20201026161505/http://www.scholarpedia.org/article/Neural_net_language_models|url-status=live}}</ref>

=== Вялікія моўныя мадэлі ===
{{асноўны артыкул|{{нп5|Вялікая моўная мадэль||en|Large language model}}}}

== Ацэнка і параўнаўчыя тэсты ==

Ацэнка якасці моўных мадэляў часцей робіцца праз параўнанне створаных чалавекам з тыпічных моўна-арыентаваных задач эталонаў. Іншыя, менш рэгламентаваныя тэсты якасці даследуюць унутраны характар моўнай мадэлі або параўноўваюць дзве такія мадэлі. Паколькі ў моўных мадэлях звычайна закладаецца іх дынамічнасць і навучанне з даных, якія яны бачаць, некаторыя прапанаваныя мадэлі даследуюць хуткасць навучання, напр., шляхам праверкі крывых навучання.<ref>{{Citation|last1=Karlgren|first1=Jussi|last2=Schutze|first2=Hinrich|chapter=Evaluating Learning Language Representations|date=2015|pages=254–260|publisher=Springer International Publishing|isbn=9783319642055|doi=10.1007/978-3-319-64206-2_8|title=International Conference of the Cross-Language Evaluation Forum|series=Lecture Notes in Computer Science}}</ref>

Для ацэнкі сістэм апрацоўкі мовы былі распрацаваны розныя наборы даных<ref name=":0">{{cite arXiv|last1=Devlin|first1=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|date=2018-10-10|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|eprint=1810.04805|class=cs.CL}}</ref>. Да іх адносяцца:

* Корпус лінгвістычнай прымальнасці<ref>{{Cite web|url=https://nyu-mll.github.io/CoLA/|title=The Corpus of Linguistic Acceptability (CoLA)|website=nyu-mll.github.io|access-date=2019-02-25|archive-date=7 December 2020|archive-url=https://web.archive.org/web/20201207081834/https://nyu-mll.github.io/CoLA/|url-status=live}}</ref>
* GLUE benchmark<ref>{{Cite web|url=https://gluebenchmark.com/|title=GLUE Benchmark|website=gluebenchmark.com|language=en|access-date=2019-02-25|archive-date=4 November 2020|archive-url=https://web.archive.org/web/20201104161928/https://gluebenchmark.com/|url-status=live}}</ref>
* Microsoft Research Paraphrase Corpus<ref>{{Cite web|url=https://www.microsoft.com/en-us/download/details.aspx?id=52398|title=Microsoft Research Paraphrase Corpus|website=Microsoft Download Center|language=en-us|access-date=2019-02-25|archive-date=25 October 2020|archive-url=https://web.archive.org/web/20201025121243/https://www.microsoft.com/en-us/download/details.aspx?id=52398|url-status=live}}</ref>
* Шматжанравае мадэляванне вываду на натуральнай мове
* Пытанні праз інтэрфейсы на натуральнай мове
* Пары пытанняў-адказаў Quora<ref>{{Citation|last=Aghaebrahimian|first=Ahmad|chapter=Quora Question Answer Dataset|date=2017|pages=66–73|publisher=Springer International Publishing|isbn=9783319642055|doi=10.1007/978-3-319-64206-2_8|title=Text, Speech, and Dialogue|volume=10415|series=Lecture Notes in Computer Science}}</ref>
* Распазнаванне імпліцытных ведаў у тэкстах<ref>{{Cite web|url=http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|title=Recognizing Textual Entailment|last1=Sammons, V.G.Vinod Vydiswaran, Dan Roth|first1=Mark|last2=Vydiswaran|first2=V.G.|access-date=February 24, 2019|last3=Roth|first3=Dan|archive-date=9 August 2017|archive-url=https://web.archive.org/web/20170809113438/http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|url-status=dead}}</ref>
* Эталон семантычнага тэкставага падабенства
* Тэст адказу на пытанні SQuAD<ref>{{Cite web|url=https://rajpurkar.github.io/SQuAD-explorer/|title=The Stanford Question Answering Dataset|website=rajpurkar.github.io|access-date=2019-02-25|archive-date=30 October 2020|archive-url=https://web.archive.org/web/20201030072130/https://rajpurkar.github.io/SQuAD-explorer/|url-status=live}}</ref>
* Stanford Sentiment [[Treebank]]<ref>{{Cite web|url=https://nlp.stanford.edu/sentiment/treebank.html|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|website=nlp.stanford.edu|access-date=2019-02-25|archive-date=27 October 2020|archive-url=https://web.archive.org/web/20201027125825/https://nlp.stanford.edu/sentiment/treebank.html|url-status=live}}</ref>
* Winograd NLI
* BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, MMLU (Massive Multitask Language Understanding), BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairs.<ref>{{Citation| last = Hendrycks| first = Dan| title = Measuring Massive Multitask Language Understanding| accessdate = 2023-03-15| date = 2023-03-14| url = https://github.com/hendrycks/test| archive-date = 15 March 2023| archive-url = https://web.archive.org/web/20230315011614/https://github.com/hendrycks/test| url-status = live}}</ref> ([https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md LLaMa Benchmark])

== Крыніцы ==
{{Reflist|refs=
<!-- <ref name=Manning-2022>{{cite journal
|last=Manning
|first=Christopher D.
|author-link=Christopher D. Manning
|title=Human Language Understanding & Reasoning
|journal=Daedalus
|year=2022
|volume=151
|issue=2
|pages=127–138
|doi=10.1162/daed_a_01905
|s2cid=248377870
|url=https://www.amacad.org/publication/human-language-understanding-reasoning
|access-date=10 March 2023
|archive-date=9 March 2023
|archive-url=https://web.archive.org/web/20230309154322/https://www.amacad.org/publication/human-language-understanding-reasoning
|url-status=live
}}</ref> -->
}}

== Дадатковая літаратура ==
{{refbegin}}

* {{cite conference |author1=J M Ponte |author2=W B Croft | citeseerx=10.1.1.117.4237 | title = A Language Modeling Approach to Information Retrieval | book-title=Research and Development in Information Retrieval | year=1998 | pages=275–281 }}
* {{cite conference |author1=F Song |author2=W B Croft | citeseerx=10.1.1.21.6467 |title=A General Language Model for Information Retrieval | book-title=Research and Development in Information Retrieval |year=1999 | pages=279–280 }}
* {{cite tech report |first=Stanley |last=Chen |author2=Joshua Goodman |title=An Empirical Study of Smoothing Techniques for Language Modeling |institution=Harvard University |year=1998  |citeseerx=10.1.1.131.5458 }}

{{refend}}
{{ізаляваны артыкул|date=2024-01-10}}

[[Катэгорыя:Моўнае мадэляванне|*]]
[[Category:Статыстычная апрацоўка натуральнай мовы]]
[[Катэгорыя:Маркаўскія мадэлі]]