Прагляд зыходнага тэксту старонкі Кантраснае навучанне

'''Кантраснае навучанне''' — гэта метад у [[Машыннае навучанне|машынным навучанні]], накіраваны на {{iw|Навучанне рэпрэзентацый|пабудову рэпрэзентацый|d|Q17013334}} (эмбэдынгаў) шляхам параўнання і супрацьпастаўлення {{iw|Выбарка|выбарачных даных|d|Q49906}}. Асноўная ідэя заключаецца ў тым, каб мадэль навучылася адрозніваць падобныя і непадобныя пары даных, набліжаючы семантычна падобныя элементы адзін да аднаго ў {{iw|Прастора прыкмет|прасторы прыкмет|d|Q1921833}} і аддаляючы непадобныя<ref name="pwc">{{Cite web|url=https://paperswithcode.com/task/contrastive-learning|title=Contrastive Learning|lang=en|website=Papers With Code}}</ref>. Гэтая тэхніка часта выкарыстоўваецца ў {{iw|Некіраванае навучанне|некіраваным|d|Q1152135}}або {{iw|Самакіраванае навучанне|самакіраваным навучанні|d|Q77562367}}, калі {{iw|Разметка даных|меткі недаступныя|d|Q109719325}}.

Кантраснае навучанне знаходзіць прымяненне ў розных задачах, такіх як навучанне рэпрэзентацый для {{iw|Кластарызацыя|кластарызацыі|d|Q622825}} або [[статыстычная класіфікацыя|класіфікацыі]], і шырока выкарыстоўваецца ў [[камп’ютарны зрок|камп’ютарным зроку]] і [[Апрацоўка натуральнай мовы|апрацоўцы натуральнай мовы]]<ref name="pwc"/>. Папулярныя алгарытмы, якія выкарыстоўваюць гэты падыход, уключаюць SimCLR і MoCo, дзе пазітыўныя пары фармуюцца з дапамогай розных варыянтаў аднаго і таго ж элементу даных, а негатыўныя — з розных элементаў.

== Асноўныя канцэпцыі ==

=== Пазітыўныя і негатыўныя пары ===
[[Файл:Positive and negative pairs for contrastive learning.png|thumb|У кантэксце задачы, дзе патрабуецца адрозніваць выявы розных [[Біялагічны від|біялагічных відаў]], пазітыўнымі парамі могуць служыць пары фота кацянят (зялёная стрэлка). У той жа час пары кацяня і шчаня будуць негатыўнымі (чырвоныя стрэлкі).]]
Асноўная ідэя кантраснага навучання заключаецца ў тым, каб навучыць мадэль адрозніваць пазітыўныя і негатыўныя пары даных<ref name="simclr">{{cite arXiv
	| last1 = Chen
	| first1 = Ting
    | last2 = Kornblith
	| first2 = Simon
    | last3 = Norouzi
	| first3 = Mohammad
    | last4= Hinton
	| first4 = Geoffrey
	| author-link = 
	| date = 2020
	| title = A Simple Framework for Contrastive Learning of Visual Representations
	| eprint = 2002.05709
	| class = cs.LG
}}</ref>.

* Пазітыўныя пары — семантычна падобныя пары элементаў. Гэта значыць, што яны прадстаўляюць аднолькавыя або блізкія паняцці ці аб’екты. Напрыклад, у кантэксце {{iw|Выява|выяў|d|Q478798}}, дзве выявы аднаго аб’екта або дзве варыяцыі адной і той жа выявы (напрыклад, розныя сегменты, павароты або змены [[колер]]у) будуць утвараць пазітыўную пару. Мэта мадэлі — зблізіць рэпрэзентацыі гэтых падобных элементаў даных у [[вектарная прастора|вектарнай прасторы]], каб мадэль магла распазнаць падабенства, нягледзячы на варыяцыі ў зыходных даных.
* Негатыўныя пары — семантычна непадобныя пары элементаў. Гэта значыць, што яны прадстаўляюць розныя паняцці або аб’екты. Напрыклад, дзве выявы розных аб’ектаў (кот і аўтамабіль, дрэва і воблака, і г.д.) будуць утвараць негатыўную пару. Мэта кантраснага навучання — аддаляць рэпрэзентацыі негатыўных пар у вектарнай прасторы, каб мадэль магла адрозніваць непадобныя даныя.

Навучаючыся на пазітыўных і негатыўных парах, мадэль развівае ўяўленне аб тым, якія асаблівасці важныя для адрознення аб’ектаў. Гэта дазваляе мадэлі стварыць больш асэнсаваную і ўніверсальную рэпрэзентацыю даных, якую можна выкарыстоўваць для рашэння разнастайных задач, напрыклад такіх як класіфікацыя або кластарызацыя.

=== Прастора прыкмет ===

Прасторай прыкмет завецца многавымерная вектарная прастора, дзе кожны аб’ект [[Даныя|даных]] (выява, слова, абзац [[тэкст]]у, [[гук|аўдыя]], дакумент і г.д.) прадстаўлены ў выглядзе [[Вектар (матэматыка)|вектара]], называнага вектарным прадстаўленнем або эмбэдынгам<ref name="elastic">{{Cite web|url=https://www.elastic.co/what-is/vector-embedding|title=What are vector embeddings?|lang=en|website=Elastic}}</ref>. Мэта кантраснага навучання — стварыць такую мадэль, якая можа канвертаваць аб’екты ў вектары прасторы прыкмет такім чынам, што падобныя элементы (пазітыўныя пары) размяшчаюцца бліжэй адзін да аднаго, а непадобныя (негатыўныя пары) аддаляюцца. Вектары з такімі ўласцівасцямі могуць пасля выкарыстоўвацца іншымі мадэлямі для задач класіфікацыі, кластарызацыі або {{iw|Вектарны пошук|пошуку|d|Q60461482}}<ref name="elastic"/>.

Каб дасягнуць гэтага, мадэль навучаецца аптымізаваць {{iw|Функцыя страт|функцыю страт|d|Q1036748}} (напрыклад, кантрасную або трыплетную функцыю), якая заахвочвае пазітыўныя пары да стварэння падобных вектарных прадстаўленняў, зніжаючы іх адлегласць у прасторы прыкмет. Адначасова адмоўныя пары аддаляюцца, павялічваючы адлегласць паміж іх вектарнымі прадстаўленнямі. У выніку прастора прыкмет становіцца добра арганізаванай схемай размяшчэння даных, дзе адлегласць паміж двума пунктамі адлюстроўвае іх семантычную падобнасць або непадобнасць. Пры правільнай пабудове, такая прастора прыкмет можа добра {{iw|Абагульненне|абагульняцца|d|Q6963735}} на новыя даныя, што не выкарыстоўваліся ў навучанні.

Напрыклад, у задачах, звязаных з апрацоўкай тэксту, розныя абзацы з падобным значэннем (напрыклад, перафразаваныя шляхам змены парадку слоў або выкарыстаннем [[Сінонімы|сінонімаў]]) павінны мець амаль ідэнтычныя прадстаўленні ў прасторы прыкмет, у той час як прадстаўленні абзацаў з розным значэннем павінны быць размешчаны далёка адзін ад аднаго.

== Функцыі страт ==

=== Кантрасная функцыя страт ===
Кантрасная функцыя страт — ключавы элемент кантраснага навучання, прызначаны для таго, каб мадэль навучылася адрозніваць падобныя і непадобныя аб’екты даных. Яна працуе, мінімізуючы адлегласць паміж пазітыўнымі парамі (падобныя аб’екты) і максімізуючы адлегласць паміж негатыўнымі парамі (непадобныя аб’екты) у прасторы прыкмет.

Кантрасную функцыю страт можна запісаць наступным чынам<ref>{{Cite journal
 | last1 = Chopra
 | first1 = Sumit
 | last2 = Hadsell
 | first2 = Raia
 | last3 = LeCun
 | first3 = Yann
 | title = Learning a Similarity Metric Discriminatively, with Application to Face Verification
 | journal = 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)
 | year = 2005
 | volume = 1
 | pages = 539–546
 | publisher = IEEE
 | doi = 10.1109/CVPR.2005.202
}}
</ref>:
: <math>L = (1 - y) \cdot \max(0, D(f(x_1), f(x_2)) - m)^2 + y \cdot D(f(x_1), f(x_2))^2,</math>
дзе:
* <math>f(x_1)</math> і <math>f(x_2)</math> — вектарныя прадстаўленні двух аб’ектаў, якія параўноўваюцца.
* <math>D</math> — метрыка адлегласці (звычайна {{нп5|Эўклідава адлегласць|эўклідава адлегласць|en|Euclidean distance}}), якая вымярае, наколькі далёка аб’екты знаходзяцца ў прасторы прыкмет.
* <math>y</math> — {{iw|Індыкатар (матэматыка)|бінарны індыкатар|d|Q371983}}, які паказвае, ці з’яўляецца пара пазітыўнай (<math>y = 1</math>) або негатыўнай (<math>y = 0</math>).
* <math>m</math> — маржа, {{iw|Гіперпараметр|гіперпараметр|d|Q28374376}}, які вызначае мінімальную жаданую адлегласць паміж негатыўнымі парамі. Калі негатыўныя пары знаходзяцца бліжэй за гэтую маржу, значэнне функцыі страт павялічваецца.

Мэты кантраснай функцыі страт:
* Мінімізаваць адлегласць <math>D(f(x_1), f(x_2))</math> для пазітыўных пар, заахвочваючы мадэль набліжаць падобныя аб’екты ў прасторы функцый.
* Для негатыўных пар адлегласць <math>D(f(x_1), f(x_2))</math> павінна быць большай за маржу <math>m</math>. Каб гэтага дасягнуць, функцыя «штрафуе» блізкія рэпрэзентацыі непадобных аб’ектаў, але толькі тады, калі адлегласць паміж імі не перавышае маржу.

Асноўныя характарыстыкі кантраснай функцыі страт:
* Працуе непасрэдна з адлегласцю паміж рэпрэзентацыямі.
* Выкарыстоўвае бінарны індыкатар для параўнання пар аб’ектаў.
* Выкарыстоўвае маржу <math>m</math> для прадухілення мадэлі ад неабмежаванага аддалення негатыўных пар.

=== Трыплетная функцыя страт ===
[[Файл:The-Triplet-loss-in-cosine-similarity.png|thumb|Механізм навучання з трыплетнай функцыяй страт.]]

Трыплетная функцыя страт выкарыстоўваецца для паляпшэння рэпрэзентацый праз параўнанне ўзорнага элемента (якар) з пазітыўным і негатыўным прыкладамі. Ідэя функцыі ў тым каб наблізіць пазітыўны прыклад да якара, адначасова аддаляючы ад яго негатыўны прыклад<ref name="facenet">{{Cite journal
 | last1 = Schroff
 | first1 = Florian
 | last2 = Kalenichenko
 | first2 = Dmitry
 | last3 = Philbin
 | first3 = James
 | title = FaceNet: A Unified Embedding for Face Recognition and Clustering
 | journal = Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
 | year = 2015
 | pages = 815–823
 | doi = 10.1109/CVPR.2015.7298682
 | url = https://arxiv.org/abs/1503.03832
}}
</ref>.

Трыплет складаецца з трох элементаў:
* Якар: элемент даных, які выступае ў якасці апорнага пункта.
* Пазітыўны прыклад: элемент, падобны да якара (напрыклад, іншае фота таго ж самага аб’екта).
* Негатыўны прыклад: элемент, які адрозніваецца ад якара (напрыклад, фота іншага аб’екта).

Трыплетная функцыя страт прадугледжвае, каб адлегласць паміж якарам і пазітыўным прыкладам была меншай за адлегласць паміж якарам і негатыўным прыкладам на як мінімум пэўнае значэнне, вядомае як маржа <math>m</math>. Матэматычна трыплетную функцыю можна запісаць як<ref name="facenet"/>
: <math> L = \max \left( 0, D(f(a), f(p)) - D(f(a), f(n)) + m \right), </math>
дзе
* <math>f(a)</math>, <math>f(p)</math>, і <math>f(n)</math> — рэпрэзентацыі (эмбэдынгі) якара, пазітыўнага і негатыўнага прыкладаў.
* <math>D(x, y)</math> — метрыка адлегласці (звычайна {{нп5|Эўклідава адлегласць|эўклідава адлегласць|en|Euclidean distance}}), якая вымярае, наколькі далёка аб’екты знаходзяцца ў прасторы прыкмет.
* <math>m</math> — маржа, якая вызначае, наколькі далей негатыўны прыклад павінен знаходзіцца ад якара ў параўнанні з пазітыўным прыкладам.

Працэс навучання ўключае выбар трыплетаў з даных і падбор параметраў мадэлі для мінімізацыі трыплетнай функцыі страт. Важную ролю ў навучанні адыгрывае выбар правільных трыплетаў. Звычайна найбольшы эфект даюць цяжкія трыплеты (дзе першапачаткова негатыўны прыклад блізкі да якара, а пазітыўны — далёкі), бо яны дапамагаюць мадэлі вучыцца на больш складаных выпадках<ref name="facenet"/>.

Трыплетная функцыя страт паспяхова выкарыстоўваецца ў розных задачах, асабліва ў {{нп5|Сістэма распазнавання твараў|распазнаванні твараў|en|Facial recognition system}} (напрыклад, мадэль {{нп5|FaceNet|FaceNet|en|FaceNet}}). Шляхам мінімізацыі адлегласці паміж эмбэдынгамі фатаграфій твару аднаго чалавека і максімізацыі адлегласці паміж тварамі розных людзей, трыплетная функцыя страт дапамагае ствараць надзейныя рэпрэзентацыі для адрознення твараў<ref name="facenet"/>.

=== Функцыя страт InfoNCE ===
InfoNCE (Information Noise Contrastive Estimation) — функцыя страт, якая шырока выкарыстоўваецца ў кантрасным навучанні, асабліва ў самакіраваных падыходах.

InfoNCE працуе праз параўнанне якара (узорнага элемента) з прыкладамі ў батчы (адносна невялікім падмностве даных), сярод якіх ёсць адзін пазітыўны прыклад. Яна заахвочвае мадэль набліжаць элементы пазітыўнай пары і аддаляць элементы ў негатыўных парах. Функцыю InfoNCE можна запісаць наступным чынам<ref name="moco">{{cite arxiv
 |last1=He
 |first1=Kaiming
 |last2=Fan
 |first2=Haoqi
 |last3=Wu
 |first3=Yuxin
 |last4=Xie
 |first4=Saining
 |last5=Girshick
 |first5=Ross
 |title=Momentum Contrast for Unsupervised Visual Representation Learning
 |date=2020
 |arxiv=1911.05722
}}
</ref>:

: <math> L = - \log \frac{\exp(sim(\mathbf{q}, \mathbf{z}^+))}{\sum_{i=1}^{N} \exp(sim(\mathbf{q}, \mathbf{z}_i))},</math>

дзе
* <math>sim(\mathbf{x}, \mathbf{y})</math> — функцыя падабенства паміж дзвюма вектарнымі рэпрэзентацыямі (напрыклад, {{iw|Косінус падабенства|косінус падабенства|d|Q1784941}}).
* <math>\mathbf{q}</math> — рэпрэзентацыя якара.
* <math>\mathbf{z}^+</math> — рэпрэзентацыя пазітыўнага прыкладу.
* <math>N</math> — колькасць прыкладаў у батчы.

Выражэнне ў лічніку залежыць ад падабенства паміж якарам і пазітыўным прыкладам, у той час як назоўнік нармалізуе яго па ўсіх магчымых парах якара з іншымі элементамі (пазітыўных і негатыўных). Такая фармулёўка вымушае мадэль адрозніваць сапраўдны пазітыўны прыклад ад мноства негатыўных, што прыводзіць да паляпшэння якасці рэпрэзентацый.

Функцыя InfoNCE асабліва эфектыўная ў такіх падыходах, як SimCLR і MoCo, дзе яна дапамагае мадэлі вучыцца без разметкі, выкарыстоўваючы штучныя варыяцыі даных ({{iw|Аўгментацыя даных|аўгментацыі|d|Q85014143}})<ref name="simclr"/><ref name="moco"/>.

== Віды кантраснага навучання ==

=== Кіраванае кантраснае навучанне ===
Кіраванае кантраснае навучанне пашырае прынцыпы кантраснага навучання на задачы, дзе даступныя {{iw|Разметка даных|размечаныя даныя|d|Q109719325}}. У адрозненне ад некіраванага або самакіраванага кантраснага навучання, дзе пазітыўныя і негатыўныя пары фармуюцца без выразных метак, кіраванае кантраснае навучанне выкарыстоўвае меткі класаў для стварэння больш інфарматыўных пазітыўных і негатыўных пар. У такім выпадку ўзоры, якія маюць аднолькавыя меткі, разглядаюцца як пазітыўныя пары, а ўзоры з рознымі меткамі — як негатыўныя пары<ref name="scl"/>.

Асноўная перавага кіраванага кантраснага навучання заключаецца ў тым, што яно можа выкарыстоўваць дадатковую інфармацыю, забяспечаную меткамі, каб вызначыць адносіны паміж парамі даных, паляпшаючы якасць рэпрэзентацый. Лічачы ўсе ўзоры аднаго класа пазітыўнымі парамі, мадэль можа стварыць лепшую прастору прыкмет, дзе мінімізуецца ўнутрыкласавая зменлівасць і максімізуецца міжкласавая зменлівасць<ref name="scl">{{Cite journal
 | last1 = Khosla
 | first1 = Prannay
 | last2 = Teterwak
 | first2 = Pyotr
 | last3 = Wang
 | first3 = Chen
 | last4 = Sarna
 | first4 = Aarush
 | last5 = Tian
 | first5 = Yonglong
 | last6 = Isola
 | first6 = Phillip
 | last7 = Maschinot
 | first7 = Aaron
 | last8 = Liu
 | first8 = Ce
 | last9 = Krishnan
 | first9 = Dilip
 | title = Supervised Contrastive Learning
 | journal = Advances in Neural Information Processing Systems
 | volume = 33
 | year = 2020
 | url = https://proceedings.neurips.cc//paper/2020/hash/d89a66c7c80a29b1bdbab0f2a1a94af8-Abstract.html
 | doi = 10.48550/arXiv.2004.11362
}}
</ref>.

На практыцы кіраванае кантраснае навучанне асабліва карыснае пры працы з вялікімі наборамі размечаных даных. Адзін з вядомых алгарытмаў, які выкарыстоўвае гэты падыход, быў прадстаўлены Khosla et al. у 2020 годзе і паказаў лепшыя вынікі ў некаторых задачах у параўнанні з навучаннем на аснове {{iw|Лагарыфмічная функцыя страт|крос-энтрапіі|d|Q22667762}}<ref name="scl"/>.

=== Некіраванае і самакіраванае кантраснае навучанне ===

У некіраваным або самакіраваным кантрасным навучанні мадэль вучыцца адрозніваць падобныя і непадобныя аб’екты даных без выкарыстання разметкі. Замест разметкі, алгарытмы навучання выкарыстоўваюць розныя метады трансфармацыі даных або звяртаюцца да іх унутранай структуры<ref name="simclr"/><ref>{{Cite web|url=https://ai.stanford.edu/blog/understanding-contrastive-learning/|title=Understanding Deep Learning Algorithms that Leverage Unlabeled Data, Part 2: Contrastive Learning|lang=en|author=Jeff Z. HaoChen, Colin Wei, Tengyu Ma|website=The Stanford AI Lab Blog|date=2022-04-13}}</ref>.

Адна з распаўсюджаных стратэгій у самакіраваным навучанні заключаецца ў стварэнні пазітыўных пар шляхам прымянення розных {{iw|Аўгментацыя даных|трансфармацый|d|Q85014143}} (напрыклад, абразанне, змяненне колераў, адлюстраванне) да аднаго і таго ж аб’екта даных, напрыклад, выявы. Гэтыя трансфармацыі, якія таксама называюцца аўгментацыямі, захоўваюць семантыку (значэнне) арыгінальных даных, але ствараюць некалькі варыянтаў аднаго і таго ж аб’екта. Негатыўныя пары ствараюцца шляхам выбару выпадковых пар аб’ектаў. Мадэль навучаецца набліжаць рэпрэзентацыі пазітыўных пар (розныя варыянты аднаго і таго ж аб’екта) і аддаляць рэпрэзентацыі негатыўных пар (розных аб’ектаў)<ref name="simclr"/>.

Самакіраванае кантраснае навучанне набыло вялікую значнасць у [[Камп’ютарны зрок|камп’ютарным зроку]] з мадэлямі, такімі як SimCLR і MoCo. Гэтыя мадэлі навучаюцца на вялікіх аб’ёмах неразмечаных даных, ствараючы рэпрэзентацыі, што могуць быць далей адаптаваны для задач, такіх як класіфікацыя выяў, {{iw|Выяўленне аб’ектаў|выяўленне аб’ектаў|d|Q3045304}} або {{iw|Сегментацыя выяў|сегментацыя|d|Q56933}}<ref name="simclr"/><ref name="moco"/>.

У [[Апрацоўка натуральнай мовы|апрацоўцы натуральнай мовы]] самакіраваныя метады кантраснага навучання могуць быць ужытыя да задач накшталт стварэння рэпрэзентацый сказаў, дзе мэтай з’яўляецца прадстаўленне падобных сказаў падобнымі вектарамі. Гэтыя метады значна скарачаюць залежнасць ад размечаных набораў даных, што палягчае маштабаванне навучальных працэсаў, бо неразмечаныя даныя часта больш даступныя<ref>{{Cite web|url=https://www.engati.com/blog/contrastive-learning-in-nlp|title=Contrastive Learning in NLP|lang=en|author=Anwesh Roy}}</ref>.

Самакіраваныя кантрасныя метады таксама выкарыстоўваюцца ў мультымадальным кантэксце каб злучыць паміж сабой прадстаўленні даных розных фарматаў. Гэта карысна ў такіх задачах, як напрыклад пошук выявы па апісанні. Адзін з прыкладаў выкарыстання кантраснага навучання для мультымадальных задач — мадэль {{нп5|CLIP|CLIP|en|Contrastive Language-Image Pre-training}}, прадстаўленая ў 2021 годзе даследчыкамі з [[OpenAI]]<ref>{{Cite journal
|last1=Radford
|first1=Alec
|last2=Kim
|first2=Jong Wook
|title=Learning Transferable Visual Models From Natural Language Supervision
|journal=arXiv
|date=2021
|url=https://arxiv.org/abs/2103.00020
}}
</ref>.

Асноўныя праблемы ў некіраваным кантрасным навучанні — выбар значных негатыўных узораў і эфектыўная аўгментацыя даных.

== Алгарытмы ==

=== SimCLR ===

SimCLR ({{lang-en|Simple Framework for Contrastive Learning of Visual Representations}}, {{lang-be|Просты падыход да кантраснага навучання візуальных рэпрэзентацый}}) — алгарытм самакіраванага кантраснага навучання ў галіне камп’ютарнага зроку, прызначаны для стварэння рэпрэзентацый выяў. Распрацаваны даследчыкамі з {{нп5|Google Brain|Google Brain|en|Google Brain}}. Асноўная ідэя SimCLR заключаецца ў выкарыстанні розных варыянтаў адных і тых жа выяў для фарміравання пазітыўных пар, у той час як выпадковыя выявы фармуюць негатыўныя пары<ref name="simclr"/>.

Падыход SimCLR складаецца з наступных кампанентаў:
# Аўгментацыя даных: Кожная выява двойчы праходзіць аўгментацыю з выкарыстаннем выпадковых трансфармацый, такіх як абрэзка, павароты, змена колеру і {{iw|Гаўсава размыванне|размыванне|d|Q1894545}}. Гэтыя два аўгментаваныя варыянты выявы ўтвараюць пазітыўную пару, а астатнія выявы ў батчы (выпадковым падмностве даных) утвараюць негатыўныя пары<ref name="simclr"/>.
# Атрыманне рэпрэзентацый: Глыбокая {{нп5|Штучная нейронная сетка|нейронная сетка|en|Neural network (machine learning)}} (звычайна {{нп5|ResNet|ResNet|en|Residual neural network}}) выкарыстоўваецца для атрымання рэпрэзентацый выяў. Мадэль апрацоўвае абедзве аўгментаваныя выявы і іншыя выявы з батча і падлічвае іх прадстаўленні ў выглядзе [[Вектар (матэматыка)|вектараў]]<ref name="simclr"/>.
# Модуль праекцыі: Пасля атрыманых прадстаўленняў ад глыбокай сеткі, SimCLR ужывае невялікую нейронную сетку з нелінейнай {{нп5|Функцыя актывацыі|функцыяй актывацыі|en|Activation function}}, вядомую як модуль праекцыі. Яна пераўтварае вектары прадстаўленняў у вектары, для якіх падлічваецца кантрасная функцыя страт. Аўтары даследавання даводзяць, што гэты дадатковы модуль дазваляе атрымаць лепшыя вынікі, чым калі б рэпрэзентацыі выкарыстоўваліся ў функцыі страт непасрэдна<ref name="simclr"/>.
# Кантрасная функцыя страт (NT-Xent): SimCLR выкарыстоўвае функцыю страт NT-Xent (Нарміраваная кросэнтрапія з маштабаваннем тэмпературы), якая з’яўляецца варыяцыяй InfoNCE. NT-Xent нармалізуе падабенствы і мае [[параметр]] тэмпературы, што дазваляе дадаткова рэгуляваць функцыю<ref name="simclr"/>.

Пры наяўнасці некаторай колькасці размечаных даных, мадэль атрыманая з SimCLR можа быць данавучана, каб яшчэ больш палепшыць якасць рэпрэзентацый<ref name="simclr"/>.

Асаблівасцю SimCLR з’яўляецца выкарыстанне батчаў вялікіх памераў. Такім чынам дасягаецца вялікая колькасць негатыўных узораў, што дапамагае мадэлі ствараць лепшыя рэпрэзентацыі. Эфектыўнасць SimCLR узрастае пры павелічэнні памеру батча, хоць гэта патрабуе больш рэсурсаў<ref name="simclr"/>.

SimCLR прадэманстраваў высокую эфектыўнасць у класіфікацыі выяў, часам нават пераўзыходзячы мадэлі, навучаныя на размечаных даных. У той жа час SimCLR патрабуе вялікай колькасці вылічальных рэсурсаў і памяці з-за залежнасці ад вялікіх батчаў. Акрамя таго, неабходнасць дбайнай наладкі аўгментацый і функцый страт робіць яго адчувальным да канкрэтных рэалізацый і набораў даных. Гэтыя праблемы адрасуюцца іншымі метадамі кантраснага навучання, такімі як MoCo<ref name="simclr"/><ref name="moco"/>.

Падыход SimCLRv2 паляпшае SimCLR, выкарыстоўваючы глыбейшую версію ResNet і глыбейшы модуль праекцыі. Таксама ў ім выкарыстаны модуль памяці з MoCo v2<ref>{{Cite web|url=https://paperswithcode.com/method/simclrv2|title=SimCLRv2 Explained|lang=en|website=Papers With Code}}</ref>.

=== MoCo ===

MoCo ({{lang-en|Momentum Contrast}}, {{lang-be|Інерцыйны кантраст}}) — алгарытм самакіраванага навучання, распрацаваны даследчыкамі з {{нп5|Meta AI|Facebook AI Research|en|Meta AI}}. MoCo вырашае праблему эфектыўнага выкарыстання памяці шляхам выкарыстання дынамічнага слоўніка з інерцыйным механізмам абнаўлення. Гэты падыход дазваляе MoCo падтрымліваць вялікую колькасць негатыўных узораў, што з’яўляецца важным фактарам кантраснага навучання<ref name="moco"/>.

Асноўныя канцэпцыі і асаблівасці:

* MoCo выкарыстоўвае функцыю страт InfoNCE, якая спрыяе збліжэнню пазітыўных пар (розныя версіі адной выявы) і аддаленню негатыўных пар (розныя выявы)<ref name="moco"/>.
* MoCo выкарыстоўвае {{iw|Чарга (інфарматыка)|чаргу|d|Q220543}} для захоўвання вялікай колькасці рэпрэзентацый выяў, што становіцца крыніцай негатыўных пар у працэсе навучання. Гэтая чарга абнаўляецца рэпрэзентацыямі выяў з кожнага міні-батча, дазваляючы выкарыстоўваць рэпрэзентацыі з папярэдніх батчаў у функцыі страт без іх перападліку<ref name="moco"/>.
* MoCo раздзяляе кадавальныя сеткі для «запытаў» (выяў, для якіх неабходна знайсці пазітыўныя пары) і «ключоў» (выяў, сярод якіх адбываецца пошук). Вектары запытаў і ключоў падлічваюцца для выяў з кожнага новага батча з дапамогай адпаведнай сеткі, пры гэтым ключы захоўваюцца ў чарзе для атрымання негатыўных пар на наступных ітэрацыях навучання. Пазітыўныя пары фарміруюцца з ключоў і запытаў, атрыманых з аўгментацый адных і тых жа выяў унутры батча<ref name="moco"/>.
* Параметры кадавальнай сеткі для запытаў <math>\theta_q</math> абнаўляюцца метадам {{нп5|Градыентны спуск|градыентнага спуску|en|Gradient descent}}, у той час як параметры сеткі ключоў <math>\theta_k</math> абнаўляюцца інерцыйна з вялікім каэфіцыентам інерцыі (напрыклад, m=0.999) паводле наступнай формулы<ref name="moco"/>:
:: <math>\theta_k \leftarrow m \theta_k + (1 - m) \theta_q</math>

Інерцыйнае абнаўленне дазваляе сетцы ключоў заставацца больш стабільнай на працягу ўсяго працэса навучання, а значыць ключы з чаргі не патрабуюць перападліку пасля абнаўлення параметраў сеткі<ref name="moco"/>.

Падыход, прапанаваны аўтарамі алгарытма MoCo, дазваляе атрымліваць перавагу ад вялікай колькасці негатыўных пар, захоўваючы памер батча адносна невялікім, бо крыніцай негатыўных пар становіцца чарга, а не толькі батч. Памер чаргі можа перавышаць памер батча ў разы. Такім чынам нівелюецца праблема залежнасці ад памеру батча, і [[Памяць з адвольным доступам|аператыўная памяць]] прылады, на якой адбываецца навучанне, выкарыстоўваецца больш эфектыўна ў параўнанні з падыходам SimCLR<ref name="moco"/>.

=== BYOL ===

BYOL ({{lang-en|Bootstrap Your Own Latent}}) адрозніваецца ад традыцыйных кантрасных метадаў тым, што не патрабуе негатыўных узораў. Замест гэтага ён выкарыстоўвае дзве нейроныя сеткі: мэтавую і анлайн-сетку, пры гэтым першая з іх абнаўляецца павольней. Рэпрэзентацыі, атрыманыя такім чынам паказалі найлепшыя вынікі ў шэрагу задач класіфікацыі выяў<ref>{{cite arxiv
 | title=Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning
 | author1=Jean-Bastien Grill
 | author2=Florian Strub
 | author3=Florent Altché
 | author4=Corentin Tallec
 | author5=Pierre H. Richemond
 | author6=Elena Buchatskaya
 | author7=Carl Doersch
 | author8=Bernardo Avila Pires
 | author9=Zhaohan Daniel Guo
 | author10=Mohammad Gheshlaghi Azar
 | author11=Bilal Piot
 | author12=Koray Kavukcuoglu
 | author13=Rémi Munos
 | author14=Michal Valko
 | eprint=2006.07733
 | year=2020
}}
</ref>.

== Прымяненне ==
Кантраснае навучанне выкарыстоўваецца ў розных галінах дзякуючы сваёй здольнасці эфектыўна вывучаць рэпрэзентацыі без неабходнасці ў вялікіх аб’ёмах размечаных даных. Гэты падыход паказаў выдатныя вынікі ў камп’ютарным зроку, апрацоўцы натуральнай мовы і іншых галінах, дзе ён дазваляе мадэлям аддзяляць значныя адрозненні паміж элементамі даных ад нязначных.

=== Камп’ютарны зрок ===
У камп’ютарным зроку кантраснае навучанне актыўна выкарыстоўваецца ў задачах {{iw|Класіфікацыя выяў|класіфікацыі выяў|d|Q98526763}}, {{iw|Распазнаванне аб’ектаў|распазнавання аб’ектаў|d|Q1971661}} і {{iw|Сегментацыя выяў|сегментацыі|d|Q56933}}. Яно асабліва эфектыўна ў галінах, дзе колькасць размечаных выяў абмежаваная або іх складана атрымаць. Такія тэхнікі, як SimCLR і MoCo, выкарыстоўваюцца для атрымання рэпрэзентацый выяў, што дазваляе мадэлям дасягаць выдатных вынікаў у задачах класіфікацыі і {{iw|Пошук выяў|пошуку|d|Q10927554}}<ref>{{Cite web|url=https://pareto.ai/blog/contrastive-learning-in-computer-vision|title=Contrastive Learning in Computer Vision: Advancements, Challenges, and Future Directions|lang=en}}</ref><ref name="encord">{{Cite web|url=https://encord.com/blog/guide-to-contrastive-learning/|title=Full Guide to Contrastive Learning|lang=en}}</ref>.

=== Апрацоўка натуральнай мовы ===
У апрацоўцы натуральнай мовы кантраснае навучанне выкарыстоўваецца для атрымання вектарных рэпрэзентацый слоў, сказаў і дакументаў. Ствараючы пазітыўныя пары з семантычна падобных тэкстаў (напрыклад, перафразаваных сказаў) і негатыўныя пары з незвязаных тэкстаў, мадэлі могуць генераваць рэпрэзентацыі, якія захопліваюць сэнсавыя і кантэкставыя адрозненні. Сярод прымяненняў — задачы вызначэння {{iw|Семантычнае падабенства|семантычнага падабенства|d|Q2268914}}, {{iw|Аналіз танальнасці|аналіз танальнасці|d|Q2271421}}, [[машынны пераклад]] і іншыя<ref name="encord"/><ref>{{Cite journal
 | last1 = Zhang
 | first1 = Rui
 | last2 = Ji
 | first2 = Yangfeng
 | last3 = Zhang
 | first3 = Yue
 | last4 = Passonneau
 | first4 = Rebecca J.
 | date = 2022
 | title = Contrastive Data and Learning for Natural Language Processing
 | journal = Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies
 | pages = 39–47
 | location = Seattle, United States
 | publisher = Association for Computational Linguistics
 | url = https://aclanthology.org/2022.naacl-tutorials.6/
}}
</ref>.

=== Іншыя галіны ===
Кантраснае навучанне выкарыстоўваецца для аналізу медыцынскіх выяў (напрыклад, здымкаў {{iw|Магнітна-рэзанансная тамаграфія|МРТ|d|Q161238}}) з мэтай выяўлення прыкмет, звязаных з хваробамі. Напрыклад, яно можа дапамагчы ў дыягностыцы такіх захворванняў, як {{iw|Дыябетычная рэтынапатыя|дыябетычная рэтынапатыя|d|Q631361}}, праз больш эфектыўны аналіз здымкаў {{iw|Сятчатка|сятчаткі|d|Q169342}} ў параўнанні з традыцыйнымі метадамі<ref>{{Cite web|url=https://maddevs.io/blog/the-power-of-contrastive-learning/|title=The Power of Contrastive Learning: From Theory to Real-World Applications|lang=en}}</ref>.

Кантраснае навучанне дапамагае ўдасканаліць мадэлі {{iw|Навучанне з падмацаваннем|навучання з падмацаваннем|d|Q830687}}, што паляпшае працэс прыняцця рашэнняў у складаных абставінах<ref name="encord"/>.

== Абмежаванні ==
Кантраснае навучанне патрабуе значных аб’ёмаў неразмечаных даных для эфектыўнага вывучэння змястоўных рэпрэзентацый. Без дастатковай колькасці даных мадэлі можа быць складана выявіць асноўныя заканамернасці, неабходныя для абагульнення атрыманых рэпрэзентацый на новыя задачы і даныя<ref name="picsellia">{{Cite web|url=https://www.picsellia.com/post/an-in-depth-guide-to-contrastive-learning-in-ai#8-Limitations-of-Unsupervised-Learning|title=An In-Depth Guide to Contrastive Learning in AI|lang=en}}</ref>.

Эфектыўнасць кантраснага навучання значна залежыць ад якасці негатыўных пар, якія выкарыстоўваюцца ў часе навучання. Калі негатыўныя пары не з’яўляюцца дастаткова складанымі або ўтрымліваюць хібныя прыклады (пары, што насамрэч пазітыўныя), гэта можа прывесці да пагаршэння якасці рэпрэзентацый<ref name="picsellia"/>.

Мадэлі, атрыманыя з дапамогай кантраснага навучання, часта генерыруюць складаныя рэпрэзентацыі, якія могуць быць цяжкімі для інтэрпрэтацыі. Гэты брак празрыстасці ўскладняе разуменне таго, як працуюць мадэлі на аснове вывучаных рэпрэзентацый<ref name="picsellia"/>.

Многія метады кантраснага навучання выкарыстоўваюць спецыфічныя аўгментацыі для атрымання пазітыўных пар, напрыклад змены колеру, дапускаючы, што колер не змяняе сутнасці аб’екта. Гэта прыводзіць да некарэктных паводзін вывучаных рэпрэзентацый у задачах, дзе патрабуецца адрозніваць аб’екты рознага колеру або іншых характарыстык, закранутых аўгментацыямі<ref>{{Cite arxiv
 | author = Tete Xiao, Xiaolong Wang, Alexei A. Efros, Trevor Darrell
 | title = What Should Not Be Contrastive in Contrastive Learning
 | year = 2021
 | eprint = 2008.05659v2
}}</ref>.

== Крыніцы ==
{{reflist}}

{{Бібліяінфармацыя}}

[[Катэгорыя:Машыннае навучанне]]