J:
Kāpēc “informācijas sašaurinājums” ir svarīga teorija dziļajās mācībās?
A:Ideja par “informācijas sašaurinājumu” mākslīgajos neironu tīklos (ANNs) darbojas pēc īpaša principa, kas saistīts ar dažāda veida signalizāciju. To uzskata par praktisku instrumentu kompromisu pārbaudei, kas šīm mākslīgā intelekta sistēmām ļauj sevi optimizēt. Vadu raksts, kurā aprakstīta informācijas sašaurināšanās koncepcija, kuru iesniedza Tishby et. al. runā par “trokšņainu ievades datu atbrīvošanu no svešām detaļām, it kā izspiežot informāciju caur sašaurinājumu” un “saglabājot tikai vispārīgajiem jēdzieniem visatbilstošākās funkcijas”.
Kā samērā jauna koncepcija, informācijas vājās vietas ideja var palīdzēt uzlabot un mainīt to, kā mēs izmantojam ANNs un saistītās sistēmas izziņas funkcijas modelēšanai. Viens no veidiem, kā šī teorija var palīdzēt, ir palīdzēt mums labāk izprast paradigmas, kas atbalsta neironu tīkla funkcijas. Piemēram, ja princips parāda, kā sistēma saglabā tikai noteiktu funkciju kopu, mēs sākam redzēt, kā šī “datu diskriminācija” padara cilvēku smadzenes ar “apelāciju”, un inženieri to var pievienot neironu tīkla modeļiem. Ideja ir tāda, ka galu galā neironu tīkla tehnoloģija kļūs vairāk par “universālu” jēdzienu, ne tikai par maz privileģētu provinci. Pašlaik uzņēmumi meklē ierobežotos AI talantus; tādas teorijas kā informācijas sašaurināšanās teorija var palīdzēt izplatīt zināšanas par neironu tīkliem nespeciālistam un “vidējiem lietotājiem” - tiem, kas varbūt nav “eksperti”, bet var palīdzēt neironu tīkla tehnoloģiju rašanās un izplatīšanā.
Vēl viena svarīga sašaurinātās informācijas vērtība ir tā, ka inženieri var sākt apmācīt sistēmas darboties precīzāk. Dažu augstākā līmeņa sistēmu arhitektūras vadlīniju ieviešana var pilnveidot šāda veida tehnoloģiju attīstību, un tāpēc IT pasaulē vērtīga ir skaidrāka ideja par dziļas mācīšanās principiem.
Kopumā priekšgalā strādājošie AI turpinās īpaši aplūkot, kā darbojas neironu tīkli, ieskaitot ideju par “būtisku informāciju” un kā sistēmas diskriminē funkciju veikšanā. Viens piemērs ir attēlu vai runas apstrāde, kur sistēmām ir jāiemācās identificēt daudzas variācijas kā “objektus”. Parasti informācijas sašaurinājums parāda īpašu skatu uz to, kā neironu tīkls darbotos ar šiem objektiem, un konkrēti, kā šie datu modeļi apstrādā informāciju.
