Bir marotaba taqlid qilishni o'rganish uchun OpenAIning yangi yondashuvi, A.I.ning kelajagi haqida o'ylash

Bir martali taqlid qilishni o'rganish Yan Duan, Marcin Andrychowicz, Bradly C. Stadie, Jonathan Ho, Jonas Schneyder, Ilya Sutskever, Piete Abbeel, Voycex Zaremba

16 may kuni OpenAI tadqiqotchilari o'zlarining loyihalaridan birini video bilan o'rtoqlashdilar, shuningdek, AI rivojlanishining uchta asosiy muammolari: meta-ta'lim, bir marotaba o'qitish va ma'lumotlarni avtomatlashtirilgan yaratish bo'yicha echimlarni o'rganadigan ikkita muhim hujjat. Oldingi postimda men bir martalik o'qishning qiziqarli muammolariga bag'ishlangan maqola berishni va'da qildim, shuning uchun bu erda davom etadi. Siz ularning ajoyib ishlarini tushuntirgan videoni ko'rib chiqishingizdan boshlashingiz mumkin:

Ushbu videoda siz bir qo'lli jismoniy robotlarning bir-birining ustiga kubiklarni yig'ib olganini ko'rasiz. Hozirgi vaqtda sanoat robotlari bajarishi mumkin bo'lgan murakkab vazifalarni bilish, agar tadqiqotchi nima bo'layotganini tushuntirishga harakat qilmasa, ko'p sabablarga ko'ra bu juda qiyinlashadi. Nazorat qilinadigan muhitda vazifa sodda, protseduraviy (qattiq kodli) yondashuvlar ushbu muammolarni allaqachon hal qilgan, bu shovqinli muhitda umumiy ramka bir nechta, yanada murakkab va moslashuvchan xatti-harakatlarning tarqalishiga olib kelishi mumkin.

Odam va undan yuqori hayvonlar o'rtasidagi tafovut, shubhasiz, bir darajadir va turiga bog'liq emas.
- Charlz Darvin

O'xshashlik bilan, ushbu maqola hozirgi AI (fizik tizimlarning sun'iy intellektlari) va 22-asr robotlari o'rtasidagi kognitiv tizimlardagi farqlar turiga qarab emas, balki miqyosli bo'lishiga kuchli dalildir. ImageNet tanlovi * 2012 yildan boshlab, chuqur o'rganish bo'yicha tadqiqotlar jadal rivojlanmoqda, bu neyron tarmog'i tomonidan amalga oshiriladigan taqsimlangan hisoblashning xususiyatini o'zgartirish uchun emas, balki ma'lum bir vazifani o'rganish uchun tarmoqlarni tuzishning yangi usullarini topish orqali. Neyron tarmoq funktsiyasi tuzilishga ega bo'lganligi sababli, ushbu struktura qattiq kodlanmagan (qo'l bilan yaratilmagan), ammo bu kirish va chiqish o'rtasida dastlab ulangan va ularning tuzilishi va ulanishlarini o'zgartira oladigan atom hisoblash birliklarining natijasidir. Tarmoqning umumiy tuzilishini o'zgartirish orqali u ma'lum bir funktsiyani o'rganadi.

Ushbu maqolada ular agentlarni mavhum tarzda vazifalarni ifodalashga o'rgatadigan va bu topshiriqni faqat bitta namoyish namoyishidan keyin (bir marta o'qishni taqlid qilish) o'rganishni yangi ko'rinmaydigan vazifalarga (transfer bo'yicha o'rganish) o'rgata oladigan umumiy asos yaratdilar.

Vazifalar

To'liq arxitektura amalga oshirilishining farqi bo'lsa-da, ular umumiy yondashuvning samaradorligini namoyish qilish uchun ikkita misolni olishadi.

Parchaga erishish

Birinchi misolda tizim samolyotda rangli nishon pozitsiyalari va belgilangan maqsadga boradigan modellashtirilgan agentning bitta video namoyishini oladi.

2-rasm. Robot - bu 2 o'lchovli kuch bilan boshqariladigan nuqta massasi. Vazifalar oilasi maqsadga erishish uchun mo'ljallangan. Belgilangan joyning o'ziga xosligi vazifadan tortib to farqgacha, model esa namoyish asosida qaysi maqsadga erishish kerakligini aniqlashi kerak. (chapda) robotning rasmlari; (o'rtada) vazifa to'q sariq qutiga erishish, (o'ngda) vazifa yashil uchburchakka erishish.

O'qitish paytida tizim bitta vazifani (to'q sariq rangga) yetishi kerak, ammo boshqa konfiguratsiyada, robot va maqsadlar uchun turli xil pozitsiyalar mavjud. Sinov paytida agentni u o'rgatilgan (to'q sariq rangga) yoki u ilgari ko'rmagan vazifasiga (masalan, yashil rangga) yoki ikkalasiga ham sinovdan o'tganmi, aniq emas.

O'qitilgan siyosat yangi stsenariylar bo'yicha baholanadi va mashg'ulotlar davomida ko'rinmaydigan yangi namoyish traektoriyalariga asoslangan.

Agent maqsadli nishonni noyob namoyishdan chiqarib yuborishi va yana boshqa konfiguratsiyadan boshlanishi kerakligi aniq. Bu shuni anglatadiki, aniq vosita ketma-ketligini sinashdan oldin o'rganish mumkin emas edi va vazifa va motorni rejalashtirishning abstraktsiyasi (yuqori darajadagi tuzilgan vakillik) orqali aniqlanishi kerak.

Bloklarni yig'ish

Ikkinchi misolda agent kublarni (turli xil ranglar bilan aniqlangan) bitta simulyatsiya qilingan namoyishda ko'rsatilgan tartibda yig'ishni o'rganishi kerak. Ushbu simulyatsiya qilingan namoyish 3D fizika dvigatelida yaratilgan 2D tasvirlar seriyasidir, unda robotlarning motor va sezgir apparatlari xususiyatlari modellashtirilgan.

Bir martalik siyosat. Yagona siyosat ko'plab vazifalarni hal qilishga o'rgatildi. Top topshiriq: {abc, def}, pastki vazifa: {ab, cd, ef}

Ikkala misolda ham namoyishda va haqiqiy sinovda kublarning boshlang'ich pozitsiyalari farq qiladi, har bir vazifa boshqa boshlang'ich pozitsiyadan boshlanadi. Robot namoyishning boshlang'ich pozitsiyasiga mos ravishda kublarni almashtirishga harakat qilmaydi, u boshlagan joyiga kubni qoqish uchun yuqori darajadagi vazifani bajaradi.

Domenni randomizatsiyalash usulidan foydalanish

Ikkala holatda ham mashg'ulot paytida ishlatilgan barcha rasmlar domen tasodifiylashtirish yordamida simulyatsiya orqali olinadi, bunda ular namunalarning quyidagi qirralarini tasodifiylashtiradi:

Stol ustidagi chalg'ituvchi narsalarning soni va shakli Jadvaldagi barcha ob'ektlarning holati va tuzilishi Jadval, zamin, osmon qutisi va robot teksturalari Kameraning holati, yo'nalishi va ko'rinishi Kamera ko'rinishi Sahnadagi chiroqlar soni Joylashuv, yo'naltirish, va chiroqlarning o'ziga xos xususiyatlari Rasmlarga qo'shilgan tasodifiy shovqin turi va miqdori

Zarrachalarga erishish uchun mashqlar to'plami

Biz tobora qiyinlashib borayotgan vazifa oilalari to'plamini ko'rib chiqamiz, bu erda belgilar soni 2 dan 10 gacha ko'payadi. Har bir vazifa oilasi uchun biz 10000 trayektoriyani yig'amiz, bu erda joylar va nuqta robotining joylashuvi tasodifiylashtiriladi. Namoyishlarni samarali yaratish uchun biz qattiq kodli ekspert siyosatidan foydalanamiz. Hisoblangan harakatlarni atrof-muhitga tatbiq etishdan oldin ularni buzish orqali traektoriyalarga shovqin qo'shamiz va neyron tarmoq siyosatini o'rgatish uchun oddiy xatti-harakatlarni klonlashdan foydalanamiz.

Bloklarni stacking uchun o'quv to'plami

Aniq qilib aytganda, biz 140 ta o'quv topshirig'ini va 43 ta test topshiriqlarini yig'amiz, ularning har biri bloklarning istalgan tartibiga ega. Har bir topshiriqdagi bloklar soni 2 dan 10 gacha o'zgarishi mumkin. Biz mashg'ulot uchun har bir topshiriq uchun 1000 ta traektoriyani yig'amiz va baholash uchun ishlatiladigan traektoriyalar va dastlabki konfiguratsiyalarning alohida to'plamini saqlab turamiz. Zarraga erishish vazifasiga o'xshab, biz traektoriyani yig'ish jarayonida shovqinni kiritamiz. Trayektoriyalar qattiq kodlangan siyosat yordamida yig'iladi.

Muvaffaqiyatli namoyishlar qattiq kodlangan siyosat yordamida yig'iladi

Esda tutingki, to'g'ri traektoriyalar protsessual "qattiq kodlangan" siyosat tomonidan yaratiladi, men ishonaman, tizimni aniqlash va boshqarishning klassik usullariga tayanadi. Shunday qilib, o'quv va sinov paytida agent ikkita kirishga ega: a) A konfiguratsiyasidagi namoyish va b) boshlang'ich konfiguratsiya B. Faqatgina mashg'ulot davomida o'quv algoritmi ideal javobga ega: B konfiguratsiyasidan boshlab traektoriya. muammoga javob beradi va o'quv jarayonida agentning javobi bilan taqqoslanadi - uni nazorat qilinadigan o'quv muammosiga aylantiradi.

Har bir o'quv topshirig'i uchun biz muvaffaqiyatli namoyishlar to'plamining mavjudligini taxmin qilamiz.

Agar tushunarsiz bo'lsa, men keyingi bo'limda turli xil o'rganish paradigmalarining farqlarini ko'rib chiqaman.

Optimallashtirish algoritmi va yo'qotish funktsiyasi

Nazorat ostidagi ta'lim deganda har bir qarorda tarmoq o'zi tanlagan to'g'ri tanlovga va shu sababli xato tushunchasiga ega bo'lishga imkon beradigan o'quv paradigmasi tushuniladi. Masalan, itlar va mushuklar o'rtasidagi tasniflash vazifasida mashg'ulotlar paytida itlar va mushuklarning rasmlari yorlig'i oldindan ma'lum va xatolar darhol aniqlanadi. Shu ma'noda, bu nazoratsiz o'rganishdan farq qiladi, unda umuman agentdan qabul qilingan kirishda noma'lum tuzilmani topish so'raladi va mushuk va itlarning yorlig'isiz har xil ob'ektlarning ikkita klasteri borligini faqat kashf qilish kerak. ma'lumotlar tarkibidagi ma'lumotlar. Reenforement Learning-ning farqi shundaki, o'nlab odamlar real vaqt tizimiga murojaat qilishadi, bunda aniq maqsad aniqlangan ketma-ketlik noma'lum, ammo ketma-ketlik to'g'ri yoki yo'qligini faqat yakuniy "mukofot" hal qiladi. Imitatsion ta'limdan foydalanib, ular klassik mustahkamlash muammosini nazorat qilinadigan o'quv muammosiga aylantiradilar, bunda xato masofadan kuzatilgan traektoriyaga hisoblab chiqiladi.

Nazorat ostiga olingan har qanday o'quv mashg'ulotida bo'lgani kabi, bajarilayotgan vazifa agentning rejalashtirilgan xatti-harakatlardan qanchalik uzoqligini aniqlashga qaratilgan yo'qotish funktsiyasi bilan to'liq belgilanadi. Ushbu funktsiyani aniqlash ko'pincha tanqidiy bosqichdir, chunki u optimallash algoritmlari model parametrlarini qanday yangilashini aniqlaydi. Ushbu algoritmlar hisoblash vaqti nuqtai nazaridan juda muhimdir va ko'pincha, agar ular umuman bo'lsa, birlashishga imkon berishlari uchun bir-biriga urishishni talab qiladi. Darhaqiqat, juda katta o'lchamdagi funktsiyani minimallashtiradigan echimlar parametrlar bo'shlig'ining juda kichik qobig'ida joylashgan bo'lib, ular orasidagi kichik zarba masofasi mavjud, agar siz ushbu kichik domendan uzoqlashsangiz, echimlar orasidagi masofa tez o'sadi. Jennifer Chayes tomonidan ushbu mavzu bo'yicha juda qiziqarli ishlar bor, u "Talking Machines" ning so'nggi qismidagi juda qiziqarli intervyusida ushbu mavzuni yoritadi.

Siyosat tarmoqlarini o'qitish paytida (birinchi kirish qaysi harakatni tanlashni aniqlay oladigan butun tarmoq) ular birinchi bo'lib namoyish traektoriyasini muvaffaqiyatli amalga oshiradilar. Ushbu qism uchun ular ikkita yondashuvni, klassik xulq-atvorni klonlash (ular ishlatilganligiga to'liq ishonch hosil qilishmaydi) va DAGGER algoritmlarini taqqoslaydilar. Bu esa harakatlarni doimiy yoki diskretsion (voqealar ketma-ketligi bo'yicha taqsimlanishiga asoslanib) yoki l2 yoki o'zaro bog'liqlik bilan yo'qotish orqali yo'qotish funktsiyasini iterativ minimallashtirishga imkon beradi. Barcha eksperimentlarda ular Adamax algoritmidan foydalanib, 0,001 o'rganish tezligi bilan optimallashtirishni amalga oshirdilar.

Bosqich o'lchami kichikdan boshlanadi va ekspansion ravishda parchalanadi.

Algoritm o'z-o'zidan o'tkazishga imkon bermaydi, bu sizning mashg'ulot to'plamingizni qanday yaratishingiz va o'tkazishni amalga oshirishga imkon beradigan yo'qotish funktsiyangiz.

Topshiriqning ikkita turi mavjud. Birinchi tur "haqiqat bo'shlig'ini bartaraf etish" deb nomlanadi, bu simulyatsiya qilingan kirishlar bo'yicha mashqlarni tabiiy stimullar bo'yicha sinovlarga o'tkazish imkoniyatini beradigan o'rganishdagi umumlashtirish. Simulyatsiya ma'lumotlari ko'pincha real dunyoning yaqinlashishi bo'lib, juda mukammal va real ob'ektning murakkabligidan mahrumdir. Haqiqiy dunyoda kamera noto'g'ri va shovqinli bo'lishi mumkin, vosita boshqaruvi kamroq aniqlanadi, ranglar o'zgaradi, to'qimalar yanada boyroq bo'ladi va hokazo. Bu birinchi uzatishni amalga oshirish uchun ular "domen tasodifiylashtirish" deb nomlangan usuldan foydalanadilar. : kirishlarga shovqin qo'shish orqali tarmoq real dunyoga mos ravishda umumlashtirishga imkon beradigan umumiy umumiy tuzilmani o'rganishi mumkin. Ular, masalan, o'quv misollari orasidagi kameraning burchagini o'zgartiradilar, to'qimalarni o'zgartiradilar yoki traektoriyalarni unchalik mukammal bo'lmaydilar. Trening paytida shovqin qo'shib, biz mustahkamlikni qo'shamiz.

Bu erda sinovdan o'tgan ikkinchi uzatish - bu boshqa boshlang'ich konfiguratsiyada boshlangan, ammo shunga o'xshash yakuniy maqsadga ega bo'lgan bitta namoyish asosida, oldindan ko'rilmagan konfiguratsiya va maqsadlar to'plamida tegishli vosita ketma-ketligini yaratish qobiliyati. Bu erda yana mashg'ulotni qanday o'tkazishimiz va yo'qotish funktsiyasini modellashtirish orqali amalga oshiriladi. O'qish paytida xuddi shu maqsadga erishish uchun bir xil boshlang'ich shartdan boshlanmaydigan namoyishlarni namoyish etish orqali siz tarmoqqa mutlaq mavqe'lardan foydalanmasdan, shuningdek yuqori darajadagi buyurtmani namoyish qilishni o'rganishga imkon berasiz. oddiy taqlid qilinmaydigan vosita ketma-ketligi. Sodda boshlang'ich arxitektura treningga tegishli tuzilmani o'zgartirishga imkon beradi va bu o'qitilgan struktura yakuniy funktsiyani anglatadi.

Maqsadlar

Bloklarni yig'ish paradigmasi uchun ular bir nechta cheklovlarga ega edilar, ular o'zlarining o'quv agenti bilan uchrashishini xohladilar.

Turli xil bloklarga ega bo'lgan topshiriqlarga murojaat qilish oson bo'lishi kerak.
Tabiiyki, bitta vazifaning turli xil ma'lumotlarini umumlashtirish kerak. Masalan, siyosat {dcba} topshirig'ida yaxshi ishlashi kerak, hatto u hatto {abcd} topshirig'ida o'qitilgan bo'lsa ham.
Unda o'zgaruvchan uzunlikdagi namoyishlar bo'lishi kerak.

Ular ushbu topshiriq uchun javob bermoqchi bo'lgan bir nechta savollarga ega bo'lishdi.

Xarakatlarni klonlash bilan mashg'ulotlarni DAGGER bilan qanday taqqoslash mumkin, agar etarli ma'lumotlarni oflayn holda to'plash mumkin bo'lsa?
Butun ko'rgazmada konditsionerlik oxirgi istalgan konfiguratsiyani konditsioner bilan qanday taqqoslaydi, hatto yakuniy konfiguratsiya vazifani to'liq belgilash uchun etarli ma'lumotga ega bo'lsa ham.
Qanday qilib butun namoyishdagi konditsioner traektoriyani "tez sur'atda" konditsioner bilan solishtirsa bo'ladi, bu eng ma'lumotli ramkalarning kichik qismi.
Bizning tizimimiz mashg'ulotlar davomida hech qachon ko'rmagan vazifalarni muvaffaqiyatli umumlashtira oladimi? (++)
Ushbu usulning hozirgi cheklovlari qanday?

Arxitektura

Parchalarga erishish

Ushbu birinchi misol uchun ular uchta qisqa arxitekturani solishtirishdi - barchasi Long Short Term Memory (LSTM) neyron tarmoqlariga asoslangan. Ushbu tarmoqning ta'rifi kelajakda ham kognitiv, ham hisoblash fanlarida juda qiziq mavzular bo'lgan xotira va e'tibor haqida postda nashr etiladi. Aslida LSTM oldingi tarmoq chiqishlarini (vaqt ichida) har bir yangi vaqt nuqtasida tarmoq kirishining bir qismi sifatida ta'minlaydi, bu esa o'tmishdagi davlatlarning hozirgi holatdan xabardor bo'lishiga imkon beradi (shu sababli ularning qisqa muddatli xotira tarmoqlari nomi). Vaqt ketma-ketliklari (Alexa, Siri va boshqalar) bilan shug'ullanadigan ko'plab zamonaviy texnologiyalarning asosini tashkil etadi.

Bu erda ular uchta o'ziga xos shartlardan foydalanadilar:

  1. LSTM tekisligi: traektoriya va hozirgi holatni uni motorli harakatni keltirib chiqaradigan ko'p qatlamli idrokka etkazish uchun o'rganishni o'rganadi.
  2. LSTM diqqat bilan: traektoriyaning muhim belgilariga nisbatan aniq tasvirni tayyorlang
  3. Diqqat bilan yakuniy holat: oldingi arxitekturaga o'xshash joylar bo'yicha og'irliklarni hosil qilish uchun faqat oxirgi holatni tayyorlashda foydalanish

Bloklarni yig'ish

Aslida, umumiy neyron tarmog'i xaritalashni namoyish va joriy kuzatuvdan tortib tegishli harakatlargacha o'rganishi mumkin bo'lsa-da, biz tegishli arxitekturadan foydalanish muhimligini aniqladik. Bloklarni stackingni o'rganish bo'yicha bizning arxitekturamiz ushbu hujjatning asosiy hissalaridan biridir va biz kelajakda qanday murakkab vazifalarni birma-bir taqlid qilishni o'rganish uchun arxitektura ko'rinishi mumkinligiga ishonamiz.

Diqqat modullari

Maqolani o'rganish uchun ishlatiladigan tarmoqlarning tuzilishini tavsiflashda maqola nisbatan yuqori darajada qolmoqda. Arxitekturaning asosiy tarkibiy qismi bu diqqat moduli, ammo men ishonamanki, ushbu mavzu uchun muhim rolni batafsil ko'rib chiqadigan aniq post kerak. Doimiy diqqatning kognitiv fan tushunchasiga o'xshab, diqqat modullari turli xil makon va vaqt oralig'ida joylashgan tegishli ma'lumotni saqlash va diqqatni jalb qilish uchun ishlatiladi. U vaqt va makonda cho'zilgan axborot tarkibini o'z ichiga olgan qat'iy o'lchamdagi mahsulotni ishlab chiqaradi. Men ishongan matematikaning topologiyasi bo'lgan topologiyaga taqqoslash kelgusida taqsimlangan tasavvurlarni qanday tushunishimiz haqida ma'lumot beradi, diqqat tarmog'i ma'lumotlarning topologik izomorfizmini, bir xil egrilikni, har xil shaklni amalga oshiradi. E'tibor bering, ushbu tarmoq kutilmagan yoki kam uchraydigan hodisalarga e'tibor berishga qodir bo'lgan aniqlik detektori rolini o'ynamaydi, bu nevrologiyada diqqat tushunchasi bilan bog'liq bo'lgan vazifadir.

Bu erda ular diqqat e'tiborining ikkita turidan foydalanadilar: a) xotirada saqlanadigan tarkib (so'rov, kontekst va xotira vektorlari) bo'yicha og'irlikdagi summani ishlab chiqaradigan vaqtinchalik e'tibor tarmog'i va b) bloklarga nisbatan ma'lumotlarni qayta tiklashga qodir bo'lgan yaqin atrofdagi tarmoq. agentning joriy so'roviga qarab pozitsiyalar.

Vaqtinchalik diqqat tarmog'i, c: kontekst vektori, m: xotira vektori, q: so'rov vektori, v: o'rganilgan vektor og'irligi. Chiqish xotira vektori bilan bir xil darajada. Bu xotira vektorining kontekst va so'rovlar vektorlari asosida chiqishiga ko'proq ta'sir qilishiga imkon beradigan o'sha vektorning chiziqli birikmasi.Xuddi shu fikr, fazoviy ma'lumotlar o'rtasidagi raqobat diqqat tizimi tomonidan dinamik ravishda saqlanib kelinmoqda.

Siyosat tarmog'i

To'liq tarmoq uchta turli pastki tarmoqlardan iborat: namoyish tarmog'i, kontekst tarmog'i va manipulyatsiya tarmog'i.

Namoyish tarmog'i namoyish sifatida namoyish traektoriyasini qabul qiladi va siyosat tomonidan ishlatiladigan namoyishning ichki ko'rinishini keltirib chiqaradi. Ushbu ichki qismning o'lchami namoyishning uzunligi va atrof-muhitdagi bloklar soni sifatida to'g'ri ravishda o'sadi.

Bu erda ko'rsatilgandek, namoyish tarmog'i turli xil murakkablik va o'lchamdagi namoyishlarni vazifani ifodalash uchun kontekst tarmog'i tomonidan ishlatiladigan umumiy formatga joylashtirishi mumkin. Umuman olganda, ushbu darajadagi umumlashtirish yuzaga keldi, namoyish namoyish etilishi aniq traektoriya va namoyishlar paytida ko'rilgan mutlaq pozitsiyalar haqida ma'lumot qoldirishi kerak.

Kontekst tarmog'ining tuzilishiga nazar tashlasak, juda yuqori darajadan kelib chiqqan holda, biz namoyishning markaziy vaqtinchalik diqqat modullariga namoyishning joylashtirilishini ta'minlaydigan namoyish tarmog'i bilan interfeysni ko'rmoqdamiz. Bundan tashqari, oldingi harakatlar (LSTM) va joriy holat vosita tarmog'iga yuborilgan global kontekstda ichki qismni ishlab chiqarish uchun namoyish namoyishi bilan birlashtirilgan kirish sifatida berilganligini ko'ramiz.

Ularning tarmoq funktsiyalari tavsifi menimcha qog'ozning eng muhim qismidir:

Kontekst tarmog'i so'rovlar vektorini joriy holatning funktsiyasi sifatida hisoblash bilan boshlanadi, undan keyin namoyish namoyishida turli vaqtlarda qatnashishda foydalaniladi. Bir vaqtning o'zida har xil bloklardagi e'tiborning og'irligi bir vaqtning o'zida bitta qadam uchun bitta og'irlik hosil qilish uchun birlashtiriladi. Ushbu vaqtinchalik e'tiborning natijasi, vektor bo'lib, uning hajmi atrof-muhitdagi bloklar soniga mutanosibdir. So'ngra ma'lumotni har bir blokning ichki qismiga tarqatish uchun mahalla e'tiborini jalb qilamiz. Ushbu jarayon bir necha bor takrorlanadi, bu erda vazni aniqlanmagan LSTM katakchasidan foydalangan holda holat yaxshilanadi.
Oldingi operatsiyalar ketma-ketligi ichki namoyish hajmiga bog'liq bo'lmagan, lekin bloklar soniga bog'liq bo'lgan ishlab chiqarishni keltirib chiqaradi. Keyin biz o'lchovli vektorlarni ishlab chiqarishda standart yumshoq e'tiborni jalb qilamiz, bu erda xotira tarkibi faqat har bir blokning pozitsiyasidan iborat bo'ladi, bu esa robotning holati bilan birgalikda manipulyatsiya tarmog'iga kirishni hosil qiladi.
Intuitiv ravishda, atrof-muhitdagi ob'ektlar soni har xil bo'lishi mumkin, ammo manipulyatsiya operatsiyasining har bir bosqichida tegishli ob'ektlar soni kichik va odatda sobit bo'ladi. Xususan bloklarni yig'ish muhiti uchun robot faqat uni olishga harakat qilayotgan blokning (manba bloki) pozitsiyasiga, shuningdek uning ustiga o'rnatmoqchi bo'lgan blokning holatiga e'tibor berishi kerak. maqsad blok). Shuning uchun, to'g'ri o'qitilgan tarmoq hozirgi holatni namoyishning tegishli bosqichiga moslashtirishni o'rganishi mumkin va turli bloklarga nisbatan yumshoq diqqat e'tiborlari sifatida ifodalangan manba va maqsadli bloklarning identifikatorlarini keltiradi, ular keyinchalik tegishli pozitsiyalarni olish uchun ishlatiladi. manipulyatsiya tarmog'iga o'tish.

Ularning tavsifini tugatish usuli hozirgi kunda AI tadqiqotlarining ekspert tizimidan o'rganish tizimiga yondashuvga o'tishining mukammal namunasidir va miya quyida qanday rivojlanganligi haqida munozarada yordam beradi.

Garchi biz ushbu talqinni o'qitish jarayonida qo'llamasak ham, bizning tajriba tahlilimiz o'rganilgan siyosat ichki tartibda qanday ishlashini tushunishni qo'llab-quvvatlaydi.

Ular qanday ishlashini bilishmaydi! Ular ma'lum hisoblashlarni amalga oshira oladigan va biz a-priori foydali deb hisoblagan ba'zi ma'lumotlarni saqlashga qodir bo'lgan tuzilmani qurishadi va uni butun struktura o'rganadigan umid bilan mashg'ulotlar to'plamiga berishadi! Sun'iy intellektni rivojlantirish bo'yicha o'ziga xos ilmiy izlanishlar mavjud, badiiy, evristik qidiruvni to'g'ri yo'nalishga yo'naltirish usuli. Va bu sehrgarlarning ko'pi endi OpenAI uchun ishlayotganga o'xshaydi.

O'z so'zlari bilan aytganda, manipulyatsiya tarmog'i eng sodda tuzilma bo'lib, kontekstga kiritishdan tortib ko'p qavatli idroktronga qadar vosita harakati ishlab chiqariladi.

Natijalar

Ko'pincha natijalar men uchun juda kam qiziqish uyg'otadi, ayniqsa, juda ajoyib texnik hujjatlar uchun. Men tezda, pastki chiziqdan boraman, chunki bu yondashuv ishlaydi, u qat'iy ekspert siyosatiga o'xshash aniqlik bilan amalga oshiriladi va aniq protsessual yondashuvdan farqli o'laroq, ko'plab vazifalarni umumlashtiradi.

Parchalarga erishish

Bloklarni yig'ish

Ushbu tajribalarda ular turli xil sharoitlarni sinab ko'rishdi. DAGGER-dan foydalanib, namoyish qilingan traektoriyani qismlarga ajratish orqali uchta turli xil kirish holatini taqqoslashdi: to'liq traektoriyalar, traektoriyaning surati yoki faqat oxirgi holat. Ular, shuningdek, Xulq-atvorni klonlash algoritmini namoyishning to'liq traektoriyasi bilan taqqoslashdi.

Tizimning kub identifikatsiyasini umumlashtirishga qodirligining kuchli isboti

Munozara

So'nggi bir necha oy ichida OpenAI tomonidan erishilgan tezkor yutuqlarni o'qib chiqib, men ularning ishi haqida gapirishga va o'zlarining ishlariga ishongan narsalarim va umuman AI sohasidagi yutuqlar haqida fikrlarimni o'rtoqlashishga intilishni kuchaytirmoqdaman. biologik miyalar ishlaydi. Xususan, odamlar o'rtasida ko'rinadigan bir-biriga o'xshash kognitiv funktsiyalar vazifani qanday bajarishni biladigan umumiy tuzilma tufayli emas, balki xuddi shu muhitga duch kelgan nisbatan o'xshash sodda tuzilmalar natijasidir, degan fikrning ortib borishi. shunga o'xshash vazifalarni bajarishni o'rganing. Funktsiya funktsional bo'lmagan strukturaning natijasi bo'lib, u faqat vazifani mahalliy sharoitda bajara oladigan emas, balki ma'lum bir muhit tufayli ma'lum bir vazifani o'rganishga qodir, atrof-muhitga moslashish uchun bir nechta parametrlarni kiritib yuboradi.

Konfiguratsiyalarga qarshi vazifalar: aftidan o'zboshimchalik bilan ta'rif

Tan olishim kerak, men nima uchun ular qanday qilib turli xil vazifalar haqida gapirishni tanlaganliklarini tushunmayapman. Topshiriq blokirovkalash tajribasida bir-biriga nisbatan bloklarning joylashuvini bildiruvchi satrlar to'plami sifatida belgilanadi, to'plamdagi elementlar soni bloklar sonini va bloklar sonini belgilash kerak bo'lgan bloklar sonini belgilaydi. . Keyinchalik vazifa - ustunning mutloq holatidan qat'i nazar, ustunlarni bloklarga joylashtirish.

Ba'zi bloklar stolda bo'lishi mumkin, ammo vazifaning bir qismi emas

Ularning nisbiy pozitsiyasi va ustunlar sonini alohida vazifalar uchun mezon sifatida belgilashi ularning ixtiyoriyligi kabi ko'rinadi. Darhaqiqat, bloklarning mutlaq boshlang'ich pozitsiyalariga (ular konfiguratsiya deb nomlanadigan narsalar) asoslangan turli xil vazifalar haqida gapirish mantiqiy bo'lishi mumkin. Menimcha, muammoning umumiy tabiati ular uchun yaqqol ko'rinib turibdi, ammo aniqlik uchun ular tafsilotlarni bilmaslikni afzal ko'rishadi. Siyosat o'rganishni umumlashtirishning ikki turi, keyinchalik keyinchalik qanday amalga oshirilganligi kabi ajratish mantiqiy bo'ladi.

Esda tutingki, umumlashtirish bir necha darajalarda baholanadi: o'rganilgan siyosat nafaqat yangi konfiguratsiyalar va ko'rib chiqilgan vazifalarning yangi namoyishlarini umumlashtirish, balki yangi vazifalarni ham umumlashtirish kerak.

Faqat "vazifalarni" "stack buyurtma" bilan almashtiring. Vazifani to'g'ri o'rganish bu agentning kublarni (konfiguratsiyaning) mavqeini mavhumlashtira oladigan ichki o'rnatishni, shuningdek ularning kimligi (vazifasi), ustunlar soni (vazifa) va namoyishning traektoriyasini o'rganishini anglatadi (qisqacha tanishtirilgan taklif) tegishli vosita javobini berish uchun.

Ushbu umumlashmalar bir-biriga zid bo'lib tuyuladi, qanday qilib bir xil tarmoq kubning boshlang'ich konfiguratsiyasini yoki kimligini mavhumlashtirishi mumkin va shu bilan birga vosita javobi uchun mutlaq mavqeini qanday tiklaydi?

Bu o'rganish, turli xil kirishlarni qabul qilish paytida turli xil kooperativ quyi tarmoqlarga ehtiyojni tushuntiradi va kontekst tarmog'ida vazifaning mavhum namoyishi tushadigan buyruq oldidan quyi tartibdagi ma'lumotlarga, mutlaq mavqega ega bo'lishini tushuntiradi.

Siz vazifa va konfiguratsiyaning ushbu farqini sharhlash bema'nilik deb o'ylashingiz mumkin, ammo mohiyatan turli ob'ektlarda o'ynashda bir xil mavhumlik jarayoni ekanligini tushunish kerak (va bu keyingi qism uchun ochiladi).

Ta'sir qilmasdan o'rganish bo'lmaydi

Transferli o'rganish - bu in-in-in-in-in-in-in-in-in-in-inivo bo'lishidan qat'i nazar, bu eng qiziq tushunchadir, bu AI tadqiqotchilari va nevrolog olimlar uchun juda qizg'in mavzu bo'lib, mening doktorlik dissertatsim mavzusi bo'lib qolmoqda. E'tibor bering, yaqindan bog'liq kontseptsiyalar mashinani o'rganishdan oldin ko'plab sohalarda o'rganilgan va bu mavhum va har doim qisman aniqlangan kontseptsiya juda ko'p nomlarga ega. Buni faylasuflar, antropologlar va sotsiologlar (Post-Strukturalizm) deb atashlari mumkin (Klod Levi-Shtraus, Mishel Fuko), tilshunos Syntagma va nested daraxt tuzilishi (Noam Xomskiy) haqida gapiradi, matematiklar, ehtimol, gomeomorfizm yoki invarianliklar va ta'lim haqida o'ylashadi. tadqiqotchilar yoki nevrologlar buni Strukturaviy o'rganish deb atashlari mumkin. Shuningdek, siz mashinasozlik sohasida tegishli tushunchani ko'rishingiz mumkin, masalan, tasviriy o'qitish va meta-ta'lim, muallifga bog'liq holda uzatishni o'rganish yoki uzatish bo'yicha o'qishda qo'llaniladigan paradigma. Chuqur neyron tarmoqlari haqida gap ketganda, bu farqlar noaniq bo'ladi, chunki aslida asabiy tarmoq ma'lum bir muammoni (vakillik o'rganish) uning tuzilishini (meta-ta'lim) o'zgartirish orqali odatda shovqinli muhitga o'tkazishni o'rganadi.

AI tadqiqotchilari va kognitiv olimlar ko'pincha translyatsion ta'limning aniq ta'rifiga ega, bu tizimga ma'lum bir vazifada olingan bilimlarni umumiy kompozitsion tuzilmani almashish uchun boshqa vazifani bajarish uchun foydalanishga imkon beradigan jarayon (maqolada aytib o'tilganidek). Kognitiv fan, ikkita vazifa bir-biridan qanchalik farq qilayotganiga qarab, yaqin va uzoq o'tish haqida tushunchaga ega. Ammo mavhumroq nuqtai nazardan, shovqinli va murakkab muhitda, barcha ta'lim uzatishning o'qitish shakli bo'lib, juda yaqin va juda uzatma o'rtasidagi farq faqatgina ma'lumot almashish masalasidir - yana tabiat miqyosidagi masala.

Nazorat qilinadigan muhitda voqelikni kodlangan diskretizatsiyalashni oldindan amalga oshirish uchun harakatlar olib boriladi, lekin aslida bu diskrisizatsiya ta'limni qanday amalga oshirayotganini aks ettiradi, haqiqatda topilgan cheksiz holatlar to'plamini keng qamrovli tuzilma ostida birlashtiradi. Transfer Learning mohiyati to'g'ridan-to'g'ri yoki jarayonning kengayishi bilan o'quv agentlari dunyo modellarini yaratish uchun invariantlardan foydalanadilar. Bu bir-biriga o'xshashlik, takrorlash va o'zgaruvchanliklardan foydalanadigan, tobora mavhum va kompozitsion vakillikni shakllantirish uchun foydalaniladi, bu kirish orqali o'zgaruvchanlik oralig'ida ansambllarni tashkil qiladi. Umuman olganda, bu asosiy operatsiyalarni yaratishga imkon beradi, ular orqali biz ma'lumot guruhlarini boshqaramiz, matematikada bo'lgani kabi, bu ham birlashuv va chorrahalar uchun imkon beradi. Bu identifikatsiyalashga imkon beradi, bu ob'ektlarni toifalash qobiliyatimizni ochib beradi. Josh Tenembaum menga haqiqatan ham aytilgan misolni keltiradi: siz ikki yoshli bolaga birinchi marta otni tanib olishni o'rgatayotganingizni tasavvur qiling, unga turli xil otlarning bir juft rasmini ko'rsating va keyin unga boshqa otning rasmini ko'rsatasiz va uyning rasmini oling va undan qaysi biri ot ekanligini aytib berishini so'rang. Bola bu vazifani juda oson bajara oladi, ammo bu hali ham kompyuter juda oz sonli kirishlar bilan yaxshi bajara olmaydi (bir martalik o'qitish).

Bola buni qanday qildi?

Bolalarda hayvonlarning tan olinishi o'rganildi va ob'ektlarni tegishli qismlarga ajratish qobiliyatimiz, mo'ynaning rang oralig'i, bo'yin kattaligi, umumiy shakli va hokazolar bilan bog'liq. Bu qobiliyat sizga eshikni ochishga imkon beradigan narsadir. ilgari hech qachon ko'rmagansiz, siz har qanday vaziyatni umumlashtiradigan vosita ketma-ketligini o'rgangansiz (domenlarni umumlashtirish). Shuningdek, dunyoni soddalashtiradigan tushuntirish modellarini yaratishda foydalanadigan narsangiz, dastlab Shveytsariyaning mashhur soatida kukuning to'satdan paydo bo'lishi sizni hayratga solishi mumkin, ammo ikkinchi bor paydo bo'lgandan keyin siz buni kutasiz. O'zgaruvchanlikni topish - bu neyron tarmoq qanday o'rganishi va ushbu modellar ongsiz ravishda qurilganligi. Masalan, fizika haqida matematikani va raqamlarni eshitmasdan ham intuitiv ravishda o'rganishimizga misol.

Masalan, mikro-tortishish holatida tug'ilgan bola erning tortish kuchiga qanchalik tez moslashishi va ob'ektlar yiqilib tushganda erga tushishini intuitiv ravishda o'rganishi mumkinmi?

Go'daklar va ko'pchilik hayvonlar o'zlarining modellarini ongsiz ravishda qayta ko'rib chiqadilar deb taxmin qilishimiz mumkin, masalan, siz itning panjasiga paypoq qo'yganingizda va yangi ma'lumotlarga moslashish uchun biroz vaqt kerak bo'ladi.

Ammo yosh bola uchun ongli ravishda so'roq qilish va uning intuitiv modelini qayta ko'rib chiqish qiziquvchanlikdan kelib chiqib, til, ramzlar va e'tiqodlar orqali amalga oshiriladi. Bizning ongli ravishda so'roq qilish va modellarimizni o'zgartirish qobiliyatimiz juda hayratlanarli va sidenot sifatida, odamlar bu jarayonni og'zaki muhokama qila oladigan yagona tur bo'lishi mumkin, ammo boshqa turlar ham shu kabi ongli ravishda qayta ko'rib chiqishlari mumkin.

Inversion vaqtning majburiy xususiyati, agar hamma narsa doimo yangi va oldindan aytib bo'lmaydigan bo'lsa, hamma narsa doimo yangi va oldindan aytib bo'lmaydigan noyob invariant bo'lib qoladi. Taassurotsiz dunyoni tasavvur qilishning iloji yo'q, chunki unga murojaat qiladigan dunyo bo'lishi mumkin emas edi, invarsiz hayot imkonsiz va bizning miyamiz befoyda edi. Hayot - bu shunchaki hodisalarni oldindan aytib berish, sabab va oqibatlarni takrorlash, organizmga energiyani tsiklli qayta tiklash orqali ishlaydigan mashina. Hayotning zarur tsikllardan foydalanishni yaxshilashga intilishida bizning miyamiz eng zarur vositadir. Bu bashorat qiluvchi mashina, takroriylikni dinamik ravishda topa oladigan va undan dunyo bilan yanada yaxshiroq aloqada bo'lish uchun foydalanadigan moslashuvchan organ.

Hayot tanlagan bu usul strukturadagi ozgina o'zgarishlarga nisbatan o'ta mustahkamdir. Dunyo, atrof-muhitning statistik xususiyatlari bir xil bo'lib qolaveradi, ammo u bilan duch keladigan neyron tuzilishi, davolash uchun rivojlangan ma'lumotni kiritishi mumkin bo'lgan vaqtgacha o'zgarishi mumkin. Bu bizning miyamiz nima uchun odamdan individualga, hatto birlamchi kortekslarga ham shunchalik farq qilishi mumkinligini va shu bilan bir xil funktsiyalarni bo'lishishini tushuntiradi.

Nerv tizimlari moslashadi, ular xatti-harakatni tegishli usullar bilan o'zgartirish uchun evolyutsiya va sekin genetik mutatsiyalarga muhtoj emaslar. C. Elegansda bo'lganlar kabi oddiy asab tizimi tug'ma ichki muvofiqlashtiruvchi va tashqi sensor vazifasini bajaradi: ovqatni his qiling va unga qarab harakatlaning, og'riqdan qoching, ko'paying. Dastlabki oddiy tizimlar qattiq edi va juda shovqinli dunyomizni mumkin bo'lgan holatlarda (chapdagi oziq-ovqat, pastda issiqlik va hokazo) ajratish uchun juda yaqin bo'lgan. Bizning motor va sezgi qobiliyatlarimiz asab tizimimizni bashorat qilish qobiliyatlari bilan birgalikda rivojlandi. Datchiklarimiz aniqroq bo'lgandan so'ng, asab tizimi asta-sekin ma'lumotni saqlash va tajribadan o'rganish uchun o'z tuzilishini o'zgartira oldi. Dastlab u ba'zi turdagi toifalarni, masalan hidlar yoki yorug'lik naqshlarini tanib olishni o'rganishga imkon berdi, shuningdek, tobora murakkablashib borayotgan vosita tizimini boshqarish uchun sinov va xatolar orqali o'rganishga muvaffaq bo'ldi. E'tibor bering, dunyo shunchalik murakkabki, bizning miyamiz tabiiy protsessual yondashuvga emas, balki o'rganish paradigmasiga qarab rivojlandi. Hisoblash natijasida bu juda yaxshi ma'noga ega, Go ning oddiy o'yini koinotdagi atomlar sonidan (10 ⁸⁰) ko'ra davlat kosmosiga (2.10 larger) kattaroqdir va organizmlar murakkablashishi bilan barcha mumkin bo'lgan yaqinliklarni kodlash uchun harakat qilishadi. kombinator portlashi tufayli uni tezda olish qiyin bo'lgan holatlarga olib keladi.

Ba'zi odamlar bizning miyamiz shunday tuzilganki, u mutlaqo evolyutsiya qiladigan makonni, DNKda biron bir joyda yuzni tashkil etuvchi gen yoki tovush to'lqinlarining vaqtincha tashkil etilishini anglatadi. up so'zlar. Ular bu tug'ma bilim biron bir joyda tug'ilganda kodlanganiga ishonishlari mumkin. Boshqalar, men o'rta maktabda bo'lganimda, mening falsafa o'qituvchim kabi, mavjudlik mohiyatdan ustundir va bizning miyamiz organizm va olamning uchrashishi bilan to'liq va aniq belgilanadi, degan fikrga ishonishlari mumkin. Voqelik, albatta, yanada murakkabroq va shu paytgacha o'rganilgan telensefalik tizimlarning aksariyati uchun miya g'ayritabiiy funktsiyani kodlamaydi, lekin uni kiritilgan ma'lumotlarga qarab bilib oladi. Agar kirish tegishli ma'lumotlarda juda yomon bo'lsa, ushbu tuzilishda o'rganish qobiliyati muddati tugashi mumkin (masalan, Ambliyopiya). Ammo tug'ma tuzilish oxirgi funktsiyani kodlay olmasa, miya o'ziga xos tuzilishga ega. Ushbu struktura jismoniy shaxslar orasida saqlanib kelinmoqda va bir xil turga mansub shaxslar umumiy funktsiyalar va disklarni birlashtiradilar. DNK ma'lum bir tuzilishni o'rnatdi, bu o'zlarining oxirgi funktsiyalarini bemalol bajara olmaydigan tuzilma, lekin individual tajribaga asoslangan aniq vazifalarning murakkabligini o'rganishga qodir bo'lgan struktura. Evolyutsiya miyani tananing qolgan qismidan ajratib turadigan yuqori samarali qon-miya to'siqni paydo bo'lishiga olib keldi, shu bilan menenes va uni tashqi dunyodan himoya qiladigan qattiq suyak qobig'i paydo bo'ldi, chunki bu boshqa organlardan farqli o'laroq. struktura genomda kodlangan, o'qitilgan miyaning tuzilishini g'ayrioddiy saqlangan modeldan tiklash mumkin emas. Qizig'i shundaki, biz bir xil o'rganish mexanizmlarini tobora murakkab vazifalarni bajaradigan tobora murakkab chuqur tarmoqlarni yaratish orqali vujudga kelganimiz.

Tarkibiy tuzilmalarni ko'rish qiyin, lekin hamma joyda

Shunisi ajablanarliki, g'alati narsa, hatto mualliflar ham maqsadga erishishning birinchi vazifasi kompozitsion tuzilishga ega ekanligini bilishmaydi.

Vazifalarga erishgan zarra sodda stsenariyda umumlashtirishdagi qiyinchiliklarni yaxshi namoyish etadi. Shu bilan birga, vazifalar yangi vazifalarni umumlashtirishni baholashni qiyinlashtiradigan tarkibiy tuzilmani taqsimlamaydi.

Garchi struktura haqiqatan ham bloklarni yig'ish darajasidan pastroq bo'lsa va eksperimental manipulyatsiyani amalga oshirishga oson bo'lmasa-da, vazifa, albatta, umumiy strukturadan iborat. Dunyoga tekislikka yaqinlashganda bitta kompozitsion tuzilish shundan iboratki, kubning o'ziga xosligi (rangi) tarjima bilan saqlanib qoladi va A blokidan yoki tasodifiy boshlang'ich pozitsiyasidan (Xa1, Ya1) V holatida (Xb1, Yb2) V blokiga o'tadi. ) A blokdan (Xa2, Ya2) B holatida (Xb2, Yb2) B blokiga o'tishga qaraganda bir xil yuqori darajadagi tuzilish tarkibiga kiradi.

Tarmoqlar orasidagi interfeyslar

Turli xil abstraktsiya darajalarida ma'lumotlarga ishlov bera oladigan neyron tarmoqlarni yaratish uchun interfeyslar kerak bo'ladi, deb o'ylayman, bu domenni topish uchun juda ko'p vaqt qoldi. Bunday interfeyslar ko'p sonli tabiatga ega bo'lishi mumkin. Ular, masalan, maqolada ko'rsatilgandek, ikkita tarmoq o'rtasidagi umumiy til sifatida qaralishi mumkin, diqqat tizimlari bilan qurollangan quyi darajadagi tarmoq (namoyish tarmog'i) namoyishni boshqa tarmoq vakolatxonasida (kontekst tarmog'i) tarjima qilishi mumkin. namoyishning uzunligi yoki boshlang'ich konfiguratsiyasidan qat'iy nazar harakatga yo'naltirish.

Ushbu tilning yuzasi bu erda o'lchamga ega tekislikdir, lekin tarmoq orasidagi aloqani yaxshilashga imkon beradigan o'zgarishlarni tasavvur qilish mumkin. Masalan, sirt o'lchami dinamik ravishda o'sishi yoki qisqarishi uchun o'rnatilishi mumkin, chunki o'rganish jarayonida tarmoqlar o'zaro ta'sirlashadi, shu sababli til murakkabligini siqadi yoki kengaytiradi. Masalan, biz aloqa orqali, masalan, o'zaro aloqa orqali yanada dinamik shovqinlarni tasavvur qilishimiz mumkin. Biz parallel tarmoq sifatida mavjud bo'lgan, ikkinchi tarmoqning kirish va chiqishiga asoslanib, birinchi tarmoqning kirishini modulyatsiyalashni o'rganadigan tarmoqlarning mavjudligini tasavvur qilishimiz mumkin. Biz bir nechta ixtisoslashgan tarmoqlarga tonik (sekin o'zgarib turuvchi) rolini o'ynaydigan murakkab kontekst tarmoqlarini tasavvur qilishimiz mumkin ... Kelgusidagi qiziqarli tadqiqot sohasi!

Muvaffaqiyatsiz holatlar yangi modullar uchun mumkin bo'lgan rollarga ishora qiladi

Shuni ta'kidlash kerakki, xatolar ko'pincha vosita xatolaridan kelib chiqadi va vazifalar murakkabligi bilan xatolar soni ko'payadi.

Dvigatel funktsiyasi faqat maqsadlar sonini ko'paytirish bilan yomonlashmasligi kerak, bu ko'paytirish tarmog'ining vosita tarmog'i bilan gaplashishni o'rganishi juda mavhum ekanligining kuchli dalilidir. Bu juda g'alati, chunki ular o'zlarining testlari shuni ko'rsatadiki, kontekst tarmog'i va motor tarmog'i o'rtasidagi interfeys nisbatan aniq (robotning pozitsiyasi, nishon pozitsiyasi).

Mumkin echim bo'lishi mumkin, chunki bu modulli arxitektura bo'lib, turli xil yo'qotish funktsiyalari yoki vazifalarning har bir jihatini aks ettiruvchi modulli yo'qotish funktsiyalaridan foydalanish mumkin. Bundan tashqari, miya motorining old qismlariga namoyish orqali sug'urta qilish va kontekst tarmog'i vosita buyrug'ini yomonlashtirmasdan mavhum qolishi mumkin. Eng yaxshi vosita buyrug'ini tanlash uchun premotor mintaqalar ob'ektlarni maqsadga (mavhum tarmoqlardan) va sensorli kirishga qarab yaxshiroq aniqlashlari kerak. Ko'rinib turibdiki, kontekst tarmog'i namoyishni yanada yuqori darajadagi ichki qismga o'tkazishga va bir vaqtning o'zida joriy kontekstda vosita harakatlarini tayyorlashga harakat qilmoqda. Dvigateldan oldingi tarmoqning vazifasi vosita tizimi bilan tezkor moslashuv uchun premotor va serebellum funktsiyalarini o'zida mujassam etgan maqsadga yo'naltirilgan va moslashuvchan tarzda aloqa tizimini o'rganishni o'z ichiga oladi.

Moravecning paradoksidagi qiziqarli nazariya shundan iboratki, u hisoblash soliqqa tortiladigan yuqori darajadagi bilim emas, balki sezgir kirishlar va motor tizimlarining chiqishlarini davolashdir. Bu, haqiqatan ham, miya qon aylanishida mavjud bo'lgan neyronlarning (miyamizning qolgan qismiga qaraganda) moslashuvchan ravishda motor harakatlarini boshqarish uchun olib kelishi mumkin. Ushbu paradoks bir muncha vaqt (80-yillar) tomonidan ishlab chiqilgan edi, biz hali ham o'z bilimlarimizni nazoratsiz shovqinli muhitda murakkab vazifalarni bajarish uchun mashinaga kiritamiz deb ishongan edik. Albatta, bu paradoks, agar biron bir tarzda mashina dunyoni alohida davlatlar to'plamida namoyish eta oladigan bo'lsa, unga yuqori darajadagi funktsiyani yaratish osonroq bo'ladi. Ammo men ishonamanki, ikkalasi ham juda soliqqa tortiladi va tarmoqlar orasidagi interfeysda ishlatiladigan ichki vakillik bizning ongli vakolatxonamizga o'xshash narsadan uzoq bo'ladi.

Xulosa

Muammoni muayyan davolash uchun javobgar bo'lgan har xil neyron tarmoqlarni birlashtirib, ushbu maqola umumlashtirishni talab qiladigan vazifani yaratish va domen tasodifiy tasnifi, xotira va ma'lumotlarga ega neyron tarmoq orqali tegishli o'quv muhitini yaratish orqali ko'rsatiladi. diqqat tizimi oddiy ko'payishdan tashqari umumlashtirishni o'rganishi mumkin. U ma'lumotlarning vizual oqimida faqat bir marta namoyish qilingan yuqori darajadagi maqsadni kashf qilishni o'rganishi mumkin va ushbu maqsadni boshqa kontekstda qayta ishlab chiqishga qodir bo'lgan tegishli harakatlarni tiklash uchun umumlashtirilgan maydonda hisoblashni amalga oshiradi.

Kelgusida biz ushbu atom bloklari ustiga qurilgan murakkab komplekslarni ko'rmoqdamiz, murakkab vazifalarni umumlashtirishni o'rgana olamiz, lekin eng muhimi, yangi sharoitlarda bunday vazifalarni bir nechta bajarishda, kirishni qayta ishlash yoki qattiq kodlangan usullarga kam ishongan holda bajaramiz. xotira saqlash. Xotira xotirasi xotira tarmog'i bo'ylab tarqatilgan vakilliklar bilan almashtiriladi, diqqat markazlari real vaqtda diqqat markazlarida siklik faoliyat bilan almashtiriladi. Kuchli ketma-ket texnologiyani (Turing mashinalari) ko'milgan tizimda taqsimlangan hisoblangan kompyuterga bo'lgan ishonchimizga qanday moslashtira olishimiz bilan bog'liq savol qoladi.