Programabilni otpornici ključni su građevni blokovi u analognom dubokom učenju, baš kao što su tranzistori ključni elementi za digitalne procesore. Ponavljanjem nizova programabilnih otpornika u složenim slojevima, istraživači sada mogu stvoriti mrežu analognih umjetnih "neurona" i "sinapsi" koje izvršavaju proračune poput digitalne neuronske mreže. Ta se mreža zatim može osposobiti za postizanje složenih zadataka umjetne inteligencije poput prepoznavanja slika i obrade prirodnog jezika. 

Multidisciplinarni tim istraživača s MIT-a krenuo je pomaknuti ograničenja brzine vrste analogne sinapse koju su izradili ljudi koju su prethodno razvili. Iskoristili su praktičan anorganski materijal u procesu izrade koji njihovim uređajima omogućuje rad milijun puta brži od prethodnih verzija, što je također oko milijun puta brže od sinapsi u ljudskom mozgu. 

Štoviše, ovaj anorganski materijal čini otpornik iznimno energetski učinkovitim. Za razliku od materijala korištenih u ranijoj verziji njihovog uređaja, novi materijal je kompatibilan s tehnikama izrade silicija. Ova je promjena omogućila izradu uređaja na nanometarskoj razini i mogla bi utrti put integraciji u komercijalni računalni hardver za aplikacije dubokog učenja. 

"S tim ključnim uvidom i vrlo moćnim tehnikama nanofabrikacije koje imamo na MIT.nano, uspjeli smo sastaviti ove dijelove i pokazati da su ti uređaji suštinski vrlo brzi i rade s razumnim naponima", izjavio je stariji autor Jesús A. del Alamo, Donner profesor na MIT-ovom Odsjeku za elektrotehniku ​​i računarstvo (EECS). Donner profesor je titula za predavača koji je držao jednu od 5 katedri (znanstvenih) koju financira Zaklada William H. Donner. "Ovaj rad doista je ove uređaje doveo do točke u kojoj sada izgledaju stvarno obećavajuće za buduće primjene." 

“Radni mehanizam uređaja je elektrokemijsko umetanje najmanjeg iona, protona, u izolacijski oksid kako bi se modulirala njegova elektronička vodljivost. Budući da radimo s vrlo tankim uređajima, mogli bismo ubrzati kretanje ovog iona korištenjem jakog električnog polja i gurnuti te ionske uređaje u nanosekundni režim rada,” objašnjava stariji autor Bilge Yildiz, profesor Breene M. Kerr na odjela za nuklearnu znanost i inženjerstvo i znanost o materijalima i inženjerstvo. 

"Akcijski potencijal u biološkim stanicama raste i pada s vremenskom skalom od milisekundi, budući da je razlika u naponu od oko 0,1 volta ograničena stabilnošću vode", kaže stariji autor Ju Li, profesor nuklearne znanosti i inženjerstva Battelle Energy Alliance i profesor znanosti o materijalima i inženjerstva, “Ovdje primjenjujemo do 10 volti preko posebnog čvrstog staklenog filma debljine u nano razmjeru koji provodi protone, bez trajnog oštećenja. A što je polje jače, to su ionski uređaji brži.” 

Ovi programibilni otpornici uvelike povećavaju brzinu kojom se tretira neuronska mreža, dok drastično smanjuju troškove i energiju za izvođenje tog učenja. To bi moglo pomoći znanstvenicima da mnogo brže razviju modele dubokog učenja, koji bi se zatim mogli primijeniti u upotrebama kao što su samovozeći automobili, otkrivanje prijevara ili analiza medicinske slike. 

“Jednom kad budete imali analogni procesor, više nećete trenirati mreže na kojima svi drugi rade. Uvježbavat ćete mreže s neviđenom složenošću koju si nitko drugi ne može priuštiti i stoga ćete ih sve znatno nadmašiti. Drugim riječima, ovo nije brži automobil, ovo je svemirska letjelica,” dodaje glavni autor i postdoktorant MIT-a Murat Onen. 

Koautori su Frances M. Ross, profesorica Ellen Swallow Richards na Odjelu za znanost o materijalima i inženjerstvo; postdoktoranti Nicolas Emond i Baoming Wang; i Difei Zhang, diplomirani student EECS-a. Istraživanje je objavljeno danas u časopisu Science.

Ubrzavanje dubokog učenja 

Analogno dubinsko učenje je brže i energetski učinkovitije od svog digitalnog pandana iz dva glavna razloga. "Prvo, računanje se izvodi u memoriji, tako da se ogromne količine podataka ne prenose naprijed-natrag iz memorije u procesor." Analogni procesori također izvode operacije paralelno. Ako se veličina matrice proširi, analognom procesoru ne treba više vremena za dovršenje novih operacija jer se sve izračune odvijaju istovremeno. 

Ključni element nove analogne procesorske tehnologije MIT-a poznat je kao protonski programabilni otpornik. Ovi otpornici, koji se mjere u nanometrima (jedan nanometar je milijardni dio metra), raspoređeni su u niz, poput šahovske ploče. 

U ljudskom mozgu učenje se događa zbog jačanja i slabljenja veza između neurona, zvanih sinapse. Duboke neuronske mreže odavno su usvojile ovu strategiju, gdje se težine mreže programiraju pomoću algoritama za obuku. U slučaju ovog novog procesora, povećanje i smanjenje električne vodljivosti protonskih otpornika omogućuje analogno strojno učenje. 

Vodljivost je kontrolirana kretanjem protona. Da bi se povećala vodljivost, više protona se gura u kanal u otporniku, dok se za smanjenje vodljivosti protoni izvlače. To se postiže pomoću elektrolita (sličnog baterijskom) koji provodi protone, ali blokira elektrone. 

Za razvoj super-brzog i visoko energetski učinkovitog programabilnog protonskog otpornika, istraživači su tražili različite materijale za elektrolit. Dok su drugi uređaji koristili organske spojeve, Onen se usredotočio na anorgansko fosfosilikatno staklo (PSG). 

PSG je u osnovi silicijev dioksid, praškasti desikant koji se nalazi u sićušnim vrećicama koje dolaze u kutiji s novim namještajem za uklanjanje vlage. Proučava se kao protonski vodič u vlažnim uvjetima za gorive ćelije. Također je najpoznatiji oksid koji se koristi u obradi silicija. Da bi se napravio PSG, siliciju se dodaje mali komadić fosfora kako bi mu se dala posebna svojstva za protonsko provođenje. 

Onen je ispravno pretpostavio kako bi optimizirani PSG mogao imati visoku protonsku vodljivost na sobnoj temperaturi bez potrebe za vodom, što bi ga učinilo idealnim čvrstim elektrolitom za ovu primjenu.

Iznenađujuća brzina 

PSG omogućuje ultrabrzo kretanje protona jer sadrži mnoštvo pora nanometarske veličine čije površine osiguravaju staze za difuziju protona. Također može izdržati vrlo jaka, pulsirajuća električna polja. Ovo je kritično, objašnjava Onen, jer primjena većeg napona na uređaj, omogućuje protonima kretanje zasljepljujućom brzinom. 

“Brzina je svakako bila iznenađujuća. Obično ne bismo primijenili tako ekstremna polja na uređaje kako ih ne bismo pretvorili u pepeo. No umjesto toga, protoni su završili tako što su se kretali golemim brzinama po nizu uređaja, točnije milijun puta brže u usporedbi s onim što smo imali prije. I ovo kretanje ne oštećuje ništa, zahvaljujući maloj veličini i maloj masi protona. To je gotovo poput teleportiranja”, kaže.

"Vremenska skala od nanosekunde znači da smo blizu balističkog ili čak kvantnog režima tuneliranja za proton, pod tako ekstremnim poljem", dodaje Li. 

Budući da protoni ne oštećuju materijal, otpornik može raditi milijune ciklusa bez kvara. Ovaj novi elektrolit omogućio je programabilni protonski otpornik koji je milijun puta brži od njihovog prethodnog uređaja i može učinkovito raditi na sobnoj temperaturi, što je važno za njegovu ugradnju u računalni hardver. 

Zahvaljujući izolacijskim svojstvima PSG-a, gotovo nikakva električna struja ne prolazi kroz materijal dok se protoni kreću. To uređaj čini iznimno energetski učinkovitim, dodaje Onen. 

Sada kada su demonstrirali učinkovitost ovih programabilnih otpornika, istraživači ih planiraju prilagoditi za proizvodnju velikih količina, kaže del Alamo. Zatim, mogu proučavati svojstva nizova otpornika i povećati ih tako da se mogu ugraditi u sustave. 

Istovremeno, planiraju proučavati materijale za uklanjanje uskih grla koja ograničavaju napon koji je potreban za učinkovit prijenos protona u, kroz i iz elektrolita. 

„Još jedno uzbudljivo usmjerenje koje ovi ionski uređaji mogu omogućiti je energetski učinkovit hardver za oponašanje neuronskih sklopova i pravila sinaptičke plastičnosti koja su izvedena u neuroznanosti, izvan analognih dubokih neuronskih mreža. Već smo započeli takvu suradnju s neuroznanošću, uz potporu MIT Quest for Intelligence,” dodaje Yildiz. 

“Suradnja koju imamo bit će ključna za inovacije u budućnosti. Put naprijed i dalje će biti vrlo izazovan, ali je u isto vrijeme i vrlo uzbudljiv,” kaže del Alamo. 

“Interkalacijske reakcije poput onih koje se nalaze u litij-ionskim baterijama opsežno su istražene za memorijske uređaje. Ovaj rad pokazuje da memorijski uređaji temeljeni na protonima pružaju impresivnu i iznenađujuću brzinu prebacivanja i izdržljivost,” kaže William Chueh, izvanredni profesor znanosti o materijalima i inženjerstva na Sveučilištu Stanford, koji nije bio uključen u ovo istraživanje. "Postavlja temelje za novu klasu memorijskih uređaja za pokretanje algoritama dubokog učenja." 

“Ovaj rad pokazuje značajan napredak u biološki inspiriranim uređajima otporne memorije. Ovi protonski uređaji u potpunom stanju temelje se na izvrsnoj kontroli protona na atomskoj razini, slično biološkim sinapsama, ali na nekoliko redova veličine bržim brzinama,” rekla je Elizabeth Dickey, ugledna profesorica Teddy & Wilton Hawkins i voditeljica Odjela za materijale Znanost i inženjerstvo na Sveučilištu Carnegie Mellon, koji nije bio uključen u ovaj rad. "Pohvaljujem interdisciplinarni tim MIT-a za ovaj uzbudljiv razvoj, koji će omogućiti računalne uređaje buduće generacije." 

Ovo istraživanje djelomično financira MIT-IBM Watson AI Lab.