hrvatski

Analiza iterativnih metoda učenja unaprijedne neuronske mreže

U ovom radu prikazana je analiza algoritama uˇcenja unaprijednih (statiˇckih) neuronskih mreža, koje su ujedno najˇceš´ce korištene neuronske mreže. Testirane algoritme uˇcenja ˇcine algoritam povratnog rasprostiranja pogreške (eng. Error Back Propagation, EBP), koji je zapravo obiˇcna gradijentna metoda, Resilient BackPropagation algoritam (RPROP), algoritam konjugiranih gradijenata (eng. Conjugate Gradient, CG) te Levenberg-Marquard algoritam (LM), koji je kombinacija gradijentne i Gauss-Newtonove metode. Spomenuti algoritmi uˇcenja ukljuˇcuju metode prvog i drugog reda, kao i lokalne i globalne adaptivne tehnike uˇcenja. Ukupno je testirano deset verzija algoritama – ˇcetiri verzije gradijentnog algoritma te po dvije verzije Resilient BackPropagation, Levenberg-Marquardt i algoritma konjugiranih gradijenata. Tesiranje i analiza algoritama provedeni su na sedam razliˇcitih realnih problema koji ukljuˇcuju predvid¯anje nelinearnog, kaoticˇnog dinamicˇkog sustava, identifikaciju dinamicˇkog sustava prvog reda, estimaciju trošenja oštrice noža alatnog stroja te aproksimaciju potrošnje energije i vode u zgradi kao regresijske probleme, te klasifikaciju vrste raka dojke i klasifikaciju (ne)oboljenja od dijabetesa kao klasifikacijske probleme. Za funkciju cilja odabrana je suma kvadrata pogreške, dok je za mjeru toˇcnosti uˇcenja i testiranja kod regresijskih problema odabran normalizirani korijen srednje kvadratne pogreške. U klasifikacijskim problemima za mjeru toˇcnosti odabran je omjer broja krivo klasificiranih i ukupnog broja uzoraka skupa za uˇcenje/testiranje. Kako bi se ubrzalo uˇcenje svih algoritama, korišteni su promjenjivi nagib sigmoidalne aktivacijske funkcije neurona sakrivenog sloja i modificirana metoda odabira poˇcetnih težinskih koeficijenata. Struktura mreže mijenjala se ovisno o problemu (broj slojeva nije se mijenjao), a svaka mreža testirana je samo jednom na svakom problemu uz iste poˇcetne parametre. Kvaliteta algoritama ocjenjivana je kvalitativnim (toˇcnost) i kvantitativnim (efikasnost) kriterijem.

unprijedne neuronske mreže; iterativni algoritmi učenja

nije evidentirano