Nau mai ki te ao hihiri o te ako whakakaha (RL), he kaha whakahuri e hanga ana i te mohiotanga. Ka wehe atu a RL i nga tikanga ako tuku iho, he huarahi hou e kore e mahi noa nga miihini engari ka ako mai i ia taunekeneke. Ma tenei haerenga ki te ako whakakaha ka whakaatu i tana whakatakoto tohu tohu hou mo te kaha o AI ki te whakaoti rapanga uaua me te urutau ki nga wero hou, penei i te tangata.
Ahakoa he tauira koe, he kaingākau, he tohunga ngaio ranei, uru mai ki tenei haerenga whakamihiihi i roto i te ao o te ako whakakaha, he whai waahi ia wero mo te tipu, he mutunga kore nga huarahi auaha.
Te whakamaramatanga o te ako whakapakari
Ko te ako whakapakari (RL) he peka hihiko, whai mana o akoranga mīhini e whakaako ana i nga miihini ki te whakatau whakatau ma te mahi tika me o raatau taiao. Kaore i rite ki nga tikanga tuku iho e whakawhirinaki ana ki nga huingararaunga nui, ki nga kaupapa kua whakaritea, kei te mahi a RL i runga i te tikanga ako whakamatautau me te hapa. Ma tenei huarahi ka taea e nga miihini te ako mai i nga hua o a raatau mahi, te awe tika i nga whakatau ka whai ake me te whakaata i te tukanga ako taiao e rite ana ki te wheako o te tangata.
E mohiotia ana a RL mo etahi ahuatanga matua e tautoko ana i te whanuitanga o nga whakamahinga:
- Te ako motuhake. Ko nga kaitohutohu ako whakapakari ake ka pai ake i roto i te waa ma te whakatau, te mataki i nga putanga, me te urutau i runga i te angitu, i te kore ranei o a raatau mahi. He mea nui tenei ako-whaiaro ki te whakawhanake i nga whanonga mohio me te tuku i nga punaha RL ki te hapai i nga mahi e hiahia ana kia urutau.
- Te whai kiko o te tono. Ko te ngawari o RL e whakaatuhia ana puta noa i nga momo punaha uaua me te hihiri, mai i nga waka motuhake e whakatere waka ana tae noa ki nga huringa takaro-takaro matatau me nga mahere maimoatanga rongoa whaiaro. Ko tenei whaihuatanga e whakaatu ana i te whaihuatanga whanui a RL puta noa i nga waahanga rereke.
- Te ako me te arotautanga. Kei te uho o te RL ko te huringa haere tonu o te whakamatautau, te hapa, me te whakamahine. He mea tino nui tenei tukanga tukurua mo nga tono ka tipu haere tonu nga ahuatanga, penei i te whakatere i nga tauira waka, i nga maakete putea ranei.
- Te whakauru ki te urupare tangata (RLHF). Ko te whakapai ake i nga tikanga ako whakapakari tuku iho, ko te whakakotahitanga o nga urupare a te tangata—e kiia ana ko RLHF—ka whakanui i te mahi ako ma te taapiri i nga tirohanga tangata. Ma tenei ka pai ake te aro me te pai ake o nga punaha ki nga hiahia a te tangata, he mea tino nui ki nga waahi uaua penei i te tukatuka reo maori.
Ko tenei kupu whakataki e whakatakoto ana i te waahi mo te torotoro hohonu atu i nga huānga me nga tikanga a RL, ka whakamaaramahia i nga waahanga e whai ake nei. Ka hoatu ki a koe te papamuri e tika ana kia mohio koe ki te awe whanui me te hiranga o te RL puta noa i nga umanga me nga tono rereke.
Nga huānga o te ako whakapakari
Te hanga i runga i to maatau maaramatanga taketake, me tuhura tatou i nga waahanga matua e whakaatu ana i te whakahaerenga o te ako whakakaha puta noa i nga taiao kanorau. Ko te mohio ki enei waahanga he mea nui kia mau ki te urutau me te uaua o nga punaha RL:
- taiao. Ko te waahi e whakahaerehia ana e te kaihoko RL mai i nga whaihanga matihiko mo te hokohoko kararehe ki nga ahuatanga tinana penei i te whakatere waka rererangi.
- Agent. Ko te kai-whakatau i roto i te tukanga RL ka taunekeneke ki te taiao me te whakatau i runga i nga raraunga kua kohia me nga putanga.
- Mahi. Ko nga whakataunga motuhake, nga nekehanga ranei i mahia e te kaihoko, e awe tika ana i nga putanga ako.
- State. He tohu i te ahuatanga o naianei, i te ahuatanga ranei e kitea ana e te kaihoko. Ka huri haere i te wa e mahi ana te kaihoko, e whakarato ana i te horopaki mo te whai i nga whakatau.
- utu. Ka tukuna he urupare i muri i ia mahi, me nga utu pai hei whakatenatena me nga whiu e whakararu ana i etahi whanonga.
- Kaupapahere. He rautaki, he huinga ture ranei e arahi ana i nga whakatau a te kaihoko i runga i te ahuatanga o naianei, kua whakamahine ma te ako tonu.
- uara. Ko nga matapae mo nga utu a meake nei mai i ia kawanatanga, ka awhina i te kaihoko ki te whakarite i nga kawanatanga mo te painga nui.
Ko nga huānga o te taiao, te kaihoko, te mahi, te ahua, te utu, te kaupapa here, me te uara ehara i te waahanga noa o te punaha; ka hanga he anga hono e taea ai e nga kaihoko RL te ako me te urutau hihiri. Ko tenei kaha ki te ako tonu mai i nga taunekeneke i roto i te taiao ka whakapumau i te ako whakakaha mai i etahi atu tikanga ako miihini me te whakaatu i tona kaha nui puta noa i nga momo tono. He mea nui te mohio takitahi ki enei huānga, engari ko ta raatau mahi i roto i te punaha RL e whakaatu ana i te mana me te ngawari o tenei hangarau.
Hei kite i enei huānga e mahi ana, me titiro tatou ki tetahi tauira whaihua mo nga robotics ahumahi:
| • taiao. Ko te raina huihuinga kei reira te ringa karetao e mahi ana. • Agent. Kua whakaritea te ringa karetao ki te mahi i nga mahi motuhake. • Mahi. Ko nga nekehanga penei i te kohi, te whakanoho, me te whakahiato i nga waahanga. • State. Te tūnga o nāianei o te ringa me te tūnga o te rārangi hui. • utu. He urupare mo te tika me te kaha o te mahi o te huihuinga. • Kaupapahere. Ko nga aratohu e arahi ana i nga whiringa a te karetao ki te arotau i te pai o te raupapa huihuinga. • uara. Aromātai ko ēhea nekehanga ka whai hua tino whai hua i roto i te taima. |
Ko tenei tauira e whakaatu ana me pehea te whakamahi i nga huānga taketake o te ako whakakaha i roto i te ahuatanga o te ao, e whakaatu ana i te kaha o te ringa karetao ki te ako me te urutau ma te taunekeneke tonu me tona taiao. Ko enei tono e whakaatu ana i nga kaha matatau o nga punaha RL me te whakarato i te tirohanga whaitake mo te ariā i korerohia. I a matou e haere tonu ana, ka tuhurahia e matou etahi atu tono ka ruku hohonu atu ki nga uauatanga me te pumanawa hurihuri o te ako whakakaha, e whakaatu ana i o raatau paanga mahi me te ahuatanga hurihuri o RL i roto i nga ahuatanga o te ao.
Te tuhura i te mahi o te ako whakapakari
Kia tino maioha ki te whai huatanga o te ako whakakaha (RL) puta noa i nga momo mara, he mea nui kia mohio ki nga miihini whakahaere. Ko te tikanga, ka huri a RL ki te ako i nga whanonga tino pai na roto i nga mahi, nga utu, me nga whiunga-ka hanga i te mea e kiia nei ko te whakakaha i te ako urupare urupare.
Kei roto i tenei tukanga he huringa o nga mahi, nga urupare, me nga whakatikatika, ka waiho hei tikanga hihiri mo te whakaako mihini kia pai ake te mahi i nga mahi. Anei he wehenga-a-taahiraa mo te mahi o te ako whakakaha:
- Whakatautuhia te raru. Kia marama te tautuhi i te mahi motuhake, te wero ranei i hangaia e te kaihoko RL hei whakaoti.
- Whakaritehia te taiao. Tīpakohia te horopaki e mahi ai te kaihoko, tera pea he tautuhinga whakatairite mamati, he ahuatanga o te ao.
- Waihangatia he kaihoko. Waihangatia he kaihoko RL me nga pūoko kia mohio ai koe ki tona taiao me te mahi i nga mahi.
- Tīmatahia te ako. Tukua te kaihoko ki te mahi tahi me tona taiao, ki te whakatau whakatau i awehia e tana kaupapa tuatahi.
- Whiwhi urupare. I muri i ia mahi, ka whiwhi urupare te kaihoko i roto i te ahua o nga utu, whiu ranei, ka whakamahia e ia ki te ako me te whakarereke i ana whanonga.
- Whakahoutia te kaupapa here. Te wetewete i nga urupare hei whakamahine i nga rautaki a te kaihoko, na reira ka whakapai ake i ona kaha ki te whakatau.
- whakamahine. Me whakapai tonu i nga mahi a te kaihoko ma te ako haere tonu me nga huringa urupare.
- tohatoha. Whai muri i nga whakangungu tika, toha te kaihoko ki te hapai i nga mahi o te ao, ki te mahi ranei i roto i nga whaihanga uaua ake.
Hei whakaatu me pehea te whakamahi i enei mahi tukanga i roto i nga mahi, whakaarohia te tauira o tetahi kaihoko RL i hangaia hei whakahaere i nga hokohoko taone:
| • Tautuhia te raruraru. Ko te whainga kia pai ake te rere o nga waka i te waahi o te taone nui ki te whakaiti i nga wa tatari me te tini tangata. • Whakaritehia te taiao. Ka mahi te punaha RL i roto i te kupenga whakahaere waka o te tauwhitinga, ma te whakamahi i nga raraunga tuuturu mai i nga pukoro waka. • Waihangatia he kaihoko. Ko te punaha whakahaere waka ake, he mea mau ki nga pukoro me nga kaiwhakahaere tohu, hei kaihoko. • Tīmatahia te ako. Ka timata te kaihoko ki te whakatika i nga wa rama rama i runga i nga tikanga waka-a-waa. • Whiwhi urupare. Ka tae mai he urupare pai mo te whakaiti i nga wa tatari me te tini tangata, i te wa ka puta mai nga urupare kino ka piki ake te whakaroa, te aukati waka ranei. • Whakahoutia te kaupapa here. Ka whakamahia e te kaihoko tenei urupare ki te whakamahine i ana algorithm, ma te whiriwhiri i nga wa tohu tino whai hua. • whakamahine. Ka whakatika tonu te punaha me te ako mai i nga raraunga e haere tonu ana hei whakapai ake i tona pai. • tohatoha. Ina kitea te whai hua, ka whakatinanahia te punaha ki te whakahaere i nga waka i te huarahi. |
Nga huānga motuhake o te punaha RL i tenei horopaki:
| • taiao. Ko te punaha waka o te whakawhitinga taone nui. • Agent. He punaha whakahaere waka me nga pūoko me nga tohu tohu. • Mahi. Nga huringa ki nga wa rama rama me nga tohu hikoi. • State. Ko nga tikanga rere o naianei, tae atu ki te tatau waka, te kiato waka, me nga wa tohu. • utu. Ko nga urupare kei runga i te whaihua o te punaha ki te whakaiti i nga wa tatari. • Kaupapahere. Algoritms e arotau ana i te wa tohu hei whakarei ake i te rerenga waka. • uara. Nga matapae mo nga paanga o nga momo rautaki wa ki nga tikanga waka a meake nei. |
Ko tenei punaha RL ka huri tonu i nga rama waka i roto i te waa tuuturu ki te arotau i te rere me te whakaiti i te tini i runga i nga urupare mai i tona taiao. Ko enei tono kaore i te whakaatu noa i te whaipainga a RL engari e whakaatu ana hoki i tona kaha ki te urutau ki nga ahuatanga uaua me nga ahuatanga rereke.
Te maarama ki te RL i roto i te horopaki whanui o te ako miihini
I a tatou e tirotiro ana i nga uaua o te ako whakakaha, he mea nui kia rereke mai i etahi atu tikanga ako miihini kia tino maioha ki ana tono me ona wero. Kei raro nei he tātaritanga whakatairite o te RL ki nga akoranga e maataki ana, e kore e tirotirohia. Ka pai ake tenei whakataurite na tetahi tauira hou o te tono a RL i roto i te whakahaere matiti atamai, e tohu ana i te whaihua o RL me te whakaatu i nga wero motuhake e pa ana ki tenei tikanga ako.
Te tātari whakataurite o nga tikanga ako miihini
| āhuatanga | Akoako ma te tirotiro | Akonga kaore i whakawhiwhia | Te ako whakaū |
| Momo Raraunga | Raraunga tapanga | Raraunga kore tapanga | Karekau he huingararaunga kua whakaritea |
| Urupare | Tika tonu | kahore | Autaki (utu/whiu) |
| Whakamahia nga take | Whakarōpū, whakamuri | Te torotoro raraunga, te whakarōpūtanga | Nga taiao whakatau kaupapa hihiri |
| āhuatanga | Ka ako mai i te huingararaunga me nga whakautu mohio, he pai mo nga hua marama me nga ahuatanga whakangungu tika. | Ka kite i nga tauira huna, i nga hanganga ranei kaore he huanga kua tautuhia, he pai mo te tātari torotoro, te rapu whakarōpū raraunga ranei. | Ka ako i roto i te whakamatautau me te hapa ma te whakamahi i nga urupare mai i nga mahi, e tika ana mo nga taiao e puta ai nga whakataunga ki nga hua rereke. |
| tauira | Te tohu whakaahua, te rapunga mokowhiti | Te wehewehenga o te maakete, te kitenga anomaly | Game AI, waka motuhake |
| tamataraa | E hiahia ana i nga huingararaunga tapanga nui; kare pea e tino whaanui ki nga raraunga kore kitea. | He uaua ki te arotake i te mahinga tauira me te kore raraunga tapanga. | He uaua te hoahoa i tetahi punaha utu whai hua; tono rorohiko nui. |
Whakaahuatanga o te ako whakakaha: Whakahaere matiti atamai
Hei whakaatu i te tono a RL i tua atu i nga punaha whakahaere waka e korerohia ana me te whakarite i nga momo tauira, whakaarohia he punaha whakahaere matiti atamai i hangaia hei arotau i te tohatoha hiko me te whakaiti i te ururua:
| • Te whakamaramatanga raruraru. Ko te whai ki te whakanui ake i te pai o te hiko puta noa i te matiti hiko o te taone nui me te whakaiti i te korenga me te whakaiti i te ururua hiko. • Te whakatuu taiao. Ko te punaha RL kua whakauruhia ki roto i te whatunga o nga mita atamai me nga pouara hiko, e aro turuki tonu ana i te whakapaunga hiko me nga ine tohatoha. • Hanganga kaihoko. Ko te kaiwhakahaere matiti atamai, kua whakangungua me te kaha ki te tātari matapae me te mahi hei whakahaere i nga algorithms RL penei i te ako-Q, i nga tikanga Monte Carlo ranei, hei kaihoko. • Te mahi ako. Ka huri te kaihoko i nga rautaki tohatoha hiko i runga i nga tauira matapae o te tono me te tuku. Hei tauira, ka whakamahia pea te ako-Q ki te whakamahine i enei rautaki ma te punaha utu e arotake ana i te kaha o te tohatoha hiko me te pumau o te matiti. • Te urupare urupare. Ka tukuna he urupare takatika mo nga mahi e pai ake ai te pumau me te pai o te matiti, engari ko nga urupare kino e whakatika ana i nga ngoikoretanga, i nga rahunga punaha ranei, e arahi ana i nga rautaki a te kaihoko a meake nei. • Nga whakahoutanga kaupapa here. Ka whakahouhia e te kaihoko ana rautaki i runga i te whai huatanga o nga mahi o mua, me te ako ki te matapae i nga raruraru pea me te whakatikatika i nga tohatoha. • Te whakamahine. Ko te urunga raraunga haere tonu me nga huringa whakahoki urupare ka taea e te punaha te whakapai ake i ana rautaki whakahaere me te tika o te matapae. • whakamahinga. Whai muri i te arotautanga, ka whakatinanahia te punaha ki te whakahaere hihiri i te tohatoha hiko puta noa i nga matiti maha. |
Ko tenei tauira e whakaatu ana me pehea e whai hua ai te whakamahi i te ako whakakaha ki nga punaha uaua he mea nui te whakatau whakatau me te urutau. E whakaatu ana hoki i nga wero noa i roto i te whakapakari i te ako, penei i te uaua ki te whakarite i nga utu e tino tohu ana i nga whaainga mo te wa roa me te whakahaere i nga hiahia rorohiko nui o nga taiao hurihuri.
Ko te matapaki mo te whakahaere matiti atamai e arahi ana i a tatou ki te torotoro i nga tikanga ako whakakaha me nga tono i roto i nga momo waahanga penei i te hauora, putea, me nga punaha motuhake. Ko enei matapaki ka whakaatu atu he pehea nga rautaki RL kua whakaritea ki te whakatutuki i nga wero ahumahi motuhake me nga take matatika kei roto.
Te ahunga whakamua o na tata nei i roto i nga akoranga whakapakari
I te wa e tipu haere tonu ana te ako whakakaha, ka turaki i nga rohe o te matauranga horihori me te ahu whakamua nui o te ariā me te mahi. Ko tenei waahanga e whakaatu ana i enei mea hou hou, e aro ana ki nga tono ahurei e whakaatu ana i te tipu haere o te mahi a RL puta noa i nga waahi kanorau.
Te whakauru ki te ako hohonu
Ko te ako whakakaha hohonu e whakarei ake ana i nga pukenga whakatau rautaki a RL na roto i te mohiotanga tauira matatau mai i te ako hohonu. He mea nui tenei whakaurunga mo nga tono e hiahia ana ki te whakatau tere me te mohio. He mea tino nui i roto i nga taiao penei i te whakatere waka motuhake me nga tātaritanga rongoa, he mea nui te tukatuka raraunga tuuturu me te whakatau tika mo te haumaru me te whai hua.
Nga pakaruhanga me nga tono
Ko te whakakotahitanga i waenga i te ako whakakaha me te ako hohonu i puta mai nga huanga whakamiharo puta noa i nga momo waahanga, e whakaatu ana i te kaha o RL ki te urutau me te ako mai i nga raraunga uaua. Anei etahi o nga waahanga nui i whai paanga nui ai tenei huarahi whakauru, e whakaatu ana i tona kaha me tona kaha ki te whakarereke:
- Te takaro kemu rautaki. He tauira nui a DeepMind's AlphaGo mo te kaha o te ako whakakaha hohonu ki nga wero uaua. Ma te wetewete i te maha o nga raraunga whakaari, i whakawhanakehia e AlphaGo nga rautaki auaha i te mutunga ake i tera o nga toa o te ao tangata, e whakaatu ana i te kaha o te whakakotahi i te RL me te ako hohonu i roto i nga whakaaro rautaki.
- Nga waka Motuhake. I roto i te umanga miihini, he mea nui te ako whakakaha hohonu mo te whakapai ake i nga mahi whakatau-a-waa. Ka taea e nga waka kua rite ki tenei hangarau te whakatere haumaru me te pai ma te urutau ki te whakarereke i nga tikanga waka me nga raraunga taiao. Ko te whakamahi i nga tātaritanga matapae, na te ako hohonu, e tohu ana i te ahunga whakamua nui i roto i te hangarau miihini, e arai ana ki nga punaha taraiwa motuhake me te pono.
- karetao. Kei te kaha haere nga karetao ki te whakahaere i nga wero hou na te whakakotahitanga o te ako whakapakari me te ako hohonu. He mea nui tenei whakaurunga i roto i nga waahanga penei i te whakangao, he mea nui te tika me te urutau. I te wa e mahi ana nga robots i roto i nga taiao ahumahi hihiri, ka ako ratou ki te arotau i nga tukanga whakaputa me te whakarei ake i te pai o te whakahaere ma te urutau tonu.
- Te Ao Hauora. Ko te whakakotahitanga o te RL me te ako hohonu ka huri te tiaki turoro ma te whakawhaiaro i nga maimoatanga rongoa. Ko nga Algorithms ka huri i nga mahere maimoatanga i runga i te aro turuki tonu, te whakarei ake i te tika me te whai hua o nga mahi rongoa. Ko tenei huarahi urutau he mea tino nui mo nga ahuatanga e hiahia ana kia haere tonu nga whakarereketanga ki nga maimoatanga me te whakahaere hauora matapae.
Nga whainga me nga tirohanga a meake nei
Na roto i te whakakotahi i te ako whakakaha me te ako hohonu, ka tipu ake nga punaha maamaa me te urutau, ka tino pai ake te taunekeneke miihini me te ao. Ko enei punaha kei te kaha ake te aro ki nga hiahia o te tangata me nga huringa taiao, te whakatakoto i nga paerewa hou mo te taunekeneke hangarau.
Ko nga kaupapa ako mo te whakapakari i te umanga
Whai muri i ta maatau tirotirohanga i nga ahunga whakamua nui i roto i te ako whakakaha, me tirotirohia e tatou te awenga hurihuri puta noa i nga momo wahanga. Ko enei rangahau take ehara i te whakaatu noa i te urutau o RL engari e whakaatu ana i tana mahi ki te whakapai ake i te pai me te whakaoti rapanga uaua:
- I roto i te tahua, Ko nga algorithms atamai ka huri i nga mahi maakete ma te urutau ki nga huringa, na reira ka piki ake te whakahaere morearea me te whai hua. Ko te hokohoko Algorithmic kua waiho hei tono matua, ma te whakamahi i te ako whakapakari ki te whakahaere i nga mahi hokohoko i nga wa tino pai, te whakanui ake i te pai, me te whakaiti i te hapa tangata.
- He nui te painga o te tiaki hauora mai i te RL, e whakapai ake ana i te tiaki whaiaro ma te whakatikatika i nga maimoatanga i runga i nga whakautu a te manawanui. He mea nui tenei hangarau ki te whakahaere i nga ahuatanga penei i te mate huka me te tiaki hauora matapae, i reira ka awhina i te matapae me te aukati i nga take hauora.
- I roto i te umanga miihini, Ko te ako whakakaha ka pai ake te whakahaere o nga motuka taraiwa. Ko nga kamupene penei i a Tesla me Waymo e whakamahi ana i tenei hangarau ki te tātari tere i nga raraunga mai i nga puoro motuka, hei awhina i nga waka ki te whakatau pai ake mo te waahi ka haere me te wa e mahi ai te tiaki. Ehara tenei i te mea ka noho haumaru nga motuka engari ka pai ake te rere o nga motuka.
- I roto i te waahanga whakangahau, Kei te hanga ano a RL i te petipeti ma te hanga i nga tangata mohio kore-kaitakaro (NPC) e urutau ana ki nga taunekeneke a te kaitakaro. I tua atu, ka whakapai ake i nga ratonga roma pāpāho ma te whakawhaiaro i nga taunakitanga ihirangi, e whakarei ake ana i te urunga o nga kaiwhakamahi ma te whakarite ki nga manakohanga kaimakitaki.
- I roto i te hanga, Ko te ako whakakaha ka arotau i nga raina whakangao me nga mahi mekameka tuku ma te matapae i nga ngoikoretanga o te miihini me te whakarite whakatikatika. Ko tenei tono ka whakaiti i te wa whakaheke me te whakanui ake i te hua, e whakaatu ana i te paanga o RL ki te pai o te ahumahi.
- Te whakahaere hiko ka kite hoki i nga ahunga whakamua i roto i te RL, e arotau ana i te kohi hiko i roto i nga matiti atamai. Ma te matapae me te ako i nga tauira whakamahi, ko te ako whakakaha ka whakataurite i te tono me te toha, te whakapai ake i te pai me te pumau o nga punaha hiko.
Ko enei tauira puta noa i nga momo ahumahi e whakaatu ana i te whanuitanga o te whakamahi a RL me tona kaha ki te akiaki i nga mahi hangarau, me te oati i nga ahunga whakamua me te whaanuitanga o te ahumahi.
Te tuitui i te ako whakakaha ki etahi atu hangarau
Ko te ako whakapakari ehara i te huri noa i nga waahanga tuku iho; he paionia te whakaurunga ki nga hangarau hou, te taraiwa i nga otinga kaore ano kia tirotirohia me te whakapai ake i nga mahi:
- Internet o Me'a (IoT). Kei te huri a RL i a IoT ma te whakamohio ake i nga taputapu i roto i nga waa tuuturu. Hei tauira, ka whakamahi nga punaha kaainga atamai i te RL ki te ako me pehea taatau taunekeneke ki a raatau me nga ahuatanga e karapoti ana i a raatau, me te mahi aunoa i nga mahi penei i te whakatikatika rama me te pāmahana, te whakapai ake ranei i te haumarutanga. Ehara tenei i te mea ka penapena hiko engari ka pai ake te noho me te waatea, e whakaatu ana me pehea e taea ai e RL te whakaaunoa i a tatou mahi o ia ra.
- Hangarau Poraka. I roto i te ao poraka, ka awhina te ako whakapakari ki te hanga i nga punaha kaha ake me te pai ake. He mea nui ki te whakawhanake i nga ture ngawari e urutau ana ki nga huringa o nga hiahia whatunga. Ka taea e tenei kaha te whakatere i nga whakawhitinga me te tapahi utu, e whakaatu ana i te mahi a RL ki te tarai i etahi o nga wero nui i roto i te hangarau poraka.
- Mooni whakanuia (AR). Kei te ahu whakamua ano a RL i te AR ma te whakawhaiaro me te whakarei ake i nga taunekeneke a nga kaiwhakamahi. Ka whakatika i nga ihirangi mariko i roto i te waa-a-waa i runga i nga mahi a nga kaiwhakamahi me te taiao e noho ana ratou, kia kaha ake ai nga wheako AR me te whai kiko. He tino whai hua tenei ki nga kaupapa ako me nga kaupapa whakangungu, kei reira nga taiao ako urutau i hangaia e RL ki te pai ake te ako me te whai waahi.
Ma te whakauru i te RL me nga hangarau penei i te IoT, poraka, me te AR, kaore nga kaiwhakawhanake i te whakapai noa i te mahi o nga punaha engari kei te turaki ano i nga rohe o nga mea ka taea te whakatutuki i roto i nga waahanga maamaa me nga punaha whakaheke. Ko tenei huinga e whakarite ana i te waahi mo nga tono hangarau motuhake ake, whai hua me te whakahiato, e kii ana i nga ahunga whakamua whakahihiri mo nga umanga me nga mahi hangarau ia ra.
Nga kete taputapu me nga anga mo te whakapakari i te ako
I a matou e torotoro ana i nga momo tono me nga whakaurunga hangarau o te ako whakapakari, ka kitea te hiahia mo nga taputapu matatau ki te whakawhanake, ki te whakamatautau me te whakamahine i enei punaha. Ko tenei waahanga e whakaatu ana i nga anga matua me nga kete taputapu e tika ana mo te hanga otinga RL whai hua. Ko enei taputapu he mea whakarite ki te whakatutuki i nga hiahia o nga taiao hihiri me nga wero uaua e pa ana ki a RL, me te whakapai ake i te pai me te paanga o nga tono RL. Kia ata titiro ki etahi taputapu matua e ahu whakamua ana i te mara o RL:
- Nga Kaituku TensorFlow (TF-Agents). He kete taputapu kaha i roto i te rauwiringa kaiao TensorFlow, e tautoko ana a TF-Agents i te whānuitanga o nga momo hātepe, he mea tino pai mo te whakauru i nga tauira matatau me te ako hohonu, hei whakakii i nga ahunga whakamua i korerohia i mua i te whakaurunga ako hohonu.
- Whakatuwheratia AI Gym. He mea rongonui mo ona taiao whaihanga kanorau—mai i nga keemu Atari matarohia ki nga whaihanga-a-tinana uaua—Ko OpenAI Gym he papa tohu tohu e taea ai e nga kaiwhakawhanake te whakamatautau i nga algorithms RL i roto i nga ahuatanga rereke. He mea nui ki te tirotiro i te urutaunga o te RL i roto i nga tatūnga rite ki era e whakamahia ana i roto i te whakahaere waka me nga matiti atamai.
- RLlib. Ma te mahi i runga i te anga Ray, ka arotauhia a RLlib mo te RL ka taea te tauine me te tohatoha, te whakahaere i nga ahuatanga uaua e pa ana ki nga kaihoko maha, penei i te hangahanga me te ruruku waka motuhake.
- Akoranga whakapakari PyTorch (PyTorch-RL). Ma te whakamahi i nga ahuatanga rorohiko kaha a PyTorch, ka tukuna e tenei huinga algorithms RL te ngawari e tika ana mo nga punaha e whakatika ana ki nga korero hou, he mea tino nui mo nga kaupapa e hiahia ana ki te whakahou i nga wa i runga i nga urupare.
- Nga Raina Tuturu. He putanga pai ake o OpenAI Baselines, Stable Baselines e tuku ana i nga tuhinga RL algorithms kua tuhia paitia me te ratarata-kaiwhakamahi hei awhina i nga kaiwhakawhanake ki te whakamahine me te whakahou i nga tikanga RL o naianei, he mea nui mo nga waahanga penei i te tiaki hauora me te putea.
Ko enei taputapu ehara i te mea he whakamaarama noa i te whanaketanga o nga tono RL engari he mahi nui ano hoki ki te whakamatautau, te whakamahine, me te tuku tauira puta noa i nga momo taiao. Ma te tino mohio ki o raatau mahi me o raatau whakamahinga, ka taea e nga kaihanga me nga kairangahau te whakamahi i enei taputapu ki te whakawhānui ake i nga huarahi ki te whakapakari i te ako.
Te whakamahi whaihanga tauwhitiwhiti hei whakangungu i nga tauira RL
Whai muri i te whakamaarama i nga kete taputapu me nga anga e tautoko ana i te whakawhanaketanga me te whakamahine o nga tauira ako whakapakari, he mea nui kia aro ki te waahi ka whakamatauria, ka whakamahine hoki enei tauira. He mea nui nga taiao ako tauwhitiwhiti me te whaihanga mo te whakatairanga i nga tono RL, te whakarato i nga tautuhinga haumaru me te whakahaere hei whakaiti i nga tupono o te ao.
Papahanga whaihanga: Nga papa whakangungu pono
Ko nga papaaho pera i te Unity ML-Agents me Microsoft AirSim ehara i te mea he taputapu noa, engari hei huarahi ki nga ao tino whai kiko, tauwhitiwhiti e whakangungua ai nga algorithms RL. He mea nui enei papaaho mo nga rohe penei i te taraiwa motuhake me nga karetao rererangi, he utu nui, he whakararu hoki te whakamatautau o te ao. Na roto i nga whaihanga taipitopito, ka taea e nga kaiwhakawhanake te wero me te whakamahine i nga tauira RL i raro i nga ahuatanga rereke me te uaua, he rite tonu te ahua o te ao tuuturu.
Te taunekeneke hihiri i roto i te ako
Ko te hihiko o nga taiao ako pahekoheko ka taea e nga tauira RL te whakaharatau i nga mahi me te urutau ki nga wero hou i roto i te waa. He mea nui tenei urutaunga mo nga punaha RL mo nga tono hihiri o te ao, penei i te whakahaere i nga putea putea, i te arotau ranei i nga punaha waka taone.
Te mahi ki te whakawhanake tonu me te whakamana
I tua atu i nga whakangungu tuatahi, he mea nui enei taiao mo te whakapai tonu me te whakamana i nga tauira ako whakapakari. Ka whakaratohia e ratou he papa mo nga kaihanga ki te whakamatautau i nga rautaki hou me nga ahuatanga hou, te arotake i te kaha me te urutau o nga algorithms. He mea nui tenei mo te hanga tauira kaha e kaha ana ki te whakahaere i nga uaua o te ao.
Te whakanui ake i te rangahau me te paanga o te ahumahi
Mo nga kairangahau, ko enei taiao ka whakapoto i te urupare urupare i roto i te whakawhanaketanga tauira, me te tere tere me te whakapai ake. I roto i nga tono arumoni, ka whakarite kia ata tirohia nga punaha RL i mua i te tukunga ki nga waahi nui penei i te hauora me te putea, he mea nui te tika me te pono.
Ma te whakamahi i nga taiao ako tauwhitiwhiti me te whaihanga i roto i te tukanga whakawhanaketanga RL, ka pai ake te whakamahinga mahi me te whai huatanga whakahaere o enei algorithms uaua. Ka hurihia e enei papaahi te matauranga ariā ki nga whakamahinga o te ao me te whakapai ake i te tika me te pai o nga punaha RL, e whakarite ana i te huarahi mo te hanga i nga hangarau maamaa ake.
Nga painga me nga wero o te ako whakapakari
Whai muri i te torotoro haere i nga momo taputapu maha, me te kite pehea e whakamahia ana i roto i nga waahi rereke penei i te tiaki hauora me nga motuka taraiwa whaiaro, me te ako mo nga ariā uaua penei i te whakakaha i te ako whakahoki urupare me pehea te mahi me te ako hohonu, ka haere tatou inaianei ki te titiro ki nga painga me nga wero nui o te ako whakapakari. Ko tenei waahanga o ta maatau korero ka aro ki te pehea o RL ki te whakaoti rapanga uaua me te mahi i nga take o te ao, ma te whakamahi i nga mea i akohia e matou mai i a maatau whakamatautau.
painga
- Te whakaoti rapanga uaua. Ko te ako whakakaha (RL) he pai ake i roto i nga taiao e kore e matapaetia, e uaua ana, he pai ake te mahi i nga tohungatanga tangata. He tauira pai ko AlphaGo, he punaha RL i toa i tana tukinga ki nga toa o te ao i te keemu o Go. I tua atu i nga keemu, he tino miharo te whai hua a RL ki etahi atu waahi. Hei tauira, i roto i te whakahaerenga hiko, kua pai ake nga punaha RL i te pai o nga matiti hiko nui atu i nga tohunga i whakaaro tuatahi. Ko enei putanga e whakaatu ana me pehea e taea ai e RL te kimi otinga hou i a ia ano, me te tuku huarahi whakahihiri mo nga momo ahumahi.
- Te kaha urutau. Ko te kaha o RL ki te whakatika tere ki nga ahuatanga hou he tino whai hua ki nga waahi penei i nga motuka taraiwa me te hokohoko kararehe. I roto i enei mara, ka taea e nga punaha RL te whakarereke i o raatau rautaki kia rite ki nga ahuatanga hou, e whakaatu ana i te ngawari. Hei tauira, ma te whakamahi i te RL ki te whakarereke i nga rautaki hokohoko i te wa kua kitea he pai ake te maakete i nga tikanga tawhito, ina koa i nga wa o te maakete ohorere.
- Te whakatau kaupapa motuhake. Ko nga punaha ako whakakaha ka mahi takitahi ma te ako mai i nga taunekeneke tika me o raatau taiao. He mea nui tenei mana motuhake ki nga waahi e hiahia ana ki te whakatau tere, na runga i te raraunga, penei i te whakatere karetao me te tiaki hauora whaiaro, kei reira a RL e whakarite ana i nga whakatau i runga i nga raraunga manawanui.
- Tuhinga. Ka hangaia nga algorithms RL ki te whakahaere i te tipu o te uaua me te mahi pai i roto i nga momo tono maha. Ko tenei kaha ki te tauine ka awhina i nga pakihi ki te tipu me te urutau ki nga waahi penei i te hokohoko ipurangi me te rorohiko kapua, kei te huri tonu nga mea.
- Te ako tonu. Kaore i rite ki etahi atu tauira AI e hiahia ana ki te whakangungu ano i ia wa, ka ako tonu nga punaha RL me te whakapai ake mai i nga taunekeneke hou, ka tino whai hua ki nga waahanga penei i te tiaki matapae, i reira ka whakarereketia nga raarangi i runga i nga raraunga tuuturu.
tamataraa
- Te kaha o te raraunga. Kei te hiahia a RL ki te maha o nga raraunga me nga taunekeneke auau, he uaua ki te kitea i roto i nga whakamatautau moata mo nga motuka taraiwa. Ahakoa ko te whakapai ake i te whaihanga me te hanga raraunga hangai ka pai ake nga huingararaunga whakangungu, he wero nui tonu te whiwhi raraunga o te ao tuuturu.
- Te matatini o te ao. Ko nga urupare ohorere me te puhoi i roto i nga tautuhinga tuuturu he uaua ki te whakangungu i nga tauira RL. Ko nga algorithm hou kei te whakanui ake i te ahua o enei tauira ki te hapai i nga whakaroa, engari ko te urutau tonu ki te kore ohorere o nga ahuatanga o te ao he wero uaua tonu.
- Te uaua o te hoahoa utu. He uaua ki te hanga i nga punaha utu e whakataurite ana i nga mahi tonu me nga whaainga roa. He mea nui nga mahi penei i te whakawhanake i nga tikanga ako whakakaha koaro, engari kaore ano kia oti katoa nga uauatanga o nga tono o te ao.
- Nga tono rorohiko teitei. Ko nga algorithms RL e hiahia ana kia nui te mana rorohiko, ina koa ka whakamahia i roto i nga ahuatanga nui, uaua ranei. Ahakoa he kaha ki te whakakaha ake i enei algorithms me te whakamahi i nga taputapu rorohiko kaha penei i nga Waehanga Tukatuka Whakairoiro (GPU) me Tensor Processing Units (TPU), he nui rawa nga utu me te nui o nga rauemi e hiahiatia ana mo te maha o nga whakahaere.
- He tauira pai. He maha nga wa e hiahia ana te ako whakakaha i te maha o nga raraunga kia pai ai te mahi, he raru nui kei roto i nga waahi penei i te karetao, te tiaki hauora ranei he utu nui, he morearea ranei te kohikohi raraunga. Heoi, ko nga tikanga hou i roto i te ako i waho i nga kaupapa here me nga akoranga whakakaha i te roopu ka taea te ako ake mai i nga raraunga iti ake. Ahakoa enei whakapainga, he wero tonu kia whiwhi hua tino pai me te iti ake o nga tohu raraunga.
Nga ahunga a meake nei me etahi atu wero
I a tatou e titiro ana ki te wa kei te heke mai, kua rite te ako whakakaha ki te tarai i nga wero o naianei me te whakawhānui ake i ana tono. Anei etahi ahunga whakamua motuhake me te pehea e tika ana ki te whakatutuki i enei wero:
- Nga take taarua. Ahakoa ko te RL ka taea te huri noa, me kaha ake te whakahaere i nga taiao nui ake, uaua ake. Ko nga mahi hou i roto i nga punaha umanga maha e tika ana kia pai ake te tohatoha o nga mahi rorohiko, ka taea te whakaiti i nga utu me te whakarei ake i nga mahi i nga waa tino nui, penei i te whakahaerenga waka o te taone nui o te taone nui, i nga waa kawenga nui ranei i roto i te rorohiko kapua.
- Te matatini o nga tono o te ao. Ko te whakawhanaunga i te aputa i waenga i nga taiao e whakahaeretia ana me te kore ohorere o te ao tuuturu ka noho hei kaupapa matua. Kei te aro te rangahau ki te whakawhanake i nga algorithms kaha e kaha ana ki te whakahaere i raro i nga ahuatanga rereke. Hei tauira, ko nga tikanga ako urutau, i whakamatauria i roto i nga kaupapa pairati mo te whakatere motuhake i roto i nga ahuatanga huarere rereke, kei te whakarite RL ki te hapai i nga uaua o te ao tuuturu.
- Te hoahoa punaha utu. Ko te hoahoa i nga punaha utu e whakahāngai ana i nga mahi mo te wa poto me nga whainga mo te wa roa he wero tonu. Ko nga mahi ki te whakamarama me te whakangawari i nga algorithms ka awhina i te hanga tauira ngawari ake ki te whakamaori me te whakahāngai ki nga whaainga whakahaere, ina koa ki te putea me te tiaki hauora, he mea tino nui nga putanga tika.
- Te tuitui me nga whanaketanga a meake nei. Ko te whakaurunga o te RL me nga hangarau AI matatau penei i nga whatunga whakaeke whakahiato (GANs) me te tukatuka reo maori (NLP) e tika ana kia tino whakarei ake i nga kaha o RL. Ko te whainga o tenei mahi tahi ki te whakamahi i nga kaha o ia hangarau ki te whakanui i te urutau me te kaha o te RL, ina koa ki nga ahuatanga uaua. Kua whakaritea enei whanaketanga ki te whakauru i nga tono kaha ake me te ao puta noa i nga waahanga rereke.
Na roto i ta maatau tātaritanga taipitopito, e marama ana ahakoa he nui te kaha o te RL ki te whakarereke i nga momo waahanga, ko tana angitu ka whakawhirinaki ki te wikitoria i nga wero nui. Ma te tino mohio ki nga kaha me nga ngoikoretanga o RL, ka taea e nga kaihanga, me nga kairangahau te whakamahi pai ake i tenei hangarau ki te akiaki i nga mahi auaha me te whakaoti rapanga uaua i te ao tuuturu.
Nga whakaaro matatika i roto i nga akoranga whakakaha
I a matou e whakaoti ana i ta matou torotoro whanui mo te ako whakakaha, he mea nui ki te whakatika i ona paanga matatika—te waahanga whakamutunga engari tino nui o te whakamahi i nga punaha RL ki nga ahuatanga o te ao. Kia matapakihia nga kawenga nui me nga wero ka puta mai i te whakaurunga o te RL ki roto i nga hangarau o ia ra, e whakaatu ana i te hiahia kia ata whakaarohia tana whakamahinga:
- Te whakatau kaupapa motuhake. Ma te ako whakakaha ka taea e nga punaha te whakatau motuhake, ka tino pa ki te haumaru me te oranga o te tangata. Hei tauira, i roto i nga waka motuhake, ko nga whakatau a RL algorithms e pa ana ki te haumaru o nga kaihihi me nga tangata hikoi. He mea nui ki te whakarite kia kaua enei whakatau e pa ki te tangata takitahi, me te whai tikanga kaha mo nga hapa o te punaha.
- Ngā āwangawanga tūmataiti. He maha nga wa ka tukatukahia e nga punaha RL te maha o nga raraunga, tae atu ki nga korero whaiaro. Me whakatinanahia nga whakamarumaru tūmataitinga kia kaha te whakahaere raraunga ki te whai i nga paerewa ture me te tikanga, ina koa ka mahi nga punaha ki nga waahi whaiaro penei i nga kaainga me nga taputapu whaiaro.
- Ko te whakaute me te tika. Ko te karo i te piro he wero nui i roto i nga whakatakotoranga RL. I te mea e ako ana enei punaha mai i o raatau taiao, ka taea e nga rītaha i roto i nga raraunga te arahi ki nga whakatau kore tika. He mea tino nui tenei take i roto i nga tono penei i te mahi pirihimana matapae, i te utu utu ranei, i reira ka taea e nga algorithms rītaha te whakaū i te kore tika. Me whakamahi nga kaiwhakawhanake i nga tikanga whakaheke me te aromatawai tonu i te tika o a raatau punaha.
- Te kawenga takohanga me te maarama. Hei whakaiti i enei morearea, me marama nga aratohu me nga tikanga mo nga tikanga ako whakapakari matatika. Me noho marama nga kaiwhakawhanake me nga whakahaere mo te pehea e whakatau ai a raatau punaha RL, nga raraunga e whakamahia ana e ratou, me nga tikanga e mahia ana hei whakatika i nga awangawanga matatika. I tua atu, me whai tikanga mo te kawenga takohanga me nga whiringa whakaora mena ka raru te punaha RL.
- Te whakawhanaketanga matatika me te whakangungu: I te wa o te whakawhanaketanga me te whakangungu, he mea nui ki te whai whakaaro ki te takenga matatika o nga raraunga me te whakauru i nga momo tirohanga kanorau. Ka awhina tenei huarahi ki te whakatika i mua i nga mahi whakahiato me te whakarite kia pakari, kia tika hoki nga punaha RL puta noa i nga momo keehi.
- Te paanga ki te mahi. I te mea he nui ake te whakamahi i nga punaha RL i roto i nga umanga rereke, he mea nui ki te titiro ki te paanga o aua mahi. Me whai whakaaro nga kai-whakahaere me te whakaiti i nga paanga kino ki runga i nga mahi, penei i nga tangata kua ngaro i a raatau mahi, i nga huringa mahi ranei. Me whakarite kia nui ake nga mahi ka mahi aunoa, he kaupapa hei whakaako i nga pukenga hou me te hanga mahi ki nga waahi hou.
Na roto i ta maatau tātaritanga taipitopito, e marama ana ahakoa te tuku a RL i te kaha nui ki te whakarereke i nga momo waahanga, he mea nui te ata whakaaro ki enei waahanga matatika. Ma te mohio me te aro ki enei whakaaro, ka taea e nga kaiwhakawhanake me nga kairangahau te whakarite kia ahu whakamua te hangarau RL i runga i nga tikanga e rite ana ki nga tikanga me nga uara o te hapori.
Opaniraa
| Ko ta matou ruku hohonu ki te ako whakakaha (RL) kua whakaatu mai ki a matou tona kaha kaha ki te whakarereke i nga waahanga maha ma te whakaako mihini ki te ako me te whakatau whakatau ma te whakamatautau me te hapa. Ko te urutau me te kaha o RL ki te whakapai tonu ka waiho hei whiringa tino pai mo te whakapai i nga mea katoa mai i nga motuka taraiwa ki nga punaha hauora. Heoi, i te mea ka nui haere a RL ki o tatou oranga o ia ra, me tino whakaaro tatou ki ona paanga matatika. He mea nui te aro ki te tika, te noho muna, me te tuwhera i a tatou e torotoro ana i nga painga me nga wero o tenei hangarau. Ano, i te mea ka huri a RL i te maakete mahi, he mea nui ki te tautoko i nga huringa ka awhina i nga tangata ki te whakawhanake i nga pukenga hou me te hanga mahi hou. Ma te titiro whakamua, kaua tatou e whai ki te whakapai noa i te hangarau RL engari me whakarite kia tutuki i a tatou nga paerewa matatika teitei e whai hua ai te hapori. Ma te whakakotahi i nga mahi auaha me te kawenga, ka taea e taatau te whakamahi i te RL ehara i te mea ki te ahu whakamua hangarau engari ki te whakatairanga i nga huringa pai i roto i te hapori. Ka mutu ta matou arotake hohonu, engari ko te timatanga noa iho o te whakamahi tika i te RL ki te hanga i te maaramatanga me te tika ake. |
