Бұл мақаланың (және басқалардың) жарыққа шығуының себебі қарапайым: мүмкін, жасанды интеллект тек талқылау үшін маңызды тақырып емес, болашақ контекстінде ең маңыздысы шығар. Жасанды интеллект потенциалының мәнін шамалы білетін кез келген адам бұл тақырыпты елемеуге болмайтынын түсінеді. Кейбіреулер - және олардың арасында Илон Маск, Стивен Хокинг, Билл Гейтс, біздің планетамыздағы ең ақымақ адамдар емес - жасанды интеллект адамзат үшін экзистенциалды қауіп төндіреді деп санайды, бізді түр ретінде мүлде жойылуымен салыстыруға болады. Жақсы, отырыңыз және мен үшін өзіңізге нүкте қойыңыз.
«Біз Жердегі адам өмірінің пайда болуымен салыстырылатын өзгерістердің алдында тұрмыз» (Вернор Винге).
Мұндай өзгерістің алдында тұру нені білдіреді?
Бұл ерекше ештеңе жоқ сияқты. Бірақ графикте осындай жерде болу сіздің оң жақта не бар екенін білмейтіндігіңізді білдіреді. Сіз осындай нәрсені сезінуіңіз керек:
Сезім қалыпты, ұшу жақсы жүріп жатыр.
Болашақ келеді
Уақыт машинасы сізді 1750 жылға дейін жеткізді деп елестетіп көріңізші - бұл кезде әлемде электр энергиясының үздіксіз үзілуі орын алды, қалалар арасындағы байланыс зеңбірекпен атылды, ал барлық көлік шөппен жүрді. Айталық, сіз сонда келдіңіз, біреуді алып, 2015 жылға жеткізіңіз, мұнда қалай екенін көрсетіңіз. Біз бұл жылтыр капсулалардың жол бойымен ұшып бара жатқанын көру қандай болатынын түсіне алмаймыз; мұхиттың арғы жағындағы адамдармен сөйлесу; мың шақырым қашықтықтағы спорттық ойындарға қараңыз; 50 жыл бұрын жазылған музыкалық қойылымды тыңдау; суретке түсіруге немесе тірі сәтті түсіруге болатын сиқырлы тіктөртбұрышпен ойнау; оның орналасқан жерін көрсететін паранормальды көк нүктесі бар картаны құру; біреудің бетіне қарап, онымен бірнеше шақырым жерде сөйлесіңіз және т.б. Мұның бәрі үш жүз жылға жуық адамдар үшін түсініксіз сиқыр. Интернет, Халықаралық ғарыш станциясы, үлкен адрон коллайдері, ядролық қару мен жалпы салыстырмалылықты айтпағанда.
Ол үшін мұндай тәжірибе таңқаларлық немесе таңқаларлық болмайды - бұл сөздер психикалық күйреудің барлық мәнін білдірмейді. Біздің саяхатшы мүлдем өлуі мүмкін.
Бірақ бір қызықты жер бар. Егер ол 1750 жылға оралса және біз оның 2015 жылға реакциясын көргіміз келетініне қызғаныш білдірсе, ол уақыт машинасын алып, айталық, 1500 -мен де солай жасауға тырысуы мүмкін. Ол сол жерге ұшады, адамды табады, оны 1750 жылы алып кетеді және бәрін көрсетеді. 1500 жастан асқан жігіт шошып кетеді, бірақ өлуі мүмкін емес. Ол, әрине, таң қалатынына қарамастан, 1500 мен 1750 арасындағы айырмашылық 1750 мен 2015 жылдарға қарағанда әлдеқайда аз. 1500 жастан асқан адам физиканың кейбір сәттеріне таң қалады, Еуропаның қатты өкшенің астында қалғанына таң қалады. империализмнің басына әлемнің жаңа картасын салады … Бірақ 1750 жылғы күнделікті өмір - көлік, байланыс және т.б. - оны өлімге таң қалдыруы екіталай.
Жоқ, 1750 жастың жігіті біз сияқты көңілді жүруі үшін, ол әлдеқайда көп жүруі керек - бәлкім, біздің эрамызға дейінгі 12000 жылы осындай жыл. Біздің заманымызға дейін, бірінші ауылшаруашылық төңкерісінен бұрын да алғашқы қалалар мен өркениет ұғымы дүниеге келді. Егер аңшылар жинайтын әлемнен біреу, адамдар басқа жануарлар болған кезден бастап, биік шіркеулермен, мұхиттарды кесіп өтетін кемелермен, олардың ғимараттың ішінде болу туралы түсінігімен 1750 ж. Алып адам империяларын көрген болса. бұл білім - ол, бәлкім, өлетін еді.
Содан кейін, өлгеннен кейін, ол қызғанады және солай жасағысы келеді. 12000 жыл бұрын, біздің заманымыздан бұрынғы 24000 ж. д., адамды алып, уақытында әкелетін еді. Ал жаңа саяхатшы оған: «Жақсы, рахмет», - дейтін. Өйткені бұл жағдайда біздің эрамызға дейінгі 12000 ж. NS. 100000 жылға қайтып, жергілікті аборигендерге от пен тілді бірінші рет көрсету қажет болар еді.
Егер біз біреуді өлімге таң қалу үшін болашаққа жеткізуіміз керек болса, прогресс белгілі бір қашықтықты жүріп өтуі керек. Өлімнің прогресс нүктесіне (TPP) жету керек. Яғни, егер аңшы-жинаушылар уақытында ТСП 100 000 жылға созылса, келесі аялдама біздің эрамызға дейінгі 12000 жылдары орын алды. NS. Осыдан кейін прогресс тезірек болды және 1750 жылға қарай әлемді түбегейлі өзгертті (шамамен). Содан кейін бірнеше жүз жыл қажет болды, біз міне.
Уақыт өте келе адамзат прогресі тез жүретін бұл сурет - футуролог Рэй Курцвейл адамзат тарихындағы қайтарымды тездету заңын атайды. Себебі, дамыған қоғамдар дамымаған қоғамға қарағанда прогресті жоғары қарқынмен жүргізе алады. ХІХ ғасырдың адамдары XV ғасырдағы адамдарға қарағанда көп нәрсені білді, сондықтан 19 ғасырдағы прогресс 15 ғасырға қарағанда тезірек болғаны таңқаларлық емес және т.б.
Кішігірім масштабта бұл да жұмыс істейді. Болашаққа оралу 1985 жылы, ал өткені 1955 жылы шыққан. Фильмде, 1955 жылы Майкл Дж. Фокс қайтып келгенде, оны теледидардың жаңалығы, сода бағасы, гитараның дыбысына деген сүйіспеншіліктің болмауы және жаргонның өзгеруі таң қалдырды. Бұл әрине басқа әлем, бірақ егер фильм бүгін түсірілсе және өткені 1985 жылы болса, онда айырмашылық әлдеқайда жаһандық болар еді. Марти Макфли, дербес компьютерлер, Интернет, ұялы телефондар кезінен 1955 жылға дейін 1985 жылдан бастап барған Мартиге қарағанда әлдеқайда маңызды болар еді.
Мұның бәрі қайтарымды тездету заңының арқасында. 1985-2015 жылдардағы прогрестің орташа даму қарқыны 1955-1985 жылдарға қарағанда жоғары болды - себебі бірінші жағдайда әлем неғұрлым дамыған, ол соңғы 30 жылдағы жетістіктерге қаныққан.
Осылайша, жетістіктер неғұрлым көп болса, өзгерістер соғұрлым тез жүреді. Бірақ бұл бізге болашаққа белгілі бір кеңестер қалдырмауы керек пе?
Курцвейл бүкіл ХХ ғасырдың прогресі 2000 жылғы даму деңгейінде небәрі 20 жыл ішінде жүзеге асуы мүмкін еді деп болжайды - яғни 2000 жылы прогресс 20 ғасырдың орташа қарқынынан бес есе жылдам болды. Ол сондай -ақ бүкіл ХХ ғасырдағы прогресс 2000 мен 2014 жылдар аралығындағы прогресске тең болды деп есептейді, ал басқа 20 ғасырдың прогресі 2021 жылға дейінгі кезеңге, яғни жеті жылда ғана тең болады. Бірнеше ондаған жылдар өткен соң, ХХ ғасырдың барлық прогресі жылына бірнеше рет, содан кейін бір айда болады. Ақырында, қайтарымды тездету заңы бізді 21 -ші ғасырдағы прогресс 20 -шы ғасырдағы прогресстен 1000 есе көп болатындығына әкеледі.
Егер Курцвейл мен оның жақтастары дұрыс айтса, 2030 бізді таң қалдырады, 1750 жастағылар біздің 2015 жылды таңқалдырады, яғни келесі ТСП бірнеше онжылдықтарды алады - және 2050 әлемі басқаша болады біз әрең білетін қазіргі заманнан. Және бұл фантастика емес. Бұл сіз бен бізден ақылды әрі білімді көптеген ғалымдардың пікірі. Ал егер сіз тарихқа үңілсеңіз, бұл болжам таза логикадан шығатынын түсінесіз.
Неліктен біз «35 жылдан кейін әлем танымастай өзгереді» деген мәлімдемелермен бетпе -бет келгенде, біз күмәнмен иығымызды қысып аламыз? Болашаққа болжамға күмәнмен қарауымыздың үш себебі бар:
1. Тарихқа келетін болсақ, біз түзу сызықтармен ойлаймыз. Келесі 30 жылдағы прогресті елестетуге тырысқанда, біз өткен 30 жылдағы прогресті қаншалықты мүмкін болатынының көрсеткіші ретінде қараймыз. Біздің әлем 21 -ші ғасырда қалай өзгеретіні туралы ойланғанда, біз 20 ғасырдың ілгерілеуін қабылдаймыз және оны 2000 жылға қосамыз. Біздің жігіт 1750 ж. Сол қатені жібереді, ол 1500 -ден біреуді алып, оны таң қалдыруға тырысады. Біз интуитивті түрде экспоненциалды болуымыз керек кезде сызықтық түрде ойлаймыз. Негізінде, футуролог алдыңғы 30 жылға қарамай, алдағы 30 жылдағы прогресті болжауға тырысуы керек, бірақ прогрестің қазіргі деңгейін бағалайды. Содан кейін болжам дәлірек болады, бірақ бәрібір қақпаның қасында. Болашақ туралы дұрыс ойлау үшін, сіз заттардың қазіргіден әлдеқайда жылдам қарқынмен қозғалуын көруіңіз керек.
[/орталық]
2. Соңғы тарихтың траекториясы жиі бұрмаланған. Біріншіден, тіпті экспоненциалды қисық сызықтың кішкене бөліктерін көргенде сызықты болып көрінеді. Екіншіден, экспоненциалды өсу әрқашан тегіс және біркелкі бола бермейді. Курцвейл прогресс серпентиндік қисықтарда қозғалады деп есептейді.
Мұндай қисық үш фазадан өтеді: 1) баяу өсу (экспоненциалды өсудің бастапқы кезеңі); 2) тез өсу (жарылғыш, экспоненциалды өсудің кеш фазасы); 3) спецификалық парадигма түріндегі тұрақтандыру.
Егер сіз соңғы оқиғаға қарасаңыз, сіз қазірдің өзінде тұрған S қисығының бөлігі сіздің қабылдауыңыздан прогресс жылдамдығын жасыра алады. 1995-2007 жылдар аралығында Интернеттің жарылғыш дамуына, Microsoft, Google және Facebook -ті көпшілікке таныстыруға, әлеуметтік желілердің пайда болуына және ұялы телефондардың, содан кейін смартфондардың дамуына жұмсалды. Бұл біздің қисықтың екінші кезеңі болды. Бірақ 2008 жылдан 2015 жылға дейінгі кезең кем дегенде технологиялық фронтта аз бұзылды. Болашақ туралы ойлайтындар прогрестің жалпы қарқынын бағалау үшін соңғы екі жыл қажет болуы мүмкін, бірақ олар үлкен суретті көрмейді. Шындығында, қазір жаңа және қуатты 2 -кезең пайда болуы мүмкін.
3. Біздің жеке тәжірибеміз келешекке келгенде бізді қарт адамдар етеді. Біз әлем туралы өз идеяларымызды өз тәжірибемізге негіздейміз және бұл тәжірибе біз үшін жақын арада өсу қарқынын қалыпты жағдайға айналдырды. Сол сияқты біздің қиялымыз шектеулі, өйткені олар біздің тәжірибемізді болжау үшін пайдаланады, бірақ көбінесе бізде болашақты дәл болжауға мүмкіндік беретін құралдар жоқ. Болашаққа қатысты болжамдарды естігенде, олардың қалай жұмыс істейтіні туралы күнделікті түсінігімізге қайшы келеді, біз инстинктивті түрде оларды аңғал деп есептейміз. Егер мен саған 150 немесе 250 жыл өмір сүретінімді айттым, мүмкін сен мүлде өлмейсің, сен инстинктивті түрде «бұл ақымақтық, мен тарихтан білемін, осы уақыт ішінде бәрі өлді» деп ойлайсың. Олай болса: мұндай жылдарды ешкім көрмеді. Бірақ ұшақтар ойлап табылғанға дейін бірде -бір ұшақ ұшпаған.
Скептицизм сізге ақылға қонымды болып көрінгенімен, бұл жиі қате емес. Егер біз таза логикамен қаруланатын болсақ және әдеттегі тарихи зигзагтарды күтетін болсақ, онда алдағы онжылдықта өте, өте, өте өзгеруі керек екенін мойындауымыз керек; интуитивтіден әлдеқайда көп. Логика сонымен қатар, егер планетаның ең дамыған түрлері үлкен, әрі қарай үлкен секірулерді жалғастыра берсе, бір сәтте секіру соншалықты күшті болады, бұл өмірді түбегейлі өзгертеді. Адамзаттың ақылды болғаны соншалық, Жер планетасындағы кез келген басқа түрдің өмірін түбегейлі өзгерткен эволюция процесінде ұқсас нәрсе болды. Егер сіз дәл қазір ғылым мен техникада не болып жатқанын оқуға уақыт бөлсеңіз, сіз келесі үлкен секірістің қандай болатынын біле аласыз.
Супер интеллектке апаратын жол: AI (жасанды интеллект) дегеніміз не?
Бұл планетадағы көптеген адамдар сияқты, сіз де жасанды интеллекті ақылға қонымсыз ғылыми фантастикалық идея ретінде ойлауға дағдыланғансыз. Бірақ соңғы кезде көптеген байсалды адамдар бұл ақымақ идеяға алаңдаушылық білдірді. Не болды?
AI терминінің айналасында шатасуға әкелетін үш себеп бар:
Біз AI -ны фильмдермен байланыстырамыз. «Жұлдызды соғыстар». «Терминатор». «Ғарыштық Одиссея 2001». Бірақ роботтар сияқты, бұл фильмдердегі АИ - бұл фантастика. Осылайша, Голливуд таспалары біздің қабылдау деңгейін төмендетеді, АИ таныс, таныс және, әрине, зұлымдыққа айналады.
Бұл қолданудың кең өрісі. Бұл телефондағы калькулятордан және болашақта әлемде төңкеріс жасайтын өздігінен жүретін көліктерді дамытудан басталады. AI осының бәрін білдіреді және бұл түсініксіз.
Біз AI -ді күн сайын қолданамыз, бірақ көбінесе біз оны түсінбейміз. 1956 жылы «жасанды интеллект» терминін ойлап тапқан Джон Маккарти айтқандай, «ол жұмыс істесе, енді ешкім оны AI деп атамайды». AI нақты нәрседен гөрі болашақ туралы мифтік болжамға ұқсайды. Сонымен қатар, бұл атаудың шындыққа айналмаған өткеннің дәмі бар. Рэй Курцвейл AI -ны 80 -ші жылдардағы фактілермен байланыстыратын адамдарды еститінін айтады, бұл «2000 -шы жылдардың басында Интернет нүктелермен бірге өлді» дегенмен салыстыруға болады.
Түсінікті болайық. Біріншіден, роботтар туралы ойлануды тоқтатыңыз. AI үшін контейнер болып табылатын робот кейде адам кейпіне еліктейді, кейде олай болмайды, бірақ AI - роботтың ішіндегі компьютер. AI - бұл ми, ал робот - дене, егер оның денесі мүлде болса. Мысалы, Сиридің бағдарламалық жасақтамасы мен деректері - бұл жасанды интеллект, әйелдің дауысы - бұл АИ -нің бейнесі және бұл жүйеде роботтар жоқ.
Екіншіден, сіз «сингулярлық» немесе «технологиялық ерекшелік» терминін естіген шығарсыз. Бұл термин математикада әдеттегі ережелер жұмыс істемейтін ерекше жағдайды сипаттау үшін қолданылады. Физикада ол қара тесіктің шексіз және тығыз нүктесін немесе Үлкен жарылыстың бастапқы нүктесін сипаттау үшін қолданылады. Тағы да, физика заңдары онда жұмыс істемейді. 1993 жылы Вернор Винге әйгілі эссе жазды, онда ол терминді болашақта біздің технологиялардың интеллектісі біздікінен асып түсетін уақытқа қолданды - бұл кезде біз білетін өмір мәңгілікке өзгереді және оның өмір сүру ережелері. енді жұмыс істемейді …. Рэй Курцвейл бұл терминді одан әрі нақтылап, сингулярлыққа кері шегіну заңы шекті нүктеге жеткенде, технологиялық прогресс соншалықты тез қозғалғанда, біз оның жетістіктерін байқамай қалғанымызда, шексіз жылдамдыққа қол жеткізілетінін көрсетті. Сонда біз мүлде жаңа әлемде өмір сүретін боламыз. Алайда, көптеген сарапшылар бұл терминді қолдануды тоқтатты, сондықтан біз оған жиі жүгінбейміз.
Ақырында, АИ -нің кең тұжырымдамасынан шығатын АИ -нің көптеген түрлері немесе формалары болса да, АИ -дің негізгі категориялары калибрге байланысты. Үш негізгі категория бар:
Фокусталған (әлсіз) жасанды интеллект (AI). UII бір салаға маманданған. Бұл АИ арасында шахматтан әлем чемпионын жеңе алатындар бар, бірақ бұл туралы. Қатты дискіде деректерді сақтаудың ең жақсы әдісін ұсына алатын біреу бар, және бұл.
Жалпы (күшті) жасанды интеллект. Кейде адам деңгейіндегі АИ деп те аталады. AGI адам сияқты ақылды компьютерді білдіреді - адамға тән кез келген интеллектуалды әрекетті орындауға қабілетті машина. AGI құру AGI -ге қарағанда әлдеқайда қиын, және біз бұған әлі жеткен жоқпыз. Профессор Линда Готфредсон интеллектіні «жалпы мағынада психикалық потенциал деп сипаттайды, оған басқалармен қатар ойлау, жоспарлау, мәселелерді шешу, дерексіз ойлау, күрделі идеяларды түсіну, тез үйрену және тәжірибеден үйрену қабілеті кіреді». AGI мұның бәрін сіз сияқты оңай жасай алады.
Жасанды супер интеллект (ISI). Оксфорд философы және АИ теоретигі Ник Бостром супер интеллекті «ғылыми шығармашылықты, жалпы даналық пен әлеуметтік дағдыларды қоса алғанда, іс жүзінде барлық саладағы ең жақсы адам ақылынан әлдеқайда ақылды» деп анықтайды. Жасанды супер интеллект адамға қарағанда біршама ақылды компьютерді де, кез келген бағытта триллион есе ақылды компьютерді де қамтиды. ISI - интеллектке қызығушылықтың артуының себебі, сондай -ақ мұндай пікірталастарда «жойылу» және «өлмеу» деген сөздердің жиі шығуы.
Қазіргі уақытта адамдар AI калибрінің бірінші кезеңін - AI -ны көптеген жолдармен жеңіп шықты. AI төңкерісі - AGI -ден AGI арқылы ISI -ге дейінгі сапар. Бұл жол біз аман қалмауы мүмкін, бірақ ол бәрін өзгертеді.
Осы саланың жетекші ойшылдары бұл жолды қалай көретінін және бұл революция сіз ойлағаннан тезірек жүзеге асуы мүмкін екенін мұқият қарастырайық.
Біз бұл ағымда қайдамыз?
Фокусталған жасанды интеллект - бұл адамның интеллектіне немесе белгілі бір тапсырманы орындау тиімділігіне тең немесе одан жоғары машиналық интеллект. Бірнеше мысал:
* Автокөліктер ICD жүйесімен жабдықталған, бұғаттауға қарсы тежеу жүйесінің қашан іске қосылатынын анықтайтын компьютерлерден отын бүрку жүйесінің параметрлерін анықтайтын компьютерге дейін. Қазіргі уақытта сынақтан өтетін Google-дің өздігінен жүретін көліктерінде қоршаған әлемді сезетін және оған жауап беретін күшті AI жүйелері болады.
* Сіздің телефоныңыз шағын ICD фабрикасы. Карталар қосымшасын пайдаланған кезде, қолданбаларды немесе музыканы жүктеу бойынша ұсыныстар алыңыз, ертеңгі ауа -райын тексеріңіз, Siri -мен сөйлесіңіз немесе басқа әрекеттерді жасаңыз - сіз AI қолданасыз.
* Сіздің электрондық пошта спам сүзгісі AI -дің классикалық түрі. Ол спамды пайдаланылатын электрондық хаттардан қалай ажырату керектігін анықтаудан басталады, содан кейін ол сіздің электрондық пошталарыңыз бен қалауыңызды өңдейтінін біледі.
* Бұл ыңғайсыз сезім кеше сіз іздеу жүйесінде бұрағыш немесе жаңа плазма іздеген кезде, бірақ бүгін сіз басқа сайттардағы пайдалы дүкендердің ұсыныстарын көрдіңіз бе? Әлде әлеуметтік желі сізге қызықты адамдарды дос ретінде қосуды ұсынғанда? Бұлардың барлығы - интеграцияланған AI жүйелері, сіздің қалауыңызды анықтайды, интернеттен сіз туралы мәліметтерді алады, сізге жақындай түседі. Олар миллиондаған адамдардың мінез -құлқын талдайды және ірі компаниялардың қызметтерін сату немесе олардың қызметтерін жақсарту үшін осы талдаулар негізінде қорытынды жасайды.
* Google Translate, тағы бір классикалық AI жүйесі, белгілі бір нәрселерде әсерлі. Дауысты тану да солай. Сіздің ұшақ қонған кезде, оның терминалын адам анықтамайды. Билеттің бағасы бірдей. Әлемдегі ең жақсы дойбы, шахмат, нарда, бульдозер және басқа ойындар бүгінде тар бағытталған жасанды интеллектпен ұсынылған.
* Google іздеу - бұл беттердің рейтингісі мен SERP -ді анықтау үшін керемет ақылды әдістерді қолданатын бір үлкен AI.
Және бұл тек тұтынушылар әлемінде. Күрделі IMD жүйелері әскери, өндірістік және қаржылық салаларда кеңінен қолданылады; медициналық жүйелерде (IBM's Watson деп ойлаймын) және т.б.
IMD жүйелері қазіргі күйінде қауіп төндірмейді. Ең нашар жағдайда, қате немесе нашар бағдарламаланған АИ жергілікті апатқа, электр қуатының үзілуіне, қаржы нарығының құлдырауына және т.б. Бірақ AGI -ге экзистенциалды қауіп тудыруға құқық берілмегенімен, біз кеңірек нәрсені көруіміз керек - бізді жойқын дауыл күтіп тұр, оның жаршысы - AII. AGI -дегі әрбір жаңа жаңалық AGI мен ISI -ге апаратын жолға бір блок қосады. Немесе, Аарон Саенц жақсы атап өткендей, біздің әлемдегі АИ «жас Жердің алғашқы сорпасының аминқышқылдары» сияқты - бірақ бір күні оянатын өмірдің жансыз компоненттері.
AGI -ден AGI -ге дейінгі жол: неге бұл қиын?
Адам интеллектінің күрделілігін ешнәрсе ақылды компьютер жасаудан гөрі ашпайды. Зәулім ғимараттар салу, ғарышқа ұшу, Үлкен жарылыстың құпиялары - мұның бәрі біздің миымызды қайталау немесе, кем дегенде, жай ғана түсіну. Адам миы қазіргі уақытта белгілі ғаламдағы ең күрделі объект.
Мүмкін сіз AGI құруда қандай қиындық бар екеніне күмәнданбайтын шығарсыз (жалпы алғанда, бір салада емес, адам ретінде ақылды компьютер). Бір секунд ішінде он таңбалы екі санды көбейте алатын компьютер құру алмұрт атқылау сияқты оңай. Ит пен мысыққа қарап, иттің қайда және мысықтың қайда екенін айта алатын адамды құру өте қиын. Гроссмейстерді жеңе алатын АИ жасаңыз? Жасалған. Енді оны алты жасар кітаптан бір абзацты оқып, сөздерді ғана емес, мағынасын да түсінуге тырысыңыз. Google мұны жасауға миллиардтаған доллар жұмсайды. Есептеулер, қаржы нарығының стратегияларын есептеу, тілді аудару сияқты күрделі нәрселермен компьютер мұны оңай жеңеді, бірақ қарапайым нәрселермен - көру, қозғалыс, қабылдау - жоқ. Дональд Кнут айтқандай: «Қазіргі уақытта интеллект« ойлауды »қажет ететін барлық нәрсені жасайды, бірақ ол адамдар мен жануарлардың ойланбай жасайтын нәрселеріне төтеп бере алмайды».
Мұның себептері туралы ойлана отырып, сіз бізге қарапайым болып көрінетін нәрселердің олар бізге (және жануарларға) эволюция жүздеген миллион жылдар бойы оңтайландырылғандықтан ғана көрінетінін түсінесіз. Сіз затқа қолыңызды созған кезде бұлшықеттер, буындар, иық, шынтақ және қол сүйектері физикалық операциялардың ұзақ тізбектерін бірден жасайды, олар сіз көргенмен синхронды түрде қолыңызды үш өлшемде қозғайды. Бұл сізге қарапайым болып көрінеді, өйткені сіздің миыңыздағы идеалды бағдарламалық қамтамасыз ету бұл процестерге жауап береді. Бұл қарапайым трюк сізге қисық жазылған сөзді (captcha) және зиянды бот үшін тозақты енгізу арқылы жаңа есептік жазбаны тіркеу процедурасын жеңілдетеді. Біздің миымыз үшін бұл қиын емес: тек көре білу керек.
Екінші жағынан, көп санды көбейту немесе шахмат ойнау - бұл биологиялық жаратылыстар үшін жаңа әрекет, және бізде оларды жетілдіруге уақыт жетпеді (миллиондаған жылдар емес), сондықтан бізді компьютер жеңу қиын емес. Ойланып көріңізші: сіз үлкен сандарды көбейтетін бағдарламаны немесе миллиондаған емлелерде В әрпін танымайтын бағдарламаны, ең күтпеген қаріптерде, қолмен немесе қармен таяқпен жасағанды қалайсыз ба?
Бір қарапайым мысал: бұған қарап, сіз және сіздің компьютеріңіз бұл екі түрлі реңктің ауыспалы квадраттары екенін түсінесіз.
Бірақ егер сіз қараны алып тастасаңыз, сіз бірден толық суретті сипаттайсыз: цилиндрлер, жазықтықтар, үш өлшемді бұрыштар, бірақ компьютер мүмкін емес.
Ол көрген нәрселерін әр түрлі реңктердегі екі өлшемді фигуралардың әртүрлілігі ретінде сипаттайды, бұл негізінен шындық. Сіздің миыңыз суреттегі тереңдікті, көлеңкелі ойынды, жарықты түсіндіру үшін көп жұмыс жасайды. Төмендегі суретте компьютер екі өлшемді ақ-сұр-қара коллажды көреді, ал шын мәнінде үш өлшемді тас бар.
Біз жаңа ғана айтып өткеніміз - ақпаратты түсінуге және өңдеуге қатысты айсбергтің ұшы. Адаммен бір деңгейге жету үшін компьютер нәзік мимиканың айырмашылығын, ләззат, қайғы, қанағат, қуаныш арасындағы айырмашылықты және Чатскийдің неге жақсы екенін түсінуі керек, ал Молчалин емес.
Енді не істеу керек?
AGI құрудың бірінші қадамы: есептеу қуатын арттыру
AGI мүмкін болуы үшін қажет нәрселердің бірі - есептеу техникасының қуатын арттыру. Егер жасанды интеллект жүйесі ми сияқты ақылды болуы керек болса, онда ол шикізатты өңдеу қуаты бойынша миға сәйкес келуі керек.
Бұл мүмкіндікті арттырудың бір әдісі - ми шығаратын секундына есептеулердің жалпы саны (OPS), және сіз бұл санды мидың әр құрылымы үшін максималды OPS -ті анықтау және оларды біріктіру арқылы анықтай аласыз.
Рэй Курцвейл бір құрылымның және оның салмағының жалпы мидың салмағына қатысты кәсіби бағасын алып, жалпы бағалауды алу үшін оны пропорционалды түрде көбейту жеткілікті деген қорытындыға келді. Біраз күмәнді естіледі, бірақ ол мұны әр түрлі бағалармен бірнеше рет жасады және әрқашан бір санды ойлап тапты: 10 ^ 16 немесе 10 квадриллион OPS тәртібі бойынша.
Әлемдегі ең жылдам суперкомпьютер, қытайлық Tianhe-2 бұл көрсеткіштен асып кетті: ол секундына 32 квадриллионға жуық операция жасай алады. Бірақ Tianhe-2 720 шаршы метр кеңістікті алады, 24 мегаватт энергия жұмсайды (біздің миымыз 20 ватт қана жұмсайды) және 390 миллион доллар тұрады. Біз коммерциялық немесе кеңінен қолдану туралы айтып отырған жоқпыз.
Курцвейл компьютерлердің денсаулығын 1000 долларға қанша OPS сатып алуға болатынын бағалауды ұсынады. Бұл сан адамдық деңгейге жеткенде - 10 квадриллиондық OPS - AGI біздің өміріміздің бір бөлігіне айналуы мүмкін.
Мур заңы - компьютерлердің максималды есептеу қуаты әр екі жылда екі есе артады деген тарихи сенімді ереже - компьютердің технологиясының дамуы, адамның тарих арқылы қозғалысы сияқты, геометриялық прогрессиямен өсетінін білдіреді. Егер біз мұны Курцвейлдің мың долларлық ережесімен салыстыратын болсақ, қазір біз 10 триллион OPS -ті 1000 долларға сатып ала аламыз.
1000 долларлық компьютерлер есептеу қуаты бойынша тышқанның миын айналып өтеді және адамдардан мың есе әлсіз. Компьютерлер 1985 жылы адам миынан триллион есе, 1995 жылы миллиард, 2005 жылы миллионнан әлсіз болғанын еске түсірмейінше, бұл жаман көрсеткіш болып көрінеді. 2025 жылға қарай бізде мидың есептеу қуатын бәсекелес ететін қол жетімді компьютер болуы керек..
Осылайша, AGI үшін қажетті шикі қуат қазірдің өзінде техникалық қол жетімді. 10 жыл ішінде ол Қытайдан шығып, бүкіл әлемге таралады. Бірақ тек есептеу қуаты жеткіліксіз. Ал келесі сұрақ: біз бұл күшпен адам деңгейіндегі интеллекті қалай қамтамасыз етеміз?
AGI құрудың екінші қадамы: оған интеллект беру
Бұл бөлім өте күрделі. Шынында да, машинаны қалай ақылды ету керектігін ешкім білмейді - біз әлі де мысықты иттен ажырата алатын, қарға түсірілген В -ны оқшаулайтын және адам анализін жасай алатын адам деңгейіндегі интеллекті қалай жасау керектігін білуге тырысамыз. екінші деңгейлі фильм. Дегенмен, болашақта ойлауға болатын бірнеше стратегия бар және олардың біреуі жұмыс істеуі керек.
1. Миды қайталаңыз
Бұл нұсқа ғалымдар өте ақылды және сұрақтарға жақсы жауап беретін баламен бір сыныпта отырғандай; және олар ғылымды түсінуге тырысса да, олар ақылды баланы қуып жетуге де жақындамайды. Ақырында, олар шешеді: тозаққа, оның сұрақтарына жауаптарды жазыңыз. Бұл мағынасы бар: біз өте күрделі компьютер жасай алмаймыз, сондықтан неге әлемдегі ең жақсы прототиптердің бірін: біздің миды қабылдамасқа?
Ғылыми әлем біздің миымыздың қалай жұмыс істейтінін және эволюцияның осындай күрделі затты қалай құрғанын анықтау үшін көп жұмыс жасауда. Ең оптимистік бағалаулар бойынша, олар мұны тек 2030 жылға дейін жасай алады. Бірақ біз мидың барлық құпияларын, оның тиімділігі мен қуатын түсінгеннен кейін, оның технологияны жасаудағы әдістерінен шабыт аламыз. Мысалы, мидың жұмысына еліктейтін компьютерлік архитектураның бірі - бұл нейрондық желі. Ол кіріс пен шығыс арқылы бір -бірімен байланысқан «нейрондар» транзисторлар желісінен басталады және жаңа туған нәресте сияқты ештеңе білмейді. Жүйе тапсырмаларды орындауға, қолмен жазылған мәтінді тануға және т. Дұрыс жауап берілген жағдайда транзисторлар арасындағы байланыс күшейеді, ал қате болса - әлсірейді. Сұрақтар мен жауаптардың көптеген циклдарынан кейін жүйе белгілі бір тапсырмалар үшін оңтайландырылған ақылды нейрондық тоқуды қалыптастырады. Ми дәл осылай үйренеді, бірақ әлдеқайда күрделі, және біз оны зерттеуді жалғастыра отырып, біз нейрондық желілерді жетілдірудің керемет жаңа әдістерін ашамыз.
Одан да экстремалды плагиат мидың толық эмуляциясы деп аталатын стратегияны қамтиды. Мақсаты: Нағыз миды жұқа тілімдерге бөлу үшін, олардың әрқайсысын сканерлеңіз, содан кейін бағдарламалық қамтамасыз етуді қолдана отырып 3D моделін дәл қалпына келтіріңіз, содан кейін оны қуатты компьютерге аударыңыз. Содан кейін бізде ми жасай алатын барлық нәрсені ресми түрде жасай алатын компьютер болады: ол тек ақпаратты үйреніп, жинау керек. Егер инженерлер табысқа жетсе, олар нағыз миды керемет дәлдікпен еліктей алады, оны бір рет компьютерге жүктегенде, мидың жеке басы мен жады өзгеріссіз қалады. Егер миы Вадимге қайтыс болғанға дейін тиесілі болса, компьютер Вадим рөлінде оянады, ол енді адамдық деңгейдегі АГИ болады, ал біз өз кезегімізде Вадимді керемет интеллектуалды ISI-ге айналдырамыз, ол ол міндетті түрде болады. риза болыңыз.
Біз миды толық эмуляциялаудан қаншалықты алыспыз? Шындығында, біз тек 302 нейроннан тұратын миллиметрлік жалпақ құрттың миын еліктедік. Адам миында 100 миллиард нейрон бар. Егер бұл санға жету сізге пайдасыз болып көрінсе, прогрестің экспоненциалды өсу қарқыны туралы ойланыңыз. Келесі қадам құмырсқаның миының эмуляциясы болады, содан кейін тышқан болады, содан кейін адамға оңай жетуге болады.
2. Эволюция жолымен жүруге тырысыңыз
Егер біз ақылды баланың жауаптары есептен шығаруға тым күрделі деп шешсек, біз оның емтиханға дайындық және оның ізімен жүруге тырысуға болады. Біз не білеміз? Ми сияқты қуатты компьютерді құру әбден мүмкін - біздің миымыздың эволюциясы мұны дәлелдеді. Ал егер ми тым күрделі болса, біз эволюцияға еліктеуге тырысамыз. Мәселе мынада, егер біз миға еліктей алатын болсақ та, бұл құстардың қанаттарының қозғалысына еліктейтін күлкілі қолдарымен ұшақ құрастыруға тырысу сияқты болуы мүмкін. Көбінесе біз биологияны дәл еліктемей, машиналық бағдарланған тәсілмен жақсы машиналар жасай аламыз.
AGI құру үшін эволюцияны қалай модельдеуге болады? Бұл «генетикалық алгоритмдер» деп аталатын әдіс келесідей жұмыс істеуі керек: өнімді процесс және оның бағасы болуы керек, және ол қайта -қайта қайталанатын болады (осылайша биологиялық тіршілік иелері «бар» және олардың қабілеттеріне қарай бағаланады). көбейту). Компьютерлер тобы тапсырмаларды орындайды, ал олардың ең табыстысы басқа компьютерлермен өз сипаттамаларын бөліседі, «шығару». Табысы аз адамдар тарихтың қоқыс жәшігіне аяусыз тасталады. Көптеген қайталанулар арқылы бұл табиғи іріктеу процесі жақсы компьютерлер шығарады. Міндет эволюция процесі өздігінен жүруі үшін өсіру мен бағалау циклдарын құруда және автоматтандыруда жатыр.
Эволюцияны көшірудің кемшілігі - бір нәрсені жасау үшін эволюцияға миллиардтаған жылдар қажет, және оны жасау үшін бізге бірнеше онжылдықтар қажет.
Бірақ бізде эволюциядан айырмашылығы көп. Біріншіден, оның көрегендік қасиеті жоқ, ол кездейсоқ жұмыс істейді - ол пайдасыз мутацияны береді, мысалы, - және біз берілген тапсырмалар шеңберінде процесті басқара аламыз. Екіншіден, эволюцияның мақсаты жоқ, оның ішінде интеллектке деген ұмтылыс - кейде қоршаған ортада белгілі бір түр интеллект есебінен ұтпайды (өйткені соңғысы көп энергия жұмсайды). Біз, керісінше, интеллекті арттыруды мақсат ете аламыз. Үшіншіден, интеллекті таңдау үшін эволюция үшінші жақтың бірқатар жақсартуларын қажет етеді - мысалы, энергияны тұтынуды жасушалар арқылы қайта бөлу - біз артықты алып тастап, электр энергиясын қолдана аламыз. Әрине, біз эволюцияға қарағанда жылдамырақ боламыз - бірақ тағы да біз одан асып түсе алатынымыз белгісіз.
3. Компьютерлерді өздеріне қалдырыңыз
Бұл-ғалымдар мүлде шаршап, өзін-өзі дамыту бағдарламасын құруға тырысқандағы соңғы мүмкіндік. Дегенмен, бұл әдіс бәрінен де перспективалы болып шығуы мүмкін. Идея - біз екі негізгі дағдыға ие болатын компьютер құрастырып жатырмыз: интеллектуалды интеллект пен кодтың өзгеруін зерттеу, бұл оған көбірек білуге ғана емес, сонымен қатар өзінің архитектурасын жақсартуға мүмкіндік береді. Біз компьютерлерді жеке компьютерлік инженер болуға үйрете аламыз, осылайша олар өздігінен дами алады. Және олардың басты міндеті - қалай ақылды болуға болатынын анықтау. Біз бұл туралы толығырақ сөйлесетін боламыз.
Мұның бәрі жақын арада болуы мүмкін
Аппараттық құралдардың жылдам дамуы мен бағдарламалық қамтамасыз етудің эксперименттері қатар жүреді, және AGI екі негізгі себеп бойынша тез және күтпеген жерден пайда болуы мүмкін:
1. Экспоненциалды өсу қарқынды және ұлулардың қадамдары жеті мильге секіруге тез жетуі мүмкін - бұл-g.webp
анимациялық сурет: hi-news.ru/wp-content/uploads/2015/02/gif.gif
2. Бағдарламалық қамтамасыз ету туралы айтатын болсақ, прогресс баяу болып көрінуі мүмкін, бірақ содан кейін бір серпіліс жылдамдықты өзгертеді (жақсы мысал: геоцентрлік дүниетаным кезінде адамдарға ғаламның жұмысын есептеу қиын болды, бірақ гелиоцентризмнің ашылуы бәрін әлдеқайда жеңілдетті). Немесе, өзін -өзі жақсартатын компьютерге келетін болсақ, бәрі өте баяу болып көрінуі мүмкін, бірақ кейде жүйеге бір ғана түзету оны адамдық немесе бұрынғы нұсқамен салыстырғанда мың есе тиімділіктен ажыратады.
AGI -ден ISI -ге дейінгі жол
Бір сәтте біз міндетті түрде AGI аламыз - жалпы жасанды интеллект, жалпы интеллект деңгейі бар компьютерлер. Компьютер мен адамдар бірге өмір сүретін болады. Немесе олар болмайды.
Мәселе мынада, адамдармен бірдей интеллект пен есептеу қабілеті бар AGI әлі де адамдардан айтарлықтай артықшылықтарға ие болады. Мысалға:
Жабдық
Жылдамдық. Ми нейрондары 200 Гц жиілікте жұмыс істейді, ал қазіргі заманғы микропроцессорлар (олар AGI құрылған кезде алатынымызға қарағанда баяу) 2 ГГц жиілігінде немесе біздің нейрондарға қарағанда 10 миллион есе жылдам жұмыс істейді. Ал 120 м / с жылдамдықпен қозғала алатын мидың ішкі байланысы компьютерлердің оптика мен жарық жылдамдығымен жұмыс істеу қабілетінен едәуір төмен.
Сақтау және көлемі. Мидың көлемі біздің бас сүйегіміздің көлемімен шектеледі және ол үлкен бола алмайды, әйтпесе 120 м / с жылдамдықтағы ішкі байланыс бір құрылымнан екіншісіне өту үшін тым ұзақ уақыт алады. Компьютерлер кез келген физикалық көлемге дейін кеңейе алады, аппараттық құралдарды көбірек қолдана алады, жедел жадты, ұзақ мерзімді жадты арттырады - мұның бәрі біздің мүмкіндігімізден тыс.
Сенімділік пен беріктік. Адам жадына қарағанда тек компьютер жады дәлірек емес. Компьютерлік транзисторлар биологиялық нейрондарға қарағанда дәлірек және нашарлауға бейім (және шын мәнінде оларды ауыстыруға немесе жөндеуге болады). Адамдардың миы тез шаршайды, ал компьютерлер аптасына 7 күн, тәулік бойы жұмыс істейді.
Бағдарламалық қамтамасыз ету
Редакциялау, модернизациялау мүмкіндігі, мүмкіндіктердің кең ауқымы. Адам миынан айырмашылығы, компьютерлік бағдарламаны оңай түзетуге, жаңартуға және тәжірибе жасауға болады. Адамның миы әлсіз аймақтарды да жаңартуға болады. Көруге арналған адамдық бағдарламалық қамтамасыз ету керемет түрде жасалған, бірақ инженерлік тұрғыдан алғанда оның мүмкіндіктері әлі де шектеулі - біз тек жарықтың көрінетін спектрінде ғана көреміз.
Ұжымдық қабілет. Адамдар үлкен ұжымдық интеллект тұрғысынан басқа түрлерден жоғары. Тілдің дамуы мен үлкен қауымдастықтардың қалыптасуынан бастап, жазу мен басып шығару өнертабыстары арқылы жүріп, енді интернет сияқты құралдардың көмегімен адамдардың интеллектуалдылығы - біз өзімізді эволюция тәжі деп атауға болатын маңызды себеп.. Бірақ компьютер әлі де жақсы болады. Бүкіләлемдік жасанды интеллект желісі бір бағдарламада жұмыс істейді, үнемі үндестіреді және өзін-өзі дамытады, қай жерде болса да, дерекқорға жаңа ақпаратты бірден қосуға мүмкіндік береді. Сондай-ақ, мұндай топ бір мақсатқа қарай жұмыс жасай алады, өйткені компьютерлер адамдар сияқты келіспеушілікке, мотивацияға және жеке қызығушылыққа ұшырамайды.
Бағдарламаланған өзін-өзі жетілдіру арқылы AGI-ге айналуы мүмкін AI «адам деңгейіндегі интеллектіні» маңызды кезең деп санамайды-бұл кезең біз үшін маңызды. Оның бұл күмәнді деңгейде тоқтауға ешқандай негізі болмайды. Тіпті адам деңгейіндегі AGI-дің артықшылықтарын ескере отырып, адамның интеллектуалдылығы интеллектуалдық артықшылықтар үшін жарыста қысқа уақыт болатыны анық.
Оқиғалардың дамуы бізді қатты таң қалдыруы мүмкін. Факт мынада, біздің көзқарасымыз бойынша, а) интеллект сапасын анықтауға мүмкіндік беретін жалғыз критерий - бұл жануарлардың интеллектісі, ол әдепкі бойынша біздікінен төмен; б) біз үшін ең ақылды адамдар әрқашан ақымақтарға қарағанда ақылды. Шамамен осылай:
Яғни, AI тек біздің даму деңгейімізге жетуге тырысып жатқанда, біз оның жануардың деңгейіне жақындаған сайын ақылды бола бастағанын көреміз. Ол бірінші адамдық деңгейге жеткенде - Ник Бостром «елдік ақымақ» терминін қолданады - біз қуанамыз: «Уа, ол қазірдің өзінде ақымақ сияқты. Салқын! « Жалғыз нәрсе - ауылдық ақымақтан Эйнштейнге дейінгі адамдардың интеллектінің жалпы спектрінде диапазон аз, сондықтан АИ ақымақ деңгейге жетіп, АГИ болғаннан кейін, ол кенеттен қарағанда ақылды болады. Эйнштейн
Ал ары қарай не болады?
Интеллектінің жарылуы
Сізге қызықты және қызықты болды деп үміттенемін, өйткені осы сәттен бастап біз талқылап отырған тақырып қалыпты емес және қорқынышты болады. Біз кідіріп, жоғарыда және одан тыс айтылған әрбір факт - бұл ең көрнекті ойшылдар мен ғалымдар жасаған нақты ғылым және болашаққа нақты болжам екенін еске түсіруіміз керек. Тек есіңізде болсын.
Жоғарыда айтқанымыздай, AGI -ге қол жеткізуге арналған біздің барлық заманауи модельдерде AI өзін -өзі жетілдіру мүмкіндігі бар. Ол AGI бола салысымен, тіпті ол өскен жүйелер мен әдістер де, егер олар қаласа, өзін жетілдіре алатындай ақылды бола бастайды. Қызықты тұжырымдама пайда болады: рекурсивті өзін-өзі жетілдіру. Бұл осылай жұмыс істейді.
Белгілі бір деңгейдегі белгілі бір AI жүйесі - айталық, ауылдық ақымақ - өзінің интеллектісін жақсарту үшін бағдарламаланған. Эйнштейн деңгейінде дамығаннан кейін - мұндай жүйе Эйнштейннің интеллектісімен дами бастайды, оны дамытуға аз уақыт кетеді, ал секірістер күннен -күнге ұлғайып келеді. Олар жүйенің кез келген адамнан асып түсуіне мүмкіндік береді, әрі қарай көбірек болады. AGI өзінің жылдам дамуымен өзінің интеллектісінде аспан биігіне көтеріліп, ISI -нің супер интеллектуалды жүйесіне айналады. Бұл процесс интеллект жарылуы деп аталады және бұл қайтарымды тездету заңының айқын мысалы болып табылады.
Ғалымдар AI -дің AGI деңгейіне қаншалықты тез жететіні туралы таласады - көпшілігі біз 2040 жылға қарай 25 жыл ішінде AGI аламыз деп сенеді, бұл технологияны әзірлеу стандарттары бойынша өте аз. Логикалық тізбекті жалғастыра отырып, AGI -ден ISI -ге көшу өте тез жүретінін болжауға болады. Шамамен осылай:
«Бірінші интеллектуалдық жүйенің жалпы интеллектінің ең төменгі деңгейіне жетуі үшін ондаған жылдар қажет болды, бірақ ол ақырында болды. Компьютер төрт жасар адам ретінде әлемді түсінуге қабілетті. Кенеттен, дәл осы белеске жеткеннен кейін бір сағаттан кейін жүйе жалпы салыстырмалық пен кванттық механиканы біріктіретін керемет физика теориясын шығарады, оны ешкім жасай алмайды. Бір жарым сағаттан кейін AI ISI -ге айналады, бұл кез келген адамнан 170 000 есе ақылды ».
Бізде мұндай интеллектіні сипаттайтын дұрыс терминдер жоқ. Біздің әлемде «ақылды» IQ деңгейі 130, «ақымақ» - 85 дегенді білдіреді, бірақ бізде 12 952 IQ деңгейі бар адамдар жоқ. Біздің билеушілер бұл үшін арналмаған.
Адамзат тарихы бізге анық және анық айтады: ақылмен бірге күш пен күш келеді. Бұл дегеніміз, біз жасанды супер интеллект жасаған кезде, бұл Жердегі өмір тарихындағы ең қуатты жаратылыс болады және барлық тіршілік иелері, соның ішінде адамдар да толықтай өз күшінде болады - және бұл жиырма жылдан кейін болуы мүмкін.
Егер біздің ұсақ миымыз Wi-Fi ойлап таба алса, онда бізден жүз, мың, миллиард есе ақылды нәрсе ғаламдағы әрбір атомның орнын кез келген уақытта оңай есептей алады. Сиқыр деп атауға болатынның бәрі, құдіретті құдайға жатқызылған кез келген күш - мұның бәрі ISI -дің қарамағында болады. Қартаюды жою технологиясын жасау, кез келген ауруды емдеу, аштықты, тіпті өлімді жою, ауа райын бақылау - бәрі кенеттен мүмкін болады. Жердегі барлық тіршіліктің бірден жойылуы мүмкін. Біздің планетамыздың ең ақылды адамдары жасанды супер интеллект әлемде пайда бола салысымен Құдайдың жер бетінде пайда болуын белгілейтініне келіседі. Және маңызды сұрақ қалады.
