Deep learning neuralt nätverk. En teknisk syn på saker

Den kommande revolutionen av smarta robotar har förutsetts vart tionde år sedan 1950 -talet. Det hände dock aldrig. Framsteg på området artificiell intelligens det skedde osäkert, ibland tråkigt, vilket gav besvikelse för många entusiaster. De uppenbara framgångarna - Deep Blue -datorn, skapad i mitten av 1990 -talet av IBM och slog Garry Kasparov i schack 1997, eller framväxten av en elektronisk översättare i slutet av 1990 -talet - var mer resultatet av "grova" beräkningar än överföringen av mänskliga uppfattningsmekanismer för datorprocesser. beräkningar.

Men historien om frustration och misslyckande förändras nu dramatiskt. För bara tio år sedan kunde datorsyn och objektigenkänningsalgoritmer identifiera en boll eller parallellpipas enkel bakgrund... De kan nu särskilja mänskliga ansikten så väl som människor kan, även mot komplexa, naturliga bakgrunder. För sex månader sedan släppte Google en smartphone -app som kan översätta text från över 20 främmande språk genom att läsa ord från foton, vägskyltar eller handskriven text!

Allt detta blev möjligt efter att det blev klart att några gamla idéer inom neurala nätverk, om de ändrades något genom att lägga till "liv", d.v.s. genom att projicera detaljer om människors och djurs uppfattning kan de ge överväldigande resultat som ingen förväntade sig. Den här gången verkar AI -revolutionen verkligen verklig.

Forskning av neurala nätverk inom maskininlärning har i de flesta fall alltid ägnats åt sökandet efter nya igenkänningstekniker. olika typer data. Så en dator ansluten till kameran måste med hjälp av en bildigenkänningsalgoritm kunna skilja på bilden Dålig kvalitét mänskligt ansikte, en kopp te eller en hund. Historiskt sett har dock användningen av neurala nätverk för dessa ändamål åtföljts av betydande svårigheter. Även mindre framgångar krävde mänskligt ingripande - människor hjälpte programmet att identifiera viktiga funktioner i bilden, till exempel bildgränser eller enkla geometriska figurer... Befintliga algoritmer kunde inte lära sig att göra detta på egen hand.

Situationen har förändrats dramatiskt tack vare skapandet av den s.k djupa inlärning neurala nätverk som nu kan analysera en bild nästan lika effektivt som en människa. Sådana neurala nätverk använder en bild av dålig kvalitet som ingång för "neuroner" på första nivån, som sedan överför "bilden" genom olinjära förbindelser till neuronerna på nästa nivå. Efter en viss utbildning, "neuroner" mer höga nivåer kan använda mer abstrakta aspekter av bilden för igenkänning. Till exempel kan de använda detaljer som gränserna för en bild eller hur den är placerad i rymden. Otroligt nog kan sådana nätverk lära sig att utvärdera de viktigaste funktionerna i en bild utan mänsklig hjälp!

Ett bra exempel på användning av djupa inlärning neurala nätverk är igenkänning av samma objekt, fotograferade från olika vinklar eller i olika poser (om det kommer om en person eller om ett djur). Algoritmer som använder pixel-för-pixel-skanning "tror" att det finns två olika bilder, medan smarta neurala nätverk "förstår" att de står inför samma objekt. Och tvärtom - bilder av två hundar av olika raser, fotograferade i samma pose, kan av de tidigare algoritmerna uppfattas som fotografier av samma hund. Neurala nätverk med djup inlärning kan avslöja detaljer i bilder som hjälper dem att skilja mellan djur.

Kombinerar djupinlärningsteknik, avancerad neurovetenskaplig kunskap och krafter moderna datoreröppnar upp för artificiell intelligens framtidsutsikter som vi inte ens kan bedöma ännu. Sanningen är redan uppenbar att sinnet inte bara kan vara biologiskt.

Det pratas och skrivs mycket om artificiella neurala nätverk idag, både i samband med big data och maskininlärning, och utanför det. I den här artikeln kommer vi att komma ihåg innebörden av detta koncept, återigen beskriva tillämpningens omfattning och också prata om ett viktigt tillvägagångssätt som är associerat med neurala nätverk - djupt lärande, beskriv dess koncept, samt fördelar och nackdelar i specifika användningsfall.

Vad är ett neuralt nätverk?

Som ni vet kom begreppet neuralt nätverk (NN) från biologin och är en något förenklad modell av strukturen mänsklig hjärna... Men låt oss inte fördjupa oss i den naturvetenskapliga djungeln - det enklaste sättet är att föreställa sig en neuron (inklusive en artificiell) som en slags svart låda med många inlopp och ett utlopp.

Matematiskt omvandlar en artificiell neuron en vektor av insignaler (influenser) X till en vektor med utsignaler Y med hjälp av en funktion som kallas en aktiveringsfunktion. Inom ramen för anslutningen (artificiellt neuralt nätverk - ANN) fungerar tre typer av neuroner: input (mottar information från världen utanför- värdena för de variabler vi är intresserade av), utmatning (returnering av önskade variabler - till exempel prognoser eller styrsignaler), samt mellanliggande - neuroner som utför vissa interna ("dolda") funktioner. Således består ett klassiskt ANN av tre eller flera lager av neuroner, och på de andra och efterföljande skikten ("dolda" och utdata) är var och en av elementen anslutna till alla element i det föregående skiktet.

Det är viktigt att komma ihåg konceptet respons, som bestämmer typen av ANN -struktur: direkt signalöverföring (signaler går sekventiellt från inmatningsskiktet genom det dolda lagret och går in i utmatningsskiktet) och en återkommande struktur, när nätverket innehåller anslutningar som går tillbaka från mer avlägsna till närmare neuroner). Alla dessa begrepp utgör nödvändigt minimum information för att gå vidare till nästa nivå av förståelse ANN - utbildning av ett neuralt nätverk, klassificering av dess metoder och förståelse för principerna för var och en av dem.

Neuralt nätverksträning

Man ska inte glömma varför sådana kategorier i allmänhet används - annars riskerar man att fastna i abstrakt matematik. Faktum är att artificiella neurala nätverk förstås som en klass av metoder för att lösa vissa praktiska problem, bland vilka de viktigaste är problemen med mönsterigenkänning, beslutsfattande, approximation och datakomprimering, samt de mest intressanta problemen med klusteranalys och prognoser för oss.

Utan att gå till den andra ytterligheten och utan att gå in på detaljerna i ANN -metoderna i varje specifikt fall, låt oss påminna oss själva om att det under alla omständigheter är det neurala nätverkets förmåga att lära (med en lärare eller "oberoende") som är viktig punkt använda den för att lösa praktiska problem.

I allmänhet är ANN -träningen följande:

1. inmatade neuroner tar emot variabler ("stimuli") från den yttre miljön;
2. i enlighet med den mottagna informationen förändras de fria parametrarna för det neurala nätverket (mellanliggande lager av neuroner fungerar);
3. till följd av förändringar i NN: s struktur ”reagerar” nätverket på information på ett annat sätt.

Detta är den allmänna algoritmen för att lära sig ett neuralt nätverk (kom ihåg Pavlovs hund - ja, den inre mekanismen för bildandet av en konditionerad reflex är exakt detta - och glöm det sedan: men vårt sammanhang förutsätter att man fungerar tekniska termer och exempel).

Det är klart att en universell inlärningsalgoritm inte existerar och sannolikt inte kan existera; Konceptuellt är undervisningsmetoder uppdelade i övervakat lärande och oövervakat lärande. Den första algoritmen antar att för varje ingångs ("inlärnings") -vektor finns ett erforderligt värde för utgångsvektorn ("mål") - alltså bildar dessa två värden ett träningspar och hela uppsättningen av sådana par - en träningsset. När det gäller inlärning utan tillsyn består träningsuppsättningen endast av inmatningsvektorer - och denna situation är mer trolig ur det verkliga livets synvinkel.

Djup lärning

Begrepp Djup lärning(djupt lärande) hänvisar till en annan klassificering och betecknar ett tillvägagångssätt för att träna så kallade djupa strukturer, som inkluderar neuronella nätverk på flera nivåer. Ett enkelt exempel från området för bildigenkänning: det är nödvändigt att lära en maskin att skilja mer och mer abstrakta funktioner i termer av andra abstrakta funktioner, det vill säga att bestämma förhållandet mellan uttrycket av hela ansiktet, ögonen och munnen och , slutligen, ackumulering av färgade pixlar matematiskt. Således, i ett djupt neuralt nätverk, är ett lager ansvarigt för varje nivå av funktioner; det är klart att utbildning av en sådan "koloss" kräver lämplig erfarenhet av forskare och nivån på hårdvara... Förutsättningarna utvecklades till förmån för djupinlärning i neurala nätverk först 2006 - och efter åtta år kan vi prata om den revolution som denna metod gjorde inom maskininlärning.

Så först och främst i samband med vår artikel är det värt att notera följande: djup inlärning kontrolleras i de flesta fall inte av människor. Det vill säga, detta tillvägagångssätt innebär utbildning av ett neuralt nätverk utan lärare. Detta är den största fördelen med den "djupa" metoden: maskininlärning med en lärare, särskilt när det gäller djupa strukturer, kräver enorma tid - och arbetskostnader. Deep learning, å andra sidan, är ett tillvägagångssätt som modellerar mänskligt abstrakt tänkande (eller, enligt åtminstone, representerar ett försök att komma närmare det) snarare än att använda det.

Tanken är som vanligt utmärkt, men ganska naturliga problem uppstår i tillvägagångssättet - först och främst förankrat i dess anspråk på universalitet. Faktum är att om djupinlärningsmetoder har uppnått påtagliga framgångar inom mönsterigenkänning, då med samma bearbetning naturligt språkän så länge finns det många fler frågor än svar. Det är uppenbart att det under de närmaste n åren knappast kommer att vara möjligt att skapa en "konstgjord Leonardo Da Vinci" eller ens - åtminstone! - "artificiell homo sapiens".

Ändå står forskare inom artificiell intelligens redan inför etikfrågan: rädslorna som uttrycks i varje science fiction-film som respekterar sig själv, från The Terminator till Transformers, verkar inte längre roliga (moderna sofistikerade neurala nätverk kan redan betraktas som en rimlig modell. insekthjärnans arbete!), men än så länge är det helt klart överflödigt.

En idealisk teknogen framtid framstår för oss som en tid då en person kan delegera de flesta av sina krafter till en maskin - eller åtminstone kunna låta den underlätta en betydande del av hans intellektuellt arbete... Begreppet djupinlärning är ett av stegen mot denna dröm. Det är en lång väg att gå - men det är redan klart att neurala nätverk och alla de utvecklingsmetoder som är associerade med dem kan förverkliga ambitionerna för science fiction -författare över tid.

Jag lärde mig om affärstrender på en storskalig konferens i Kiev. Hela processen är full av lördagsinsikter, där de tog bort den nya kunskapen och kunskapen, vars resultat spenderades på timmen. På konferensen finns det 4 strömmar med ytterligare idéer för företagare, toppchefer, marknadsförare, försäljning, anställda och specialister. En av talespersonerna för infrastrukturministeriet Volodymyr Omelyan, som talade om utvecklingen av galusier, förnyade vägar och flygplatser.

God dag till er alla, kära kollegor iOS-smeknamn, säkert var och en av er arbetade med nätverket och deltog i analys av data från JSON. För denna process finns det ett gäng bibliotek, alla typer av verktyg som du kan använda. Vissa är komplexa och andra är enkla. Själv har jag under mycket lång tid analyserat JSON för hand, utan att lita på denna process för vissa tredjepartsbibliotek, och detta hade sina fördelar.

9 september 2014 under nästa presentation, Äpple presenterade sitt eget system mobila betalningar- Apple Pay.

Genom betalningssystem Apple Pay iPhone -användare 6 och iPhone 6+, liksom ägare senaste versionerna äpple klocka kan handla online, använda ytterligare fördelar äpple betala för mobila applikationer och göra betalningar med NFC -teknik(Near Field Communication). För att godkänna betalningar, använd Touch -teknik ID eller Face ID.

Teknologier står inte stilla, och utvecklingsprocesser går med dem. Om tidigare företag arbetade enligt "Waterfall" -modellen, nu, till exempel, strävar alla efter att implementera "Scrum". Utveckling sker också inom tillhandahållandet av utvecklingstjänster. programvara... Företag brukade ge kunderna kvalitetsutveckling inom budgeten, stanna där, nu strävar de efter att tillhandahålla maximal nytta för kunden och hans verksamhet, med sin expertis.

Under de senaste åren har så många bra teckensnitt dykt upp, inklusive gratis, att vi bestämde oss för att skriva en uppföljare till vår för designers.

Varje designer har en uppsättning favoritteckensnitt att arbeta med, som han är van att arbeta med och som återspeglar hans grafiska stil. Designers säger " Bra typsnitt det är aldrig för mycket ”, men nu kan vi med säkerhet föreställa oss en situation när den här uppsättningen bara består av gratis teckensnitt.

Hur ofta befinner sig projektledare mellan sten och hård när de försöker hitta en balans mellan alla krav och tidsfrister hos kunden och hela teamets psykiska hälsa? Hur många nyanser behöver beaktas så att det finns fred och ordning på båda sidor av ansvaret? Hur förstår du att du är en bra chef eller behöver du akut komma ikapp alla fronter? Hur bestämmer du i vilka aspekter det är du, som PM, som släpar efter, och var är du en bra kille och en smart tjej? Detta var vad nästa Code'n'Coffee -konferens handlade om.

Mönsterigenkänningsteknik ingår alltmer i vår vardag. Företag och institutioner använder det för att ta itu med mest olika uppgifter från säkerhet till kundnöjdhetsforskning. Investeringar i produkter baserade på - denna funktion, lovar att växa till 39 miljarder dollar år 2021. Här är bara några exempel på hur mönsterigenkänning används inom olika områden.