Tja, såååå stora data... För- och nackdelar med JSON-LD-markering
Enkla datatyper: variabler och konstanter.
Programmeringsspråk.
Föreläsning 4.
De verkliga data som programmet bearbetar är tal (heltal och reella tal), symboler och logiska värden. Dessa datatyper kallas grundläggande. All data som behandlas av en dator lagras i minnesceller, som var och en har sin egen adress. För att inte hålla reda på vilken adress data kommer att skrivas till använder programmeringsspråk konceptet variabel, som låter dig fly från adressen till en minnescell och kommunicera med den med namnet ( identifierare).
Variabel– det finns ett namngivet objekt (minnescell) som kan ändra sitt värde. namn variabel indikerar menande, och metoden för dess lagring och adress förblir dolda för programmeraren. Förutom sitt namn och värde har en variabel typ, som avgör vilken information som finns i minnet.
Variabeltypen anger:
Metoden som används för att registrera information i minnesceller;
Den mängd minne som krävs för att lagra den.
Om det finns variabler i ett program under hela dess drifttid kallas de statisk. Variabler skapas och förstörs på olika stadier programkörning anropas dynamisk.
Alla andra data i programmet, vars värden inte ändras under hela dess drift, anropas konstanter eller permanent. Konstanter, liksom variabler, har en typ.
För att förbättra produktiviteten och kvaliteten på arbetet är det nödvändigt att ha data som är så nära verkliga analoger som möjligt. En datatyp som gör att flera variabler kan lagras tillsammans under ett namn kallas strukturerad. Varje programmeringsspråk har sina egna strukturerade typer. En av strukturerna som kombinerar element av samma datatyp är array.
Arrayär en ordnad samling av kvantiteter av samma typ som har ett gemensamt namn, vars beståndsdelar adresseras (utmärks) av serienummer (index).
Arrayelement i datorns minne lagras i närheten av enskilda element enkel typ Detta arrangemang av data i minnet antas inte. Matriser skiljer sig åt i antalet index som definierar deras element.
En endimensionell array antar att varje element bara har ett index. Exempel på endimensionella arrayer är aritmetiska och geometriska sekvenser som definierar ändliga serier av tal. Antalet element i en array kallas dimensionera. När du definierar en endimensionell array skrivs dess dimension inom parentes bredvid dess namn. Till exempel skrivs en array som består av elementen a1, a2... a10 som A(10). Elementen i en endimensionell matris matas in element för element, i den ordning som krävs för att lösa ett specifikt problem. Processen att mata in arrayelement kan avbildas i form av ett flödesschema enligt följande:
Tänk till exempel på algoritmen för att beräkna det aritmetiska medelvärdet av positiva element i den numeriska matrisen A(10). Algoritmen för att lösa problemet kommer att innehålla beräkningen av summan (betecknad med S), inklusive de positiva elementen i arrayen (ai>0), och antalet (betecknat med N) av dess termer.
Spela in algoritmen i pseudokod:
1. Upprepa 10 gånger (för i=1,10,1)
1.1.Ingång ai.
2. Summans initiala värde: S=0.
3.Initialt räknarvärde: N=0.
4. Upprepa 10 gånger (för i=1,10,1):
4.1.Om ai>0, då S=S+ai och N=N+1.
5.Om N>0, beräkna det aritmetiska medelvärdet SA=S/N; utgång SA. Annars: utmatning "Det finns inga positiva element i arrayen."
Spela in algoritmen i form av ett blockschema:
En tvådimensionell matris förutsätter att varje element har två index. Inom matematiken kallas en tvådimensionell matris (eller taltabell) en matris. Varje element har två index aij, det första indexet i bestämmer radnumret i vilket elementet är placerat (horisontell koordinat), och det andra j - kolumnnumret (vertikal koordinat). En tvådimensionell array kännetecknas av två dimensioner N och M, som bestämmer antalet rader respektive kolumner.
Elementen i en tvådimensionell array matas in rad för rad, i sin tur matas varje rad in element för element, vilket definierar en cyklisk konstruktion som implementerar kapsling av cykler. Blockschema över algoritmen för att ange en tvådimensionell array:
Den yttre slingan bestämmer numret på ingångsraden (i), den inre slingan bestämmer numret på elementet i kolumnen (j).
Exempel
Om du inte vet hur du lägger till uppmärkningskod på din webbplats, använd markörverktyget.
Du kan också lära dig hur du arbetar med strukturerad data och lägger till uppmärkning på din webbplats manuellt.
Hur man markerar en webbsida eller e-postMarkeringen kan placeras på en HTML-sida eller i en HTML-e-postfil.
Hur man markerar en webbsidaKör följande åtgärder:
Hur man markerar ett e-postmeddelande i HTML-formatFölj dessa steg:
Spara ändringarna för att fortsätta redigera sidan eller e-postmeddelandetFör att spara markeringen som den finns i det här ögonblicket, skapa ett bokmärke för sidan i din webbläsare. Guiden för strukturerad datataggning kommer att "komma ihåg" taggningen, inklusive alla dess värden, under en månad.
Följ stegen nedan för att ta bort hela eller delar av markeringen.
Hur man tar bort en enskild tagg
Du kan också hitta objektet du vill ha i kolumnen Mina objekt, för musen över det och klicka på X till höger.
Hur man tar bort alla taggar
Structured Data Markup Wizard känner igen olika format. Huvudsaken är att månad, dag och år anges. Du kan lägga till eventuell saknad data i sidgruppen, till exempel årtal.
Om datumen på sidan visas som ett enda fragment (till exempel 4 juni 2012), rekommenderas det att markera dem med en tagg. Ju färre taggar på webbplatsen, desto snabbare kommer den att bearbetas och desto mer exakta blir resultaten.
Hur man lägger till en datumtagg
Ibland visas datuminformationen i bitar, eller så används etiketter för att identifiera dess komponenter. Till exempel, på en sida med information om flera händelser, kan månad och år listas endast överst, och dagen bredvid varje enskild händelse. I det här fallet måste du lägga till taggar för varje datumfragment.
Observera att Markup Wizard inte känner igen datum som är uppdelade i fragment och som samtidigt representerar ett intervall (till exempel 4–5 juni och 2012).
Hur man lägger till taggar för datumutdrag
Markeringsguiden lägger till datumet i kolumnen Mina dataobjekt.
Nedan finns exempel på datum du kan markera.
- Separat datum. Du kan till exempel kontrollera följande alternativ:
- 4 juni 2012
- 4 juni 2012
- 2012-04-13 - Dina taggar kan innehålla andra avgränsare och ett fyrsiffrigt årtal, till exempel 2012-04-13. För datum som kan läsas på olika sätt tolkar Google den första siffran som månaden. Till exempel, datumet 6/4/12 redovisas som 4 juni 2012 och 4/13/12 redovisas som 13 april 2012.
- Antal dagar. Till exempel 4–7 juni 2012
Observera att avgränsningen mellan start- och slutdatum måste vara ett bindestreck (-).
- Datum med tider. Du kan till exempel notera följande datum:
- 4 juni 2012 kl. 15.00 – datum och tid (förmiddag eller eftermiddag). Om du inte anger morgon- eller kvällstid tolkar Google uppgifterna med normala öppettider. Till exempel skulle 11 anses vara 11 på morgonen och 2 skulle anses vara 14.00.
- 4 juni 2012, 15:00 - 24-timmarsformat.
- 4 juni 2012 15:00 EST eller 4 juni 2012 15:00 -5:00 – tid som indikerar tidszon eller avvikelse enligt UTC/GMT.
- 4 juni 2012, 14-15.00 eller 4-5 juni 2012, 14.00-15.00 – tidsintervall med eller utan datumintervall.
- Datumutdrag: Du kan använda avancerade taggningsinställningar för att markera följande textutdrag som ett separat datum:
- Dag: 4 juni, onsdag. År 2013.
- 4 juni | Tid: 19.30-21.30 och 2012
- 4-5 juni och 2012
Markup Wizard känner igen datum på en sida enligt de formateringsregler som anges för sidans språk. Till exempel, om sidan använder amerikansk engelska (en-US) skulle datumet 12-06-12 tolkas som 6 december 2012. Men om sidan använder brittisk engelska (en-GB) så skulle samma datum vara tolkad som 12 juni 2012 d. Markup Wizard upptäcker automatiskt sidspråket och använder lämpliga regler.
För att ställa in ett annat datumformat för Markup Wizard, följ dessa steg:
Hur man lägger till saknad data
Om sidan eller e-postmeddelandet saknar viss information, till exempel vilket år evenemanget är schemalagt för, kan du själv välja värdet. Guiden Structured Data Markup kommer att lägga till HTML-uppmärkning för den.
Du kan lägga till saknade data, samt ändra eller ta bort dem när som helst.
Hur man lägger till, ändrar eller tar bort data
- Välj en tagg från listan och ange ett värde. Du kan till exempel välja kategoritaggen och ange värdet "Ryska folksånger".
- Radera befintliga data genom att klicka på X i textfältet.
- Ändra värdet i fältet.
Ändringar visas i kolumnen Mina artiklar
Structured Data Markup Wizard upptäcker automatiskt språket för en exempelsida eller ett e-postmeddelande för att bättre känna igen data. Om verktyget gör ett fel kan du själv ställa in rätt språk.
För att göra detta, följ dessa steg:
Klicka på inställningsikonen och välj .
schema.org är resultatet samarbete Google, Microsoft och Yahoo! att förbättra Internet genom att skapa en gemensam standard för att beskriva webbdata. Om du lägger till schema.org-uppmärkning på dina HTML-sidor kan många företag och system, inklusive Google Sök, kommer att kunna känna igen informationen på din webbplats. Likaså om du lägger till schema.org-uppmärkning till e-post i HTML-format kan dess data inte bara kännas igen av Gmail utan också av andra e-posttjänster.
Det är en översättningartiklar Nate Harris för Ahrefs-bloggen. Mer om författaren finns på hans sidaFacebook .
Informationen är användbar för webbansvariga och avancerade SEO-specialister. Även om nybörjare kan uppskatta vikten av strukturerad data i modern SEO.
Du kommer att lära dig om
- funktioner för att använda Schema.org,
- finesser i JSON-LD,
- intressanta knep i Google Search Console(på gammaldags sätt - Google Webmaster),
- myter om strukturerad uppmärkning.
Sökmotorer har gjort det klart att bra utdrag kommer att vara oerhört viktigt i framtidens sökande.
Vi vet att Google lägger till något varannan månad nytt block i Googles sökgalleri.
Google har stor förståelse för innehållet på en webbplats. När det kommer till nyanserna i artiklar och detaljerna på varje sida behöver sökmotorroboten redan hjälp. Det är därför strukturerad data hjälper dig att rankas bra.
Strukturerad dataär en allmän term som hänvisar till alla organiserade data i ett specifikt format.
Detta är inte en SEO-term. Relationsdatabaser datavetenskap - den grundläggande kärnan i all datoranvändning - bygger på strukturerad data. SQL, ett strukturerat frågespråk, hanterar organiserad data.
När en webbplatsskapare vill presentera en sida som en användarprofil, en evenemangssida eller en jobbannons, måste vissa markeringar placeras i koden.
Hur fler sidor på sajten, vilket sökroboten kommer att uppfatta som XML eller JSON-objekt, desto bättre rankas ditt innehåll i sökresultaten.
Det de facto huvudspråket för att beskriva strukturerad data på Internet är schema.org. Till exempel, för att representera ett flygbolagsflyg, innehåller schema.org regler för att beskriva typ av flygning, gatenummer och meny.
Projektet grundades i samarbete mellan Google, Microsoft, Yahoo och Yandex. Den förblir öppen källkod och är tekniskt redigerad av vem som helst. Men som alla W3C-projekt är processen att göra ändringar inte så enkel. Om du vill lägga till ny typ strukturerade data, stå ut med tekniska och byråkratiska förseningar. Slutresultatet är en ny uppmärkningstyp som ingår i Schema.org-biblioteket.
4 alternativ för datastruktureringJSON-LD är också bra eftersom det inte finns något behov av att placera någon visuella element innehåll som innehåller information.
Denna syntax kan ses som ett annat attribut. Till exempel som klass. Det här formatet kan vara användbart för att markera dynamiska element (recensioner). I sådana fall är det snabbare och bekvämare än att använda JSON.
För webbplatser som inte gör det stort antal element för märkning, erbjuder Google användbart verktyg i GSC, vilket gör det möjligt för webbplatsägare att snabbt tillämpa strukturerad data. Men här är några anledningar till att inte använda Data Highlighter
- Din dataetikettsmärkning kommer att brytas om något ändras i formateringen av dina sidor.
- Märkning är endast tillgänglig för Googles sökrobot.
Utökade utdrag (så kallade Rich Snippets) är det mest önskvärda för alla webbansvariga, eftersom de ökar CTR. Till exempel att visa produktbetyg direkt i sidavsnittet för en webbutik.
- Kunskapsdiagram är ett block om ett varumärke eller en personlighet, till exempel:
- AMP, Google News etc. – för att komma in på Google News eller markeras som AMP måste sajten ha många olika typer av mikrouppmärkning, till exempel event.
- Innehållsindexering och rankning. Sökmotorer hävdar att de bättre förstår sammanhanget och innebörden av sidinnehåll om du använder uppmärkning, även om det inte finns några tydligt synliga resultat.
- Övrig sökmotorer. Varje sökmotor bearbetar strukturerad data på olika sätt. Yandex har fält som krävs för framgångsrik bearbetning som Google inte kräver. Baidus första sidas resultat är mycket beroende av strukturerad data.
Tidigare har vi sett något slags knep från Googles sida som tar hänsyn till mikrodata. Google förstod varumärkesfrågor i sökresultaten. Om du till exempel är ägare till Tim's Pizzeria i Brooklyn och någon skriver in frågan "tims pizzeria brooklyn", kommer din webbplats att visas på första plats i sökresultaten, även utan en länkprofil.
Om Google ännu inte har insett att din webbplats är en analog till "Tim`s Pizzeria", så kan mikromarkering hjälpa till med detta, såväl som med kunskapsdiagrammet som beskrevs ovan.
Mikromarkering är inte magiskt och tillför inte kvalitet till webbplatsen i sökmotorernas ögon. Detta måste komma ihåg utan att glömma dess fördelar.
Exempel på användning av strukturerad data
Att använda JSON-LD är på det enklaste sättet implementering av strukturerad data på sajten. Denna uppmärkning talar om för dig att din webbplats "är en samling relaterade webbsidor och andra element som vanligtvis finns på en enda domän och tillgängliga på specifika webbadresser."
Klistra denna kod till din webbplats på samma sätt som t.ex. GA-koden, och ersätter yoursite.com med din URL.
( "@type": "Webbplats", "url": "https://ahrefs.com/" )Starta Google-verktyget och klicka på "Kör test".
Du borde se något sånt här:
Här är ett exempel på en ahrefs-blogg där du kan aktivera nästa block JSON-LD.
( "@context": "https://schema.org", "@type": "BloggInlägg", "url": "https://ahrefs.com/blog/bla-bla-bla", "headline" : "Vad är strukturerad data? Och varför ska du implementera den?", "alternativeHeadline": "Structured Data 101", "description": "Structured data is bla bla bla bla", "datePublished": "4 juli 2017" , "datemodified": "5 juli 2017", "mainEntityOfPage": ( "@type": "Webbsida", "url": "https://ahrefs.com/blog/bla-bla-bla" ), " image": ( "@type": "imageObject", "url": "http://example.com/images/image.png", "height": "600", "width": "800" ), "publisher": ( "@type": "Organisation", "name": "ahrefs", "logo": ( "@type": "imageObject", "url": "http://example.com/images /logo.png" ) ), "author": ( "@type": "Person", "name": "Nate Harris"), "editor": ( "@type": "Person", "name": "Tim Soulo"), "award": "The Best Ahrefs Guest Post Ever Award, 2017", "genre": "Technical SEO", "accessMode": ["textual", "visual"], "accessModeSufficient": [ "textual", "visual", "discussionUrl": "https://ahrefs.com/blog/bla-bla-bla/#disqus_thread", "inLanguage": "Engelska", "articleBody": "Sökmotorer har gjorde det klart: en mycket viktig del av framtidens sökresultat är rika resultat. Även om det är kontroversiellt...")Många människor kommer att behöva implementera mikromärkning för en onlinebutik. Nedan finns exempelkod för e-handelssajter.
( "@context": "http://schema.org", "@type": "Produkt", "url": "https://timspizzeria.com/goat-cheese-pizza", "aggregateRating": ( "@type": "AggregateRating", "ratingValue": "3.5", "reviewCount": "2", "bestRating": "5", "worstRating": "1" ), "description": "Tim"s pizzerians godaste ostpizza. Gjord med 100 % getost som blivit blå.", "name": "Tim's Goat Cheese Pizza", "image":["https://timspizzeria.com/goat-cheese -pizza-hero.jpg","https://timspizzeria.com/goat-cheese-pizza-olives.jpg","https://timspizzeria.com/goat-cheese-pizza-pineapple.jpg", " offers": ( "@type": "Erbjudande", "tillgänglighet": "http://schema.org/InStock", "image":"https://timspizzeria.com/goat-cheese-pizza-hero. jpg", "price": "26,00", "priceCurrency": "USD", "sku":"1959014", "seller":( "@type":"Organisation", "name":"Tim"s Pizzeria "), "availability": "http://schema.org/InStock"), "review": [ ( "@type": "Recension", "author": "Nate", "datePublished": "2017- 07-041", "reviewBody": "Dope upplyst funkytown! Läcker pizza.", "name": "n8 h", "reviewRating": ( "@type": "Rating", "bestRating": "5", "ratingValue": "5", "worstRating": "1 " ) ), ( "@type": "Recension", "author": "Dmitry", "datePublished": "2016-05-22", "reviewBody": "Detta är det grövsta jag har sett, låt ensam smakad.", "name": "OMG den här pizzan är avskyvärd", "reviewRating": ( "@type": "Rating", "bestRating": "5", "ratingValue": "1", "worstRating" : "1") ) ]) )Det är värt att notera att Google förstår JSON-LD även om dess element renderas asynkront, så uppmärkning kan enkelt implementeras via Google Tag Manager, AJAX, etc.
Verktyg för strukturerade dataFör WordPress-webbplatsägare kan vi rekommendera Schema-plugin för snabbt och enkelt enkel installation mikrouppmärkning. De flesta markup-plugins för WordPress har många problem och brister. Många av dessa plugins skickar extra WP-webbplatsdesigntemadata som uppmärkningselement, såsom: författare, publiceringsdatum, utvald bild, etc.
Men att använda plugins tillåter dig inte att täcka alla Schema-funktioner som Google stöder. Fin och högkvalitativ mikromarkeringsjustering är vägen till framgång Google resultat. Låt oss ta en titt på Sephoras ovanliga produktkortinställning. Även intressant mikromarkup används på .
Och här är ett exempel på den experimentella händelsesidans markering som författaren till artikeln implementerade för en av sina kunder.
Denna mikromarkering gör författarens klients webbplats till en av få (till exempel, suggestedMinAge används av endast 100 till 1000 domäner)
Ett annat problem med SEO-plugins för mikrodata är att deras användning ofta leder till dubbletter. Detta kan vara ett problem, till exempel för produktkort: Google kan betrakta två uppmärkningselement av samma produkt som två olika produkter.
Författaren till artikeln arbetar för närvarande med det här problemet på en av webbplatserna: Shopify har en inbäddad mikromärkning för Schema-produkter, som duplicerar mikromärkningen som implementerats av författaren för utökade utdrag, som innehåller de samlade betygen och recensionssektionerna.
Någon kan föreslå https://www.schemaapp.com/ ... Författaren till artikeln har inte stött på det och kommer inte att rekommendera för- eller nackdelar. Men här är något värt att notera:
Schema App är en uppsättning verktyg som gör att internetmarknadsförare kan skapa och hantera Schema-uppmärkning även utan djup kunskap om Scherma.org-språket och programmering.
Det hela verkar för kompliceratFör omedelbara resultat grundläggande förmågor micro markup kommer definitivt att hjälpa SEO. Grundläggande strukturerad data kan implementeras med plugins. Om du väljer att använda plugins bör du vara beredd på de svårigheter som beskrivs ovan.
Alla som arbetar med stora projekt borde ägna mer uppmärksamhet åt avancerad uppmärkning. Tänk på det faktum att bra förståelse strukturerad data är din "gyllene biljett" att experimentera med sökresultat. Detta säkerställer att din webbplats "förstås" av sökmotorn.
Och den goda nyheten är att arbetet med mikrodata inte behöver göras regelbundet. Det räcker att arbeta igenom det här problemet kompetent en gång, och du behöver inte återvända till det igen.
Eftersom implementeringen av mikrodata är förknippad med programmering är det en slags "skräckhistoria" och ignoreras väldigt ofta av SEO-specialister. Författaren är säker på att vissa tekniska SEO-specialister kanske inte gillar detta och tror att Schema inte används fullt ut av alla optimerare.
SlutsatserTeknisk SEO är oändligt varierad och bred i omfattning, och förståelse för strukturerad data är grundläggande. I själva verket kan den semantiska webben vara döden för SEO-specialister: Ju mer data vi matar Google, desto fler tillägg skapas som leder trafik från organiska resultat.
När vi implementerar strukturerad data korrekt på en webbplats lär vi sökmotorer att klara sig bättre utan oss i framtiden. Datataggning är å ena sidan användbar och är ett framgångsrikt självlärande verktyg för Google.
Fördelarna med strukturerad data är dock så stora att mikrodata inte kan ignoreras. För att inte tala om potentialen för ökad trafik, väl genomförd datataggning förbättrar en webbplatss chanser att komma ifråga för Googles ständigt utvecklande tillägg och organiska söktillägg.
Sida 1
Strukturerad data i Ada kan användas i form av arrayer och poster. Dessutom kan strukturerad data i Ada nås med hjälp av pekare. Användningen av arrayer med ospecificerade gränser gör det möjligt att parametrisera arrayer och använda subrutiner som använder arrayer av variabel storlek som parametrar.
| Semantik för variabler i PILOT / 2-språket. |
Att bearbeta komplext strukturerad data i externt minne är en utmärkande egenskap hos alla LPZ:er. Men utöver detta behövs även vanliga variabler. Det är därför register och stackar introduceras i PILOT/2.
Uppsättningar av procedurer som representerar strukturerad data har en intressant och ibland användbar egenskap: de kan användas för att konstruera andra möjliga representationer. Så till exempel följer listvy 2 logiskt från listvy 1, och den första av dem skulle kunna utrustas med instruktioner som använder lämpliga kontrolldirektiv som skulle tillåta att den andra vyn matas ut. I detta sammanhang skulle listvy 2 bete sig som en normal uppsättning procedurer som producerar utdata. Denna förmåga hos logiska uttalanden att samtidigt utföra funktioner som normala procedurer, och representationer av datastrukturer visar att varje förmodad distinktion mellan procedurer och data i grunden är pragmatisk, och gäller endast användningen av dessa resurser, och inte de attribut som är inneboende i dem.
Komponenterna i en array representerar strukturerad data av samma typ. En array kombinerar data med samma egenskaper. I motsats till arrayer kan komponenterna i en direkt (kartesisk) produkt ha Olika typer. Den direkta (kartesiska) produkten, liksom en array, är en av de grundläggande strukturerade datatyperna och kallas även en post eller struktur.
Kunskap är välstrukturerad data, eller data om data, eller metadata.
I termrepresentation bildas strukturerad data med hjälp av funktionella symboler som gör att dess beståndsdelar kan sättas samman till grupper. Så till exempel kan listan (10 20 30) representeras av termen 10.20.30. NIL, där varje punktfunktion grupperar elementet till vänster med listans svans till höger. Både konstanter och strukturerade termer kan ses som i huvudsak passiva objekt avsedda att manipuleras med procedurer.
ALTOP-tekniken, skapad på grundval av arbete på programvara ACS. Denna utveckling inkluderar originalverktyg för att sammanställa inledande beskrivningar, diskuterade i avsnitt 2.4 och 2.5, och en designmetodik (se kap.
Således representerar den strukturerade dataklassen data för vilka lagring kräver skapandet av fasta uppsättningar av format. Databaser som lagrar sådana data formateras med ett deterministiskt schema, inriktat mot den preliminära fixeringen och klassificeringen av objekt i den yttre miljön, den exakta beskrivningen av egenskaper och relationer som beskrivs i databasen från en förskapad uppsättning fasta format.
En databas är en samling strukturerad data.
För att placera strukturerad data i linjära minnesstrukturer används de olika tekniker och metoder. Som regel presenteras sådana data i form av listor, och effektiviteten av sökning och andra egenskaper hos databehandlingssystem beror direkt på deras organisation.
Namn i program används för att beteckna enkla variabler, strukturerade data, strukturerade dataelement, konstanter, subrutiner, operationer, satsetiketter, formella parametrar och andra programelement. Namn kan vara osammansatta eller sammansatta.
Språkspråket är baserat på icke-operatörssätt för att beskriva hierarkiskt strukturerade data. Det bestämmer unikt rörelsebanan och åtkomst till databasen. Dessutom har språk verktyg som liknar procedurprogrammeringsspråk.
Ett formaliserat frågeformulär utformat för att bearbeta och registrera strukturerad data.
I denna terminologi kan en databas definieras som en samling på ett speciellt sätt strukturerad data och relationer mellan dess element, segment och logiska poster. Konstruktionen av databaser i denna förståelse är endast möjlig för informationsobjekt som har egenskaper som är gemensamma för hela klassen. Om det behövs, tillhandahåll informationsbas objekt med individuella egenskaper, är det tillrådligt att bygga ostrukturerade databaser som tillåter inspelning av information på naturligt språk.
Varje företag har många olika databaser som fylls på från strukturerade datakällor. Strukturerad data är data som läggs in i databaser i en specifik form, till exempel Excel-tabeller, med strikt definierade fält. En uppsättning företagsdatabaser kallas i engelsk litteratur Enterprise Data Warehouse (EDW) - bokstavligen "data warehouse". Jag har ännu inte stött på en analog av denna term i ryskspråkig litteratur, så låt oss kalla det "företagsdatalager." För skönhet kommer vi att använda den engelska förkortningen EDW.
Strukturerade datakällor är applikationer som fångar data från olika transaktioner. Det kan till exempel vara CDR:er i operatörens nätverk, meddelanden om nätverksproblem (trouble tickets), finansiella transaktioner på bankkonton, ER (Enterprise Resource Planning) systemdata, applikationsprogramdata, etc.
Business intelligence BI (Business Intelligence) är en databehandlingskomponent. Detta olika applikationer, verktyg och verktyg som låter dig analysera data som samlas in i EDW och fatta beslut baserat på den. Dessa är system för generering av driftsrapporter, anpassade frågor, OLAP-applikationer ( on-line analytisk Bearbetning), så kallad "disruptive analytics", prediktiv analys och datavisualiseringssystem. Enkelt uttryckt måste en chef se affärsprocessen i en lättläst form, gärna grafisk och animerad, för att snabbt kunna fatta optimala beslut. Affärens första lag: rätt beslut är ett beslut som fattas i tid. Om det korrekta beslutet för gårdagen fattas idag är det inte ett faktum att det fortfarande är korrekt.
Men vad händer om datakällorna är ostrukturerade, heterogena, hämtade från olika källor? Hur kommer analytiska system att fungera med dem? Försök att använda musen för att markera flera celler med data i Excel kalkylark och klistra in den i en enkel textredigerare (till exempel Anteckningar) så ser du vad "ostrukturerad data" är. Exempel på ostrukturerad data: E-post, information från sociala nätverk, XML-data, video-, ljud- och bildfiler, GPS-data, satellitbilder, sensordata, webbloggar, rörelsedata mobilabonnent vid överlämnande, RFID-taggar, PDF-dokument...
För att lagra sådan information i databehandlingscenter (DPC), distribuerade filsystem Hadoop, HDFS (Hadoop Distributed Filsystem). HDFS kan lagra alla typer av data: strukturerad, ostrukturerad och semistrukturerad.
Ansökningar Big Data för affärsanalys - en komponent inte bara av bearbetning, utan också med data, både strukturerad och inte. De inkluderar applikationer, verktyg och verktyg som hjälper till att analysera stora mängder data och fatta beslut baserat på data från Hadoop och andra icke-relationella lagringssystem. Det inkluderar inte traditionella BI-analysapplikationer eller tilläggsverktyg för Hadoop själv.
Dessutom är en viktig komponent i Hadoop MapReduce-systemet. Den är utformad för att hantera resurser och databehandling i Hadoop för att säkerställa lagringssäkerhet och optimerad dataplacering i geografiskt distribuerade datacenter. MapReduce-systemet består av två huvudkomponenter - Map, som distribuerar dubbla block av ostrukturerad data över olika noder i lagringssystemet (för tillförlitlig lagring av information), och Reduce - en komponent för att ta bort identisk data, båda för att minska den erforderliga totala lagringsvolymen och öka korrektheten efterföljande åtgärder på data. MapReduce är anmärkningsvärt för det faktum att den bearbetar data där den lagras (dvs i HDFS), istället för att flytta den någonstans för bearbetning och sedan skriva resultaten någon annanstans, vilket vanligtvis görs i konventionell EDW. MapReduce har även ett inbyggt dataåterställningssystem, d.v.s. om en lagringsnod misslyckas vet MapReduce alltid vart den ska vända sig för att få en kopia av förlorad data.
Även om databehandlingshastigheten för MapReduce är en storleksordning överlägsen traditionella metoder bearbetning med "extraktion" av data, men på grund av de ojämförligt stora mängderna data (det är därför de är Big Data), använder MapReduce vanligtvis parallell bearbetning av dataströmmar (batch-läge). Med Hadoop 2.0 är resurshantering en separat funktion (kallad YARN), så MapReduce är inte längre en flaskhals» i Big Data.
Övergången till Big Data-system innebär inte att traditionell EDW ska skrotas. Istället kan de användas tillsammans för att dra nytta av båda och utvinna nytt affärsvärde från deras synergier.
Vad är allt detta till för?Det finns en utbredd uppfattning bland konsumenter av IT- och telekomutrustning att alla dessa spektakulära kombinationer av främmande ord och bokstaver – Cloud Computing, Big Data och diverse andra IMS med softswitches är uppfunna av listiga utrustningsleverantörer för att behålla sina marginaler. Det vill säga att sälja, sälja och sälja nya utvecklingar. Annars kommer försäljningsplanen inte att uppfyllas och Bill Jobs Chambers kommer att säga "ah-ah-ah." Och "bonusen för kvartalet täcktes."
Låt oss därför prata om behovet av allt detta och trender.
Förmodligen har många ännu inte glömt det fruktansvärda H1N1-influensaviruset. Det fanns farhågor för att det skulle kunna vara ännu starkare än spanska sjukan 1918, då antalet offer var i tiotals miljoner. Även om läkarna var tänkta att regelbundet rapportera om ökande sjukdomsfall (och de rapporterade dem), försenades analysen av denna information med 1-2 veckor. Och människorna själva ansökte som regel 3-5 dagar efter sjukdomens början. Det vill säga åtgärder vidtogs i stort sett retroaktivt.
Beroendet av informationens värde av tid tar vanligtvis formen av en U-formad kurva.
Information är mest värdefull antingen omedelbart efter att den har tagits emot (för att fatta operativa beslut) eller efter en tid (för trendanalys).
Google, som lagrar många års sökhistorik, bestämde sig för att analysera de 50 miljonerna mest populära frågor från platserna för tidigare influensaepidemier, och jämför dem med medicinsk statistik under dessa epidemier. Ett system utvecklades för att fastställa en korrelation mellan frekvensen av vissa frågor och 40-50 typiska frågor hittades. Korrelationskoefficienten nådde 97%.
2009 kunde man undvika de allvarliga konsekvenserna av H1N1-epidemin, just för att uppgifterna inhämtades omedelbart, och inte efter 1-2 veckor, då klinikerna i epidemiområdena inte längre skulle vara trånga. Detta var kanske den allra första användningen av big data-teknik, även om det inte hette så på den tiden.
Det är välkänt att priset på en flygbiljett är väldigt oförutsägbart och beror på många faktorer. Jag hamnade nyligen i en situation där jag kunde köpa samma ekonomiklassbiljett från samma flygbolag till samma stad i två möjliga alternativ. För ett flyg som går på kvällen om tre timmar kostar en biljett 12 tusen rubel och för tidigt på morgonen i morgon– 1500 rubel. Jag upprepar, det finns ett flygbolag och till och med flygplanen på båda flygningarna är av samma typ. Vanligtvis är priset på en biljett högre, ju mer tiden närmar sig avresa. Det finns många andra faktorer som påverkar priset på en biljett - en gång förklarade en bokningsagent för mig kärnan i denna mängd priser, men jag förstod fortfarande ingenting. Det kan finnas fall då priset på en biljett tvärtom sjunker om det, när avresedatumet närmar sig, finns många osålda platser, vid eventuella kampanjer osv.
En dag var Oren Encioni, chef för programmet för artificiell intelligens vid Washington State University, på väg att flyga till sin brors bröllop. Eftersom bröllop vanligtvis är planerade i förväg köpte han biljetten direkt, långt innan avgång. Biljetten var verkligen billig, mycket billigare än vanligt när han köpte en biljett för en brådskande affärsresa. Under flygresan skröt han för sin granne hur billigt han lyckades köpa en biljett. Det visade sig att grannens biljett var ännu billigare, och han köpte den senare. Av frustration genomförde Mr. Encioni en improviserad sociologisk undersökning mitt i kabinen om biljettpriser och inköpsdatum. De flesta passagerare betalade mindre än Encioni, och nästan alla köpte biljetter senare än Encioni. Det var väldigt konstigt. Och Enzioni, som professionell, bestämde sig för att ta itu med detta problem.
Efter att ha förvärvat ett urval av 12 tusen transaktioner på webbplatsen för en av resebyråerna skapade han en modell för att förutsäga priser för flygbiljetter. Systemet analyserade endast priser och datum, utan att ta hänsyn till några faktorer. Bara "vad" och "hur mycket", utan att analysera "varför". Resultatet var en prediktiv sannolikhet för en minskning eller ökning av priset på en flygning, baserat på historiken för prisförändringar för andra flygningar. Som ett resultat grundade forskaren ett litet konsultföretag vid namn Farecast (spel med ord: Fare - fare, price; Forecast - forecast) för att förutse priser för flygbiljetter, baserat på en stor databas med flygbokningar, vilket naturligtvis gjorde ger inte 100 % noggrannhet (vilket anges i Användaravtal), men med en rimlig grad av sannolikhet kunde hon svara på frågan om hon skulle köpa en biljett just nu eller vänta. För att ytterligare skydda mot stämningar tillhandahöll systemet också en "självförtroendepoäng" ungefär så här: "Det finns en 83,65% chans att biljettpriset kommer att vara lägre om tre dagar."
Sedan köptes Farecast av Microsoft för flera miljarder dollar och integrerade sin modell i sin Bing sökmotor. (Och, som oftast är fallet med Microsoft, hörs inget mer om denna funktion, eftersom få människor använder denna Bing, och de som använder den vet ingenting om den här funktionen).
Dessa två exempel visar hur sociala fördelar och ekonomiska fördelar kan uppnås genom Big Data-analys.
Vad är egentligen Big Data?Det finns ingen strikt definition av "big data". Allt eftersom tekniker dyker upp att arbeta med stora volymer data för vilka minnet i en dator inte längre räckte till och måste lagras någonstans (MapReduce, Apache Hadoop), blev det möjligt att arbeta med mycket större datamängder än tidigare. I det här fallet kan uppgifterna vara ostrukturerade.
Detta gör det möjligt att överge begränsningarna av den sk. ”representativa stickprov” från vilka större slutsatser kan dras. Analysen av kausalitet ersätts av analysen av enkla korrelationer: det är inte "varför" som analyseras, utan "vad" och "hur mycket". Detta förändrar i grunden etablerade synsätt på hur man fattar beslut och analyserar en situation.
Tiotals miljarder transaktioner sker på aktiemarknaden varje dag, varav cirka två tredjedelar av affärerna avgörs med hjälp av datoralgoritmer baserade på matematiska modeller använda enorma mängder data.
Redan år 2000 stod mängden digitaliserad information för endast 25 % av den totala mängden information i världen. För närvarande är mängden information som lagras i världen i storleksordningen zettabyte, varav icke-digital information står för mindre än 2%.
Enligt historiker trycktes cirka 8 miljoner böcker från 1453 till 1503 (över 50 år). Detta är mer än alla handskrivna böcker skrivna av skriftlärda sedan Kristi födelse. Det tog med andra ord 50 år att ungefär fördubbla informationsbeståndet. Idag händer detta var tredje dag.
För att förstå värdet av "big data" och hur det fungerar, låt oss ge ett enkelt exempel. Innan fotografiets uppfinning tog det från flera timmar till flera dagar eller till och med veckor att rita ett porträtt av en person. I det här fallet gjorde konstnären ett visst antal slag eller slag, vars antal (för att uppnå en "porträttlikhet") kan mätas i hundratals och tusentals. Samtidigt var det viktigt HUR man ritade, hur man applicerade färg, hur man skuggar, etc. Med fotografiets uppfinning, antalet "korn" i analog fotografering, eller antalet "pixlar" i digital fotografering, ändras i flera storleksordningar, och HUR man ordnar dem spelar ingen roll för oss - det är upp till oss att kameran gör detta.
Men resultatet är i huvudsak detsamma – en bild av en person. Men det finns också skillnader. I ett handskrivet porträtt är noggrannheten i likheten mycket relativ och beror på konstnärens "vision" av proportioner, tillägg av nyanser och detaljer, som är i "originalet", dvs. V mänskligt ansikte, hade inte. Fotografiet förmedlar exakt och noggrant "VAD", och lämnar "HUR" i bakgrunden.
Med viss allegori kan vi säga att fotografi är Big Data för ett handskrivet porträtt.
Och nu kommer vi att registrera varje mänsklig rörelse med strikt definierade och ganska små tidsintervall. Det ska visa sig vara en film. Film är "big data" i förhållande till fotografi. Vi ökade mängden data, bearbetade den därefter - vi fick en ny kvalitet - en rörlig bild. Genom att ändra kvantiteten, lägga till en bearbetningsalgoritm får vi en ny kvalitet.
Nu fungerar videobilder själva som mat för Big Data-datorsystem.
När omfattningen av bearbetad data ökar, dyker det upp nya möjligheter som inte är tillgängliga vid bearbetning av mindre datavolymer. Google förutspår influensaepidemier inte värre, och mycket snabbare, än officiell medicinsk statistik. För att göra detta måste du göra grundlig analys hundratals miljarder indata, vilket resulterar i att de ger svar mycket snabbare än officiella källor.
Tja, kortfattat om ytterligare två aspekter av big data.
Noggrannhet .
Big Data-system kan analysera enorma mängder data, och i vissa fall - all data, och INTE prover. Genom att använda all data får vi ett mer exakt resultat och kan se nyanser som inte är tillgängliga med begränsad sampling. Däremot får man vara nöjd allmän uppfattning, och inte genom att förstå fenomenet in i minsta detalj. Däremot tillåter felaktigheter på mikronivå stora mängder data låter dig göra upptäckter på makronivå.
Kausalitet.
Vi är vana vid att leta efter orsaker i allt. Detta är i själva verket vad den vetenskapliga analysen bygger på. I big data-världen är kausalitet inte så viktigt. Viktigare är korrelationerna mellan data, som kan ge nödvändig kunskap. Korrelationer kan inte svara på frågan "varför", men de gör ett bra jobb med att förutsäga "vad" som kommer att hända om vissa korrelationer upptäcks. Och oftast är det precis vad som krävs.
***