Mysql glidande medelvärde query

MySQL-utlösare: Automatisk generering av ytterligare information i databasen MySQL-utlösare är en av de nyare funktionerna i MySQL som hjälper till att göra det till ett lönsamt alternativ för stora företagsapplikationer. Inte för länge sedan pekade de som gjorde sina livningar med hjälp av stora kommersiella databaser som Oracle och DB2 på att MySQL var en snäll, snabb liten databas, men saknade viktig funktion som lagrade procedurer, transaktioner och triggers. Från version 5.0 av MySQL kan dessa funktioner korsas av den listan. Så, vad är MySQL-utlösare, och varför gör MySQLs förmåga att använda dem göra det mer attraktivt för seriösa databasanvändare. Enkelt uttryckt är utlösare små program som lagras i databasen själv och aktiveras av databashändelser som ofta kommer från applikationen lager. Dessa utfallande databashändelser är UPDATE, DELETE eller INSERT-frågor. Utlösaren själv kan utföras före eller efter den fråga som initierar den. Utlösare används ofta för att upprätthålla integriteten av data över tabellerna i en applikation. När en användare på en webbplats gör ett inköp, kan till exempel den första åtgärden som uppstår i databasen vara att en kredit läggs in i en bokföringstabell. Genom en utlösare kan denna åtgärd initiera en kedjereaktion av händelser i andra tabeller under hela applikationen. Produktantalet för ett objekt kan minskas i en inventeringstabell, en avdragsavgift från ett kundkontosaldo i en annan tabell, en butikskredit som tillämpas på en annan tabell. Du kan säga att du har gjort detta hela tiden i dina applikationer med hjälp av PHP eller Perl eller Python eller ASP-kod. Vad är big deal om att använda MySQL triggers Tja, det finns några fördelar med att använda triggers över applikationskoden för att upprätthålla integriteten av data över tabeller. En utlösare utför i allmänhet de typer av uppgifter som beskrivs snabbare än programkoden, och kan aktiveras enkelt och snabbt bakom kulisserna och behöver inte vara en del av din programkod. Detta sparar tid och sparar dig från överflödig kodning. Om du någonsin hamnar din ansökan till ett annat språk riskerar dina utlösare att hålla sig på plats utan ändringar, tillsammans med dina tabeller och andra databasobjekt. För att visa hur MySQL utlöser arbete kan vi ställa in två enkla tabeller på en databas, ring 8220salesrecords8221 som har data som är beroende av varandra. Föreställ dig en databas som spårar försäljningsrekord hos tre säljare på ett varuhus. De arbetar i elektronikavdelningen som säljer saker som TV-apparater. stereoanläggningar och MP3-spelare. Vi har huvudbordet som håller rekord över varje försäljning som gjorts. Det registrerar försäljningsantalet (försäljningsamt), datumet (datumet), försäljarens namn (namn), hans id-nummer (anställd) och produkt-id (prodid). Tja det här bordet (smart nog) 8220sales8221. I den andra tabellen vill vi behålla vissa data som gör att vi enkelt kan hålla reda på hur varje säljare gör. Det kommer att innehålla försäljare id (anställd), namn (namn), totalt antal försäljningar (totalsalar) och en kolumn som håller varje försäljare genomsnittlig mängd per försäljning (avesale). Vi vill se vilka som flyttar high-end-objekten. Tja, ring detta bord 8220performance8221. Nu kommer den svåra delen. Som jag nämnde är utlösare databasobjekt precis som tabeller. Utlösare kan emellertid utföra procedurkod som ändrar data i dina tabeller. I det här fallet vill vi att vår utlösare avfyras innan något INSERT-uttalande som exekveras i försäljningsbordet. När en försäljningsrekord sätts in i säljtabellen måste försäljningsberättelserna uppdateras i prestandatabellen. Följande kod kan skrivas i din favorit textredigerare och klistras in i konsolen vid MySQL-prompten. Innan du gör det, vill du utföra den här raden: Vår procedur kod använder semikolon i slutet av uttalanden, så vi måste ange en annan avgränsare för att låta MySQL veta när vårt kodblock är över och så att det inte slutar bearbeta vårt block när det träffar en semikolon. Tänk på att när du har avslutat ditt block måste du sätta avgränsaren tillbaka till semikolon eller avsluta några kommandon med den nya avgränsaren. Om du till exempel har gjort fel i ditt CREATE TRIGGER-block och vill ta bort det, kommer DROP TRIGGER inte fungera om du inte anger avgränsaren tillbaka till semikolon. Här är koden för utlösaren: OK, vi kan prata om koden. Med hjälp av CREATE TRIGGER-satsen startade vi triggeren och namngav den salesbitrg. MySQL-utlösare kan avfyra före eller efter en INSERT, UPDATE eller DELETE-händelse. Den här brinner innan någon data läggs in i försäljnings tabellen. KRAVEN FÖR VARJE RÅD betyder att blocket kommer att fungera på varje rad som uppfyller kriterierna för våra SQL-satser. Sökorden BEGIN och END lägger till de utlösande uttalanden som ska utföras när avtryckaren avfyras. Det finns två variabler deklarerade. Den första är numrow som kontrollerar för att se om arbetstagaren har vem som har gjort den försäljning som ska ingå, har haft en försäljning in i resultattabellen tidigare. Om det inte finns några anställda som matchar, så är detta anställdas första försäljning, och detta uppfyller ELSE-villkoret för vårt 8220IF-uttalande. Denna data kommer att anges som ett inlägg i prestandatabellen snarare än en uppdatering. Om numrow är större än 0, uppdateras prestandatabellen. Den andra variabeln, totrows, är en räkning av hur många försäljningar arbetstagaren har i försäljningsbordet. Detta värde används för att beräkna medarbetarnas genomsnittliga försäljning. Räkningen görs innan försäljningen sätts in i försäljningsbordet, så vi måste lägga till en till den. När prestandatabellen uppdateras är den genomsnittliga försäljnings totalsalen (totrows1). Om vår MySQL-utlösare fungerar korrekt kommer prestandatabellen att hålla en löpande summa för varje försäljningsförsäljares totala försäljning, och även den genomsnittliga summan av deras totala försäljning. Det kommer att göra detta oberoende av din ansökan kod och vara bärbar till någon applikationsplattform. För att ge det en virvel, sätt in några data i försäljningsbordet och övervaka innehållet i prestandatabellen. Här är uttalandet: Ändra nummer och namn och prova det några gånger. (Kom ihåg att en anställd har samma anställningsnummer för var och en av hans försäljning.) Om du känner dig äventyrlig, bör du börja tänka på hur MySQL-utlösaren måste utökas för att redogöra för UPDATE och DELETE-uttalandena på försäljningsbordet. Gratis eBook Prenumerera på mitt nyhetsbrev och få min ebook om Entity Relationship Modeling Principles som en gratis present: Vad besökarna säger. Jag snubblat precis över din webbplats och letade efter en normaliseringsteori och jag måste säga att det är fantastiskt. Jag har varit i databasfältet i 10 år och jag har aldrig tidigare stött på en sådan användbar webbplats. Tack för att du tog dig tid att sätta den här sidan tillsammans. PHP erbjuder tre olika API: er för att ansluta till MySQL. Dessa är mysql (borttagen från PHP 7), mysqli. och PDO-förlängningar. Mysql-funktionerna brukade vara mycket populära, men deras användning uppmuntras inte längre. Dokumentationsgruppen diskuterar säkerhetssäkerhetssituationen, och utbilda användare att flytta sig från den vanliga extmysql-förlängningen är en del av detta (kontrollera php. internals: deprecating extmysql). Och det senare PHP-utvecklarteamet har fattat beslutet att generera EDEPRECATED-fel när användarna ansluter till MySQL, antingen via mysqlconnect (). mysqlpconnect () eller den implicita anslutningsfunktionaliteten inbyggd i extmysql. extmysql avgick officiellt från PHP 5.5 och har tagits bort från PHP 7. När du går på någon mysql-funktionsmanualsida ser du en röd ruta och förklarar att den inte ska användas längre. Att flytta från extmysql handlar inte bara om säkerhet, utan också om att ha tillgång till alla funktioner i MySQL-databasen. extmysql byggdes för MySQL 3.23 och fick bara väldigt få tillägg sedan dess och förblir mest kompatibelt med den här gamla versionen, vilket gör koden lite svårare att behålla. Saknade funktioner som inte stöds av extmysql inkluderar: (från PHP manual). Anledning till att inte använda mysql-funktionen: Inte under aktiv utveckling Avlägsnad från PHP 7 Saknar ett OO-gränssnitt Stöder inte blockerade asynkrona frågor Stödjer inte beredda uttalanden eller parametrerade frågor Stödjer inte lagrade procedurer Stödjer inte flera uttalanden Stödjer inte transaktioner Stödjer inte alla funktionaliteten i MySQL 5.1 Brist på stöd för beredda uttalanden är särskilt viktigt eftersom de ger en tydligare, mindre felaktig metod att flyga och citerar externa data än att manuellt flytta den med ett separat funktionssamtal. Undertrycka avskrivningsvarningar Medan kod konverteras till MySQLi PDO. EDEPRECATED fel kan undertryckas genom att ställa in felrapportering i php. ini för att utesluta EDEPRECATED: Observera att detta också kommer att gömma andra avskrivningsvarningar. vilket dock kan vara för andra saker än MySQL. (från PHP manual) Och ett bättre sätt är PDO. och jag skriver nu en enkel PDO-handledning. En enkel och kort PDO-handledning Q. Första frågan i mitt sinne var: Vad är PDO A. PDO PHP Data Objects är ett databasåtkomstlager som ger en enhetlig metod för åtkomst till flera databaser. Ansluta till MySQL Med mysql-funktionen eller så kan vi säga den gamla vägen (avskriven i PHP 5.5 och senare) Med PDO. Allt du behöver göra är att skapa ett nytt PDO-objekt. Konstruktorn accepterar parametrar för att specificera databaskällan PDO s-konstruktorn tar oftast fyra parametrar som är DSN (datakälla namn) och valfritt användarnamn. Lösenord . Här tror jag att du är bekant med alla utom DSN, det här är nytt i PDO. En DSN är i grunden en rad alternativ som berättar för PDO vilken förare som ska använda, och anslutningsdetaljer. För ytterligare referens, kolla BOB MySQL DSN. Obs! Du kan också använda charsetUTF-8. men ibland orsakar det ett fel, så det är bättre att använda utf8. Om det finns något anslutningsfel slänger det ett PDOException-objekt som kan cachas för att hantera undantag längre. Du kan också vidarebefordra flera drivrutinsalternativ till en array till den fjärde parametern. Jag rekommenderar att du skickar parametern som sätter PDO i undantagsläge. Eftersom vissa PDO-drivrutiner inte stöder inhemska beredda uttalanden, gör PDO emulering av förberedelsen. Det låter dig också aktivera denna emulering manuellt. För att använda beredda uttalanden från den inbyggda serversidan bör du uttryckligen ställa in den som felaktig. Den andra är att stänga av beredning emulering som är aktiverad i MySQL-drivrutinen som standard, men förbereda emulering bör stängas av för att använda PDO på ett säkert sätt. Jag kommer senare att förklara varför förbereda emulering ska stängas av. För att hitta skäl, kolla detta inlägg. Det kan endast användas om du använder en gammal version av MySQL som jag inte rekommenderade. Nedan följer ett exempel på hur du kan göra det: Kan vi ange attribut efter PDO-konstruktion Ja. Vi kan också ange några attribut efter PDO-konstruktion med setAttribute-metoden: Felhantering Felhantering är mycket lättare i PDO än mysql. En vanlig praxis när du använder mysql är: ELLER dö () är inte ett bra sätt att hantera felet eftersom vi inte kan hantera sak i dö. Det kommer bara att sluta skriptet plötsligt och sedan echo felet till skärmen som du vanligtvis inte vill visa för dina slutanvändare, och låta blodiga hackare upptäcka ditt schema. Alternativt kan returvärdena för mysql-funktioner ofta användas i samband med mysqlerror () för att hantera fel. BOB erbjuder en bättre lösning: undantag. Allt vi gör med PDO bör vikas in i ett provkvarter. Vi kan tvinga PDO till ett av tre fellägen genom att ange fellägeattributet. Tre felhanteringslägen finns nedan. PDO :: ERRMODESILENT. Dess bara inställning felkoder och fungerar ganska mycket detsamma som mysql där du måste kontrollera varje resultat och sedan titta på db-gterrorInfo () för att få felinformationen. BOB :: ERRMODEWARNING Höj EWARNING. (Körtidsvarningar (icke-dödliga fel). Utförandet av manuset stoppas inte.) PDO :: ERRMODEEXCEPTION. Kasta undantag. Det representerar ett fel som tas upp av PDO. Du ska inte kasta en PDOException från din egen kod. Se Undantag för mer information om undantag i PHP. Det verkar väldigt mycket som eller dör (mysqlerror ()). när det inte fångats. Men till skillnad från eller dö (). PDOException kan fångas och hanteras graciöst om du väljer att göra det. Och du kan pakka in det i försök. som nedan: Du behöver inte hantera försökfånget just nu. Du kan fånga den när som helst som är lämplig, men jag rekommenderar starkt att du använder provtagning. Det kan också vara mer meningsfullt att fånga det utanför funktionen som kallar PDO-grejer: Du kan också hantera eller dö () eller vi kan säga som mysql. men det kommer att bli riktigt varierat. Du kan dölja de farliga felmeddelandena i produktionen genom att stänga av displayerfel och bara läsa din fellogg. Nu, efter att ha läst alla ovanstående saker tänker du förmodligen: hur mycket är det när jag bara vill börja luta mig enkel SELECT. FÖRA IN. UPPDATERING. eller DELETE uttalanden Oroa dig inte, här går vi: Välja data Så vad du gör i mysql är: Nu i PDO. Du kan göra så här: Obs. Om du använder metoden som nedan (fråga ()) returnerar den här metoden ett PDOStatement-objekt. Så om du vill hämta resultatet, använd det som ovan. I PDO-data erhålls den via - gtfetch (). en metod för ditt uttalandehandtag. Innan samtal hämtas skulle det bästa sättet vara att säga PDO hur du gillar datan som ska hämtas. I det följande avsnittet förklarar jag detta. Hämta Modes Notera användningen av PDO :: FETCHASSOC i hämta () och fetchAll () - koden ovan. Detta berättar PDO att returnera raderna som en associativ array med fältnamnen som nycklar. Det finns också många andra hämtningsmetoder som jag kommer att förklara en efter en. Först och främst förklarar jag hur du väljer hämtningsläge: I ovanstående har jag använt hämta (). Du kan också använda: PDOStatement :: fetchAll () - Returnerar en array som innehåller alla resultatraderna rader PDOStatement :: fetchColumn () - Returnerar en enda kolumn från nästa rad i en resultatuppsättning PDOStatement :: fetchObject () - Fetches the nästa rad och returnerar den som ett objekt. PDOStatement :: setFetchMode () - Ställ in standard hämtningsläge för detta uttalande Nu kommer jag till hämtningsläge: PDO :: FETCHASSOC. returnerar en array indexerad av kolumnnamnet som returneras i resultatlistan PDO :: FETCHBOTH (standard): returnerar en array indexerad av både kolumnnamn och 0-indexerat kolumnnummer som returneras i resultatraden. Det finns ännu fler val. Läs om dem alla i PDOStatement Hämta dokumentation. . Få radräkningen: I stället för att använda mysqlnumrows för att få antalet återkomna rader, kan du få en PDOStatement och göra rowCount (). som: Få det senast infogade IDet Sätt och uppdatera eller ta bort uttalanden Det som vi gör i mysql-funktionen är: Och i pdo kan samma sak göras av: I ovanstående fråga PDO :: exec kör ett SQL-uttalande och returnerar numret av drabbade rader. Infoga och ta bort kommer att täckas senare. Ovanstående metod är endast användbar när du inte använder variabel i fråga. Men när du behöver använda en variabel i en fråga, försök aldrig någonsin som ovan och där för förberedda uttalanden eller parametrerade uttalanden är. Förberedda uttalanden Q. Vad är ett förberedt uttalande och varför behöver jag dem A. Ett förberedt uttalande är ett förkompilerat SQL-uttalande som kan utföras flera gånger genom att bara skicka data till servern. Det typiska arbetsflödet för att använda ett förberedt uttalande är följande (citerade från Wikipedia tre 3 poäng): Förbered. Uppsättningsmallen skapas av applikationen och skickas till databashanteringssystemet (DBMS). Vissa värden lämnas ospecificerade, kallade parametrar, platshållare eller bindningsvariabler (märkt nedan): INSERT IN PRODUCT (namn, pris) VÄRDEN (.) DBMS analyserar, sammanställer och utför sökoptimering på formulärmallen och lagrar resultatet utan att exekvera det. Kör . Vid ett senare tillfälle levererar applikationen (eller binder) värdena för parametrarna, och DBMS utför uttalandet (eventuellt returnerar ett resultat). Applikationen kan utföra uttalandet så många gånger som det vill med olika värden. I det här exemplet kan det mata bröd för den första parametern och 1,00 för den andra parametern. Du kan använda ett förberedt uttalande genom att inkludera platsinnehavare i din SQL. Det finns i grund och botten tre utan platshållare (försök inte detta med variabeln ovanstående), en med namngivna platshållare och en med namngiven platshållare. F. Så nu, vad heter platshållare och hur använder jag dem A. Namnerade platshållare. Använd beskrivande namn som föregås av ett kolon istället för ifrågasätter. Vi bryr oss inte om positionorder av värde i namnplatshållare: Du kan också binda med en exekveringsgrupp också: En annan bra funktion för OOP-vänner är att de namngivna platsinnehavarna har möjlighet att infoga objekt direkt i din databas, förutsatt att egenskaperna matchar namnet fält. Till exempel: Q. Så nu, vad är namngivna platshållare och hur använder jag dem A. Låt oss få ett exempel: I ovanstående kan du se dem. istället för ett namn som i en namnplatshållare. Nu i det första exemplet tilldelar vi variabler till de olika platshållarna (stmt-gtbindValue (1, namn, PDO :: PARAMSTR)). Sedan tilldelar vi värden till de platsägare och genomför uttalandet. I det andra exemplet går det första matriselementet till det första. och den andra till den andra. NOTERA . I namngivna platshållare måste vi ta hand om den ordnade ordningen av elementen i matrisen som vi passerar till PDOStatement :: execute () - metoden. VÄLJ. FÖRA IN. UPPDATERING. DELETE utarbetade frågor Amine, Nej, det är det inte. Medan NullPoite verkligen gjorde ett bra jobb för att skriva det, är det verkligen inte en bra läsning, för det är långt ifrån. Jag är ganska säker på att 8 av 10 besökare helt enkelt kommer hoppa över det. Och du har också en förklaring, varför det här svaret är högst röstat. En tldr del i början skulle vara en bra idé, tror jag. ndash trejder 4 juli 14 på 11:00 Först, börja med standardkommentaren vi ger alla: Var god, använd inte mysql-funktionerna i ny kod. De hålls inte längre och avläggs officiellt. Se den röda rutan. Lär dig om förberedda uttalanden istället och använd PDO eller MySQLi - den här artikeln hjälper dig att bestämma vilken. Om du väljer PDO, här är en bra handledning. Låt oss gå igenom detta, mening för mening och förklara: De hålls inte längre och avskaffas officiellt. Det innebär att PHP-gemenskapen gradvis släpper stöd för dessa mycket gamla funktioner. De kommer sannolikt inte att existera i en framtida (senaste) version av PHP. Fortsatt användning av dessa funktioner kan bryta din kod i (inte så) långt framtid. Nyare extmysql har tagits bort i PHP 7 Istället bör du lära dig om förberedda uttalanden - mysql-tillägget stöder inte förberedda uttalanden. vilket är (bland annat) en mycket effektiv motåtgärd mot SQL Injection. Det fixade en mycket allvarlig sårbarhet i MySQL-beroende applikationer som tillåter angripare att få tillgång till ditt skript och utföra eventuella frågor i din databas. När du går på någon mysql-funktionsmanualsida ser du en röd ruta och förklarar att den inte ska användas längre. Använd antingen PDO eller MySQLi Det finns bättre, robustare och välbyggda alternativ, PDO - PHP Database Object. som erbjuder en komplett OOP-metod för databasinteraktion och MySQLi. vilket är en MySQL-specifik förbättring. Användarvänlighet De analytiska och syntetiska skälen har redan nämnts. För nykomlingar är det ett mer viktigt incitament att sluta använda de daterade mysql-funktionerna. Samtida databas-API är bara enklare att använda. Dess mestadels är de bundna parametrar som kan förenkla koden. Och med utmärkta handledning (som sedd ovan) är övergången till PDO inte alltför svår. Omskrivning av en större kodbas samtidigt tar dock tid. Raison dtre för detta mellanliggande alternativ: Ekvivalenta pdo-funktioner i stället för mysql Med lt pdomysql. php gt kan du byta från de gamla mysql-funktionerna med minimal ansträngning. Det lägger till pdo funktion wrappers som ersätter deras mysql motsvarigheter. Helt enkelt includeonce (pdomysql. php) i varje uppropsskript som måste interagera med databasen. Ta bort mysql-funktionens prefix överallt och ersätt det med pdo. mysql connect () blir pdo connect () mysql query () blir pdo query () mysql numrows () blir pdo numrows () mysql insertid () blir pdo insertid () mysql fetcharray () blir pdo fetcharray () mysql fetchassoc pdo fetchassoc () mysql realescapestring () blir pdo realescapestring () och så vidare. Din kod kommer att fungera lika och ser fortfarande mest ut: Et voil. Din kod använder PDO. Nu är det dags att faktiskt utnyttja det. Bundet parametrar kan vara lätta att använda Du behöver bara ett mindre oväldigt API. pdoquery () lägger till mycket enkelt stöd för bundna parametrar. Konvertera gammal kod är enkel: Flytta dina variabler ur SQL-strängen. Lägg till dem som kommavärkta funktionsparametrar till pdoquery (). Placera frågetecken. som platshållare där variablerna fanns tidigare. Bli av med citat som tidigare bifogade strängvärdesvariabler. Fördelen blir mer uppenbar för längre kod. Ofta strängvariabler arent bara interpolerade till SQL, men sammanfogade med att flytta samtal mellan dem. Med. platshållare anropade du behöver inte störa med det: Kom ihåg att pdo fortfarande tillåter antingen eller. Bara fly inte en variabel och binda den i samma fråga. Platshållarefunktionen tillhandahålls av den verkliga PDO bakom den. Således tillåts också: namngivna platshållarlistor senare. Ännu viktigare är att du kan skicka REQUEST-variablerna säkert bakom varje fråga. När inlämnad ltformgt fält matchar databasstrukturen exakt är den ännu kortare: Så mycket enkelhet. Men vi kan komma tillbaka till några mer omskrivningsanvisningar och tekniska skäl till varför du kanske vill bli av med mysql och flyr. Fixera eller ta bort eventuell oldschool sanitize () - funktion När du har konverterat alla mysql-samtal till pdoquery med bundna parametrar, ta bort alla redundanta pdorealescapestring-samtal. I synnerhet bör du fixa alla sanitiserar eller rengör eller filtrera Det här eller cleandata-funktionerna som annonseras av daterade handledning i en form eller den andra: Den mest skarpa buggen här är bristen på dokumentation. Mer betydligt var filtreringsordningen i exakt fel ordning. Korrekt order skulle ha varit: deprecatedly stripslashes som innersta samtalet, sedan trimma. efteråt striptags. htmlentiteter för utgångssammanhang, och endast slutligen escapestring som dess tillämpning borde direkt gå före SQL-intersparsing. Men som första steg, bli av med realescapestring-samtalet. Det kan hända att du måste behålla resten av din sanitize () - funktion för nu om din databas och applikationsflöde förväntar sig HTML-kontext-säkra strängar. Lägg till en kommentar om att den endast gäller HTML-utrymning framåt. Strängvärdeshantering delegeras till PDO och dess parametrerade uttalanden. Om det finns några omnämnanden av stripslashes () i din sanitize-funktion kan det indikera en högre övervakning. Det var vanligtvis där för att ångra skador (dubbel flyktning) från de förfallna magicquotesna. Vilket är dock bäst fixat centralt. inte sträng efter sträng. Använd ett av användarlandets återvändande tillvägagångssätt. Ta sedan bort stripslashes () i sanitize-funktionen. Historisk anteckning om magicquotes. Den funktionen är med rätta avlägsnad. Det är emellertid ofta felaktigt avbildat som misslyckad säkerhetsfunktion. Men magicquotes är lika mycket en misslyckad säkerhetsfunktion som tennisbollar har misslyckats som näringskälla. Det var helt enkelt inte deras syfte. Den ursprungliga implementeringen i PHP2FI introducerade det uttryckligen med bara citat kommer automatiskt att rymma vilket gör det enklare att skicka formulärdata direkt till msql-frågor. I synnerhet var det oavsiktligt säkert att använda med mSQL. som det bara stödde ASCII. Då PHP3Zend återinförde magicquotes för MySQL och misdocumented det. Men ursprungligen var det bara en bekvämhetsfunktion. inte avser säkerhet. Hur beredda uttalanden skiljer sig När du krypterar strängvariabler i SQL-frågorna blir det inte mer komplicerat för dig att följa. Dess utmanande ansträngning för MySQL att separera kod och data igen. SQL-injektioner är helt enkelt när data blöder i kodsammanhang. En databasserver kan inte senare ställe där PHP ursprungligen limmade variabler i mellan frågeklausuler. Med bundna parametrar separerar du SQL-kod och SQL-kontextvärden i din PHP-kod. Men det blir inte blandat upp bakom kulisserna (förutom med PDO :: EMULATEPREPARES). Din databas tar emot ovarierade SQL-kommandon och 1: 1-variabla värden. Medan detta svar betonar att du bör bry sig om läsbarhetsfördelarna med att droppa mysql. Det är ibland också en prestationsfördel (upprepad INSERT med bara olika värden) på grund av denna synliga och tekniska datakodsavskiljning. Akta dig för att parameterbindningen fortfarande inte är en magisk one-stop-lösning mot alla SQL-injektioner. Den hanterar den vanligaste användningen av data. Men kan inte namnge tabellen identifierare kolonnnamnstabell, hjälp med dynamisk klausulkonstruktion eller bara enkla arrayvärdeslistor. Hybrid PDO-användning Dessa pdo-wrapper-funktioner gör ett kodningsvänligt stop-gap API. (Det är ganska mycket vad MYSQLI kunde ha varit om det inte var för det idiosynkratiska funktionssignaturskiftet). De exponerar också den verkliga PDO vid de flesta tillfällen. Omskrivning behöver inte sluta med de nya pdo-funktionsnamnen. Du kan en gång övergå varje pdoquery () till en vanlig pdo-preparation () - execute () - uppringning. Det är bäst att börja med att förenkla igen dock. Till exempel kan det gemensamma resultatet hämtas: Kan ersättas med bara en förutgående iteration: Eller bättre än en direkt och fullständig gruppsökning: Du får i de flesta fall mer användarvänliga varningar än PDO eller mysql ger vanligtvis efter misslyckade frågor. Andra alternativ Så visade detta förhoppningsvis några praktiska skäl och en värdefull väg att släppa mysql. Att bara byta till pdo klarar inte riktigt det. pdoquery () är också bara en frontend på den. Om du inte introducerar parameterbindning eller kan använda något annat från det trevligare API, är det en meningslös switch. Jag hoppas att det är tillräckligt enkelt för att inte fördjupa motviljan till nykomlingar. (Utbildning fungerar oftast bättre än förbud.) Även om det kvalificerar sig för den enklaste sak-som-kan-möjligen-arbetskategorin, är det också mycket experimentell kod. Jag skrev just det över helgen. Theres en uppsjö av alternativ dock. Bara google för PHP databas abstraktion och bläddra lite. Det har alltid varit och kommer att finnas massor av utmärkta bibliotek för sådana uppgifter. Om du vill förenkla din databasinteraktion ytterligare är mappers som ParisIdiorm värda ett försök. Precis som ingen använder dumma DOM i JavaScript längre, behöver du inte babysit ett radatabasgränssnitt nuförtiden. Besvarade dec 24 13 klockan 23:30 Med tanke på tekniska skäl finns det bara få, extremt specifika och sällan används. Troligtvis kommer du aldrig någonsin att använda dem i ditt liv. Det kan vara jag är för okunnig, men jag har aldrig haft möjlighet att använda dem saker som icke-blockering, asynkrona frågor lagrade procedurer som returnerar flera resultsets Kryptering (SSL) - komprimering Om du behöver dem - det är ingen tvekan tekniska skäl att flytta bort från mysql förlängning mot något mer snyggt och modernt utseende. Det finns emellertid också några icke-tekniska problem, vilket kan göra din upplevelse lite hårdare, ytterligare användning av dessa funktioner med moderna PHP-versioner kommer att öka meddelanden om fördröjd nivå. De kan helt enkelt stängas av. i en avlägsen framtid kan de eventuellt tas bort från standard PHP-byggnaden. Inte en stor sak också, eftersom mydsql ext kommer att flyttas till PECL och varje värd kommer gärna att komplimera PHP med det, eftersom de inte vill förlora klienter vars webbplatser fungerade i årtionden. starkt motstånd från Stackoverflow community. mycket tid du nämner dessa ärliga funktioner, du blir tillsagd att de är under strikt tabu. vara en genomsnittlig php-användare, troligtvis är din uppfattning att använda dessa funktioner felaktiga och felaktiga. Bara på grund av alla dessa många handledning och handböcker som lär dig fel väg. Inte funktionerna själva - jag måste betona det - men hur de används. Denna senare fråga är ett problem. Men enligt min mening är den föreslagna lösningen inte heller bättre. Det verkar för mig alltför idealistiskt en dröm att alla dessa PHP-användare kommer att lära sig att hantera SQL-frågor ordentligt på en gång. Mest sannolikt skulle de bara byta mysql till mysqli mekaniskt och lämna samma tillvägagångssätt. Särskilt för att mysqli gör förberedda uttalanden användningen oerhört smärtsam och besvärlig. För att inte tala om de inhemska beredda uttalandena är tillräckliga för att skydda mot SQL-injektioner, och varken mysqli eller PDO erbjuder en lösning. Så, i stället för att bekämpa denna ärliga förlängning, föredrar ID att bekämpa felaktiga metoder och utbilda människor på rätt sätt. Det finns också några falska eller icke-betydande skäl, som stödjer inte lagrade procedurer (vi använde mysqlquery (CALL myproc) i åldrar) stöder inte transaktioner (samma som ovan) stöder inte flera uttalanden (som behöver dem) inte under aktiv utveckling (så vad påverkar dig på något praktiskt sätt) Saknar ett OO-gränssnitt (för att skapa en är en fråga om flera timmar) Stöder inte Förberedda uttalanden eller parametrerade frågor En senare är en intressant punkt. Även om mysql ext inte stöder inhemska beredda uttalanden, är de inte nödvändiga för säkerheten. Vi kan enkelt förfalska förberedda uttalanden med manuellt hanterade platshållare (precis som PDO gör): voila. Allt är parametrerat och säkert. Men okej, om du inte gillar den röda rutan i handboken, uppstår ett problem: mysqli eller PDO Tja, svaret skulle vara följande: Om du förstår behovet av att använda ett databasabstraktionslager. och letar efter ett API för att skapa en, är mysqli ett mycket bra val, eftersom det verkligen stöder många mysql-specifika funktioner. Om du, som vanligt majoritet av PHP-personer, använder rå API-samtal direkt i programkoden (som i huvudsak är felaktig praxis) - PDO är det enda valet. eftersom denna förlängning låter sig vara inte bara API utan snarare en semi-DAL, fortfarande ofullständig men erbjuder många viktiga funktioner, med två av dem gör PDO kritiskt urskiljd från mysqli: till skillnad från mysqli kan PDO binda platshållare efter värde. vilket gör dynamiskt byggda frågor genomförbara utan flera skärmar med ganska rörig kod. Till skillnad från mysqli kan PDO alltid returnera sökresultatet i ett enkelt vanligt system, medan mysqli kan göra det bara på mysqlnd-installationer. Så, om du är en genomsnittlig PHP-användare och vill spara dig massor av huvudvärk när du använder inbyggda beredda uttalanden är PDO - igen - det enda valet. Dock är BOB inte en silverkula också och har svårigheter. Så skrev jag lösningar för alla vanliga fallgropar och komplexa fall i BOB-tagwiki. Men alla som pratar om tillägg saknar alltid de 2 viktiga fakta om Mysqli och PDO: Förberedda uttalanden är inte en silverkula. Det finns dynamiska identifierare som inte kan bindas med hjälp av förberedda uttalanden. Det finns dynamiska frågor med okänt antal parametrar som gör att sökfrågan bygger en svår uppgift. Varken mysqli eller PDO-funktioner borde dyka upp i ansökningskoden. There ought to be an abstraction layer between them and application code, which will do all the dirty job of binding, looping, error handling, etc. inside, making application code DRY and clean. Especially for the complex cases like dynamical query building. So, just switching to PDO or mysqli is not enough. One have to use an ORM, or a query builder, or whatever database abstraction class instead of calling raw API functions in their code. And contrary - if you have an abstraction layer between your application code and mysql API - it doesnt actually matter which engine is used. You can use mysql ext until it goes deprecated and then easily rewrite your abstraction class to another engine, having all the application code intact. Here are some examples based on my safemysql class to show how such an abstraction class ought to be: Compare this one single line with amount of code you will need with PDO . Then compare with crazy amount of code you will need with raw Mysqli prepared statements. Note that error handling, profiling, query logging already built in and running. Compare it with usual PDO inserts, when every single field name being repeated six to ten times - in all these numerous named placeholders, bindings and query definitions. You can hardly find an example for PDO to handle such practical case. And it will be too wordy and most likely unsafe. So, once more - it is not just raw driver should be your concern but abstraction class, useful not only for silly examples from beginners manual but to solve whatever real life problems. How is Not under active development only for that made-up 390.0139 If you build something with this stand-still function, update your mysql-version in a year and wind up with a non-working system, I39m sure there are an awful lot of people suddenly in that 390.0139. I39d say that deprecated and not under active development are closely related. You can say that there is quotno worthy reasonquot for it, but the fact is that when offered a choice between the options, no active development is almost just as bad as deprecated I39d say ndash Nanne Feb 1 13 at 10:21 ShaquinTrifonoff: sure, it doesn39t use prepared statements. But neither does PDO. which most people recommend over MySQLi. So I39m not sure that has a significant impact here. The above code (with a little more parsing) is what PDO does when you prepare a statement by default. ndash ircmaxell Feb 4 13 at 12:44 This answer is written to show just how trivial it is to bypass poorly written PHP user-validation code, how (and using what) these attacks work and how to replace the old MySQL functions with a secure prepared statement - and basically, why StackOverflow users (probably with a lot of rep) are barking at new users asking questions to improve their code. First off, please feel free to create this test mysql database (I have called mine prep): With that done, we can move to our PHP code. Lets assume the following script is the verification process for an admin on a website (simplified but working if you copy and use it for testing): Seems legit enough at first glance. The user has to enter a login and password, right Brilliant, not enter in the following: The output is as follows: Super Working as expected, now lets try the actual username and password: Amazing Hi-fives all round, the code correctly verified an admin. Its perfect Well, not really. Lets say the user is a clever little person. Lets say the person is me. Enter in the following: And the output is: Congrats, you just allowed me to enter your super-protected admins only section with me entering a false username and a false password. Seriously, if you dont believe me, create the database with the code I provided, and run this PHP code - which at glance REALLY does seem to verify the username and password rather nicely. So, in answer, THAT IS WHY YOU ARE BEING YELLED AT. So, lets have a look at what went wrong, and why I just got into your super-admin-only-bat-cave. I took a guess and assumed that you werent being careful with your inputs and simply passed them to the database directly. I constructed the input in a way tht would CHANGE the query that you were actually running. So, what was it supposed to be, and what did it end up being Thats the query, but when we replace the variables with the actual inputs that we used, we get the following: See how I constructed my password so that it would first close the single quote around the password, then introduce a completely new comparison Then just for safety, I added another string so that the single quote would get closed as expected in the code we originally had. However, this isnt about folks yelling at you now, this is about showing you how to make your code more secure. Okay, so what went wrong, and how can we fix it This is a classic SQL injection attack. One of the simplest for that matter. On the scale of attack vectors, this is a toddler attacking a tank - and winning. So, how do we protect your sacred admin section and make it nice and secure The first thing to do will be to stop using those really old and deprecated mysql functions. I know, you followed a tutorial you found online and it works, but its old, its outdated and in the space of a few minutes, I have just broken past it without so much as breaking a sweat. Now, you have the better options of using mysqli or PDO. I am personally a big fan of PDO, so I will be using PDO in the rest of this answer. There are pros and cons, but personally I find that the pros far outweigh the cons. Its portable across multiple database engines - whether you are using MySQL or Oracle or just about bloody anything - just by changing the connection string, it has all the fancy features we want to use and it is nice and clean. I like clean. Now, lets have a look at that code again, this time written using a PDO object: The major differences are that there are no more mysql functions. Its all done via a PDO object, secondly, it is using a prepared statement. Now, whats a prepred statement you ask Its a way to tell the database ahead of running a query, what the query is that we are going to run. In this case, we tell the database: Hi, I am going to run a select statement wanting id, userid and pass from the table users where the userid is a variable and the pass is also a variable.. Then, in the execute statement, we pass the database an array with all the variables that it now expects. The results are fantastic. Lets try those username and password combinations from before again: User wasnt verified. Awesome. Oh, I just got a little excited, it worked: The check passed. We have a verified admin Now, lets try the data that a clever chap would enter to try to get past our little verification system: This time, we get the following: This is why you are being yelled at when posting questions - its because people can see that your code can be bypassed wihout even trying. Please, do use this question and answer to improve your code, to make it more secure and to use functions that are current. Lastly, this isnt to say that this is PERFECT code. There are many more things that you could do to improve it, use hashed passwords for example, ensure that when you store sensetive information in the database, you dont store it in plain text, have multiple levels of verification - but really, if you just change your old injection prone code to this, you will be WELL along the way to writing good code - and the fact that you have gotten this far and are still reading gives me a sense of hope that you will not only implement this type of code when writing your websites and applications, but that you might go out and research those other things I just mentioned - and more. Write the best code you can, not the most basic code that barely functions. answered Sep 18 13 at 12:28 Because (amongst other reasons) its much harder to ensure the input data is sanitized. If you use parametrized queries, as one does with PDO or mysqli you can entirely avoid the risk. As an example, some-one could use enhzflep) drop table users as a user name. The old functions will allow executing of multiple statements per query, so something like that nasty bugger can delete a whole table. If one were to use PDO of mysqli, the user-name would end-up being enhzflep) drop table users The old functions will allow executing of multiple statements per query - no, they won39t. That kind of injection is not possible with extmysql - the only way this kind of injection is possible with PHP and MySQL is when using MySQLi and the mysqlimultiquery() function. The kind injection that is possible with extmysql and unescaped strings is things like 39 OR 39139 391 to extract data from the database that was not meant to be accessible. In certain situations it is possible to inject sub queries, however it is still not possible to modify the database in this way. ndash DaveRandom Dec 30 12 at 20:58 The MySQL extension is the oldest of the three and was the original way that developers used to communicate with MySQL. This extension is now being deprecated in favor of the other two alternatives because of improvements made in newer releases of both PHP and MySQL. MySQLi is the improved extension for working with MySQL databases. It takes advantage of features that are available in newer versions of the MySQL server, exposes both a function-oriented and an object-oriented interface to the developer and a does few other nifty things. PDO offers an API that consolidates most of the functionality that was previously spread across the major database access extensions, i. e. MySQL, PostgreSQL, SQLite, MSSQL, etc. The interface exposes high-level objects for the programmer to work with database connections, queries and result sets, and low-level drivers perform communication and resource handling with the database server. A lot of discussion and work is going into PDO and its considered the appropriate method of working with databases in modern, professional code. answered Sep 2 15 at 7:20 I find the above answers really lengthy, so to summarize: The mysqli extension has a number of benefits, the key enhancements over the mysql extension being: Object-oriented interface Support for Prepared Statements Support for Multiple Statements Support for Transactions Enhanced debugging capabilities Embedded server support As explained in the above answeres, the alternatives of mysql are mysqli and pdo. API supports server-side Prepared Statements. Supported by MYSQLi and PDO API supports client-side Prepared Statements. Supported only by PDO API supports Stored Procedures. Both MySQLi and PDO API supports Multiple Statements and all MySQL 4.1 functionality - Supported by MySQLi and mostly also by PDO Both MySQLi and PDO where introduced in PHP5.0, whereas MySQL was introduced prior to PHP3.0. A point to note is MySQL is included in PHP5.x though deprecated in later versions. A full-text index in MySQL is an index of type FULLTEXT. Full-text indexes can be used only with InnoDB or MyISAM tables, and can be created only for CHAR. VARCHAR. or TEXT columns. As of MySQL 5.7.6, MySQL provides a built-in full-text ngram parser that supports Chinese, Japanese, and Korean (CJK), and an installable MeCab full-text parser plugin for Japanese. Parsing differences are outlined in Section 13.9.8, ngram Full-Text Parser. and Section 13.9.9, MeCab Full-Text Parser Plugin. A FULLTEXT index definition can be given in the CREATE TABLE statement when a table is created, or added later using ALTER TABLE or CREATE INDEX. For large data sets, it is much faster to load your data into a table that has no FULLTEXT index and then create the index after that, than to load data into a table that has an existing FULLTEXT index. Full-text searching is performed using MATCH(). AGAINST syntax. MATCH() takes a comma-separated list that names the columns to be searched. AGAINST takes a string to search for, and an optional modifier that indicates what type of search to perform. The search string must be a string value that is constant during query evaluation. This rules out, for example, a table column because that can differ for each row. There are three types of full-text searches: A natural language search interprets the search string as a phrase in natural human language (a phrase in free text). There are no special operators. The stopword list applies. For more information about stopword lists, see Section 13.9.4, Full-Text Stopwords. Full-text searches are natural language searches if the IN NATURAL LANGUAGE MODE modifier is given or if no modifier is given. For more information, see Section 13.9.1, Natural Language Full-Text Searches. A boolean search interprets the search string using the rules of a special query language. The string contains the words to search for. It can also contain operators that specify requirements such that a word must be present or absent in matching rows, or that it should be weighted higher or lower than usual. Certain common words (stopwords) are omitted from the search index and do not match if present in the search string. The IN BOOLEAN MODE modifier specifies a boolean search. For more information, see Section 13.9.2, Boolean Full-Text Searches. A query expansion search is a modification of a natural language search. The search string is used to perform a natural language search. Then words from the most relevant rows returned by the search are added to the search string and the search is done again. The query returns the rows from the second search. The IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION or WITH QUERY EXPANSION modifier specifies a query expansion search. For more information, see Section 13.9.3, Full-Text Searches with Query Expansion. For information about FULLTEXT query performance, see Section 9.3.4, Column Indexes. For more information about InnoDB FULLTEXT indexes, see Section 15.8.10, InnoDB FULLTEXT Indexes. The myisamftdump utility dumps the contents of a MyISAM full-text index. This may be helpful for debugging full-text queries. See Section 5.6.2, myisamftdump Display Full-Text Index information. Posted by Dyfed Lloyd Evans on October 21, 2002 Hyphen 039-039 characters break literals at the moment. A search for something like quotGATA-D22S690quot finds all entries containing GATA and not the full hyphenated text. The 039-039 character is treated as a word stop even within literals. The same is true if any of the special text search modifiers are used (eg found with full text searches. Posted by Patrick O039Lone on December 9, 2002 It should be noted in the documentation that IN BOOLEAN MODE will almost always return a relevance of 1.0. In order to get a relevance that is meaningful, you039ll need to: ltBRgtltBRgt SELECT MATCH(039Content039) AGAINST (039keyword1 keyword2039) as Relevance FROM table WHERE MATCH (039Content039) AGAINST(039keyword1 keyword2039 IN BOOLEAN MODE) HAVING Relevance gt 0.2 ORDER BY Relevance DESC ltBRgtltBRgt Notice that you are doing a regular relevance query to obtain relevance factors combined with a WHERE clause that uses BOOLEAN MODE. The BOOLEAN MODE gives you the subset that fulfills the requirements of the BOOLEAN search, the relevance query fulfills the relevance factor, and the HAVING clause (in this case) ensures that the document is relevant to the search (i. e. documents that score less than 0.2 are considered irrelevant). This also allows you to order by relevance. ltBRgtltBRgt This may or may not be a bug in the way that IN BOOLEAN MODE operates, although the comments I039ve read on the mailing list suggest that IN BOOLEAN MODE039s relevance ranking is not very complicated, thus lending itself poorly for actually providing relevant documents. BTW - I didn039t notice a performance loss for doing this, since it appears MySQL only performs the FULLTEXT search once, even though the two MATCH clauses are different. Use EXPLAIN to prove this. Posted by Nathan Ostgard on April 14, 2003 An easy solution to correct for spelling errors for small search items like the name of the city is to build a column that contains the SOUNDEX of each. I039ve found that using a 4 character SOUNDEX works the best. An example: ALTER TABLE cities ADD citysoundex VARCHAR(4) NOT NULL UPDATE cities SET citysoundexLEFT(SOUNDEX(cityname),4) And then to query against: SELECT FROM citites WHERE citysoundexLEFT(SOUNDEX(039Some City Name039),4) Posted by Jim Nguyen on June 18, 2003 The full-text search is slow when there are a lot of rows in the table. I have more than 2 million rows with text and multiple word searches (3 or more) take about 30 seconds to a minute or longer. I am running a Athlon 2.2 Ghz with 512 MB DDR RAM 400 Mhz. Hard drive has seek time of 9 ms. Posted by Alan Riley on July 14, 2003 We too have a database with close to 6 million rows in it. We would like to use the fulltext search, but it is painfully slow. The sad thing is that any one query we need to run only needs to be run on a subset of the rows (think of those 6 million rows as being divided between about 80 different categories, with results only needed to be returned from within a category). It is a shame that there isn039t some way for us to have a fulltext index within the rows of another column which is also indexed. Our next shot at this is going to be to create 80 different tables, one for each category (yuck), just to try to get decent performance on the within-category fulltext search. I would think there is enough interest in fulltext search for there to be an email list dedicated to it where those of us who need to use it on real-world web sites could interact with the developers to try to tune it for the good of the community at large. Posted by Donal McMullan on September 24, 2003 The nature of fulltext indexing is such that the more 039words039 (of greater than the minimum length) that appear in the columns you index, the greater will be size of the index, and the time it takes to create and search that index. 4 Million rows x 6 words per row 24 Million entries 4 Million rows x 30 words per row 120 Million entries If you index intelligently, you may well find that the feature meets your needs, despite what some users may have remarked above. quotNumber of rowsquot is useless as a benchmarking statistic on its own. Posted by Erlend Strmsvik on October 23, 2003 I039ve got a webshop running with mysql. We have 1.6 million booktitles in our database, and our fulltext index is from title and 039extra039 title. Maybe around 5-7 words on average per record. Any fulltext search in our database takes around 1-5ms. A three word search can take a few seconds but still faster than anything else. Even Amazon. This is from our main server which has several thousand hits every day. We are one of the biggest booksellers in my country. - This was in 039reply039 to someone posting earlier about poor performance in 039real world situation039. Posted by Jerome C on December 3, 2003 We have a vast database of products (totaling 3 million rows). The rebuild of the full-text index took 21 minutes to complete. As for the search, a multiple word search on the full-text index of 1 field is as follows: 20 rows returned Query took 1.0263 sec The size of the index is very big though. Index 449,529 KB We are going to eliminate unnecessary words which should make the index smaller. Posted by Ben Margolin on December 19, 2003 The indexing process definitely depends on your machine config. I indexed the same dataset, same mysql version (4.0.16, - standard on Linux, - nt on XP). First machine: a 512M Athlon 2100 running WinXP on a RAID1 array, and it took 9 mins 20 sec. Second machine: 1G RAM P4-2.0ghz, running Linux 7.3 (2.4.20-13.7 kernel), one-spindle (but fast) IDE disk, and it took 29 mins 11 sec. The query was quotalter table msgbodies add fulltext ftibodies (subject, body)quot, and the dataset is about 550M, 1.3 million rows. Both machines were mostly idle when the indexing occurred. I know it039s just anecdotal, but if you run a big alter as I did, don039t be surprised if it takes a while. oh yeah, and then be prepared for MUCH longer than normal insert times when you add large data to the FT indexed columns. This makes sense of course, but, at least on my dataset and hardware, is positively NOT neglible. FYI. Posted by Jeffrey Yuen on February 2, 2004 Full text searching in 4.1.1 For Chinese charset in UTF-8 encoding. It needed to set ftminwordlen 1 Posted by Eric Jacolin on February 4, 2004 (MySQL 4.1) To make FULLTEXT MATCH work with Japanese UTF-8 text, be careful that words from your Japanese text be separated by the ASCII space character, not Japanese UTF-8 (or other) spacing characters. (when using phpMyAdmin to manage data write a SQL query, you must switch away from your Japanese IME to insert a space char. ) Posted by Tom Cunningham on February 5, 2004 Tom039s fulltext tips: To get MySQL searching well for me I did: 1. Have a normalized versions of the important columns: where you039ve stripped punctuation and converted numerals to words (0391039 to 039one039). Likewise normalise the search string. 2. Have a combined fulltext index on your searchable columns to use in your 039WHERE039 clause, but then have separate fulltext indexes on each column to use in the 039ORDER BY039 clause, so they can have different weights. 3. For the scoring algorithm, include the independent importance of that record, and include a match of the inclusive index against stemmed versions of the search words (as: quotweddingquot gt quotwedquot, quotweddingsquot). 4. If there039s exactly one result, go straight to that record. 5. If you get no results, try matching against the start of the most important column (WHERE column LIKE 039term039), and put a 5-character index on that column. This helps if someone is searching on a very short word or a stopword. 6. Reduce minimum word length to 3, and make a new stopwords list just using quota an and the is in which we you to on this by of withquot. Use quotREPAIR TABLE xxx QUICKquot to rebuild the index and make a note of the index-file (xxx. MYI) size before and after you make changes. Then use ftdump to tune. Posted by Attila Nagy on April 19, 2004 More about performance: Fulltext search in MySQL isn039t slow really. It039s slower than normal index selects, but that039s not noticable. I039m playing tables that each contains ca 4million records, about 6GB of text that needs to be indexed. The problem lies in the optimization of the queries, that use the MATCH() and AGAINST() functions. So far as I found out MySQL can use in a query only one index. The optimizer looks for the index that will possibly give the smallest amount of rows, then goes trough all of these, and removes those records, that fall out because of the other WHERE statements. When you enter a fulltext search, the server has to use that index. Any other statments could be applied only to the rows that were returned by the search. If you have lots of records, most of the searches will return lots of results. The rest of your query will be executed like if you were executing it against a table that contains the results, and no indexes - obviously that will be processed sequentially. Same thing applies when you use the SQLCALCFOUNDROWS, or LIMIT with high offset values: first the server has to load all the results, then the limit could be applied. If you have to use the fulltext, these are some hints how you could get quite good results: - Try to avoid any group, where, order and any statements for what it039s necessary to get all the results. I know, usually this is impossible. - If you need to show the results on a web page, try to find other methods to get the total number of results than using SQLCALCFOUNDROWS. Better if you don039t tell the user at all how many results there are ) - If indexing text that is in other language than english, before doing anything create a stopword file for your language (That could reduce index size about 30) But most important: think a lot, before you decide to use fulltext search Posted by Peter Dunham on April 22, 2004 We are doing fulltext searches of around 200 tables of 14 -12 million rows each. Upgrading a twin cpu 2Ghz linux machine (running ES 3) from 1GB to 3GB RAM and increasing keybuffersize from 384MB to 512MB has seen load averages go from 1.5-2 to around 0.5, with same usage. Posted by Peter Grigor on May 29, 2004 I039m not sure I agree with your comment that Mysql always uses a fulltext index if you include match. against. I tried a sample query where I used match. against and another value in the where clause (on the primary keyed field) and Mysql039s optimizer picked the primary key index. The statement looked like quotselect something from sometable where match(col1, col2) against (039some text here039) and pkcol 44 Posted by JT Johnston on July 1, 2004 dev. mysqldocmysqlenFulltextBoolean. html states you cannot do a full-text search in Boolean Mode by relevancy. You can, but you need mysql version 4. Take note of quotORDER BY relevancy DESCquot. Here is my codeexample: SELECT, MATCH (YR, AU, ST, SD, SC, BT, BD, BC, AT, AD, AC, JR, KW, AUS, GEO, AN, RB, CO, RR) AGAINST (039Margaret Atwood039 IN BOOLEAN MODE) AS relevancy FROM cclmain WHERE MATCH (YR, AU, ST, SD, SC, BT, BD, BC, AT, AD, AC, JR, KW, AUS, GEO, AN, RB, CO, RR) AGAINST (039Margaret Atwood039 IN BOOLEAN MODE) ORDER BY relevancy DESC Posted by James Day on August 19, 2004 See The Full-Text Stuff That We Didn039t Put In The Manual at dev. mysqltech-resourcesarticlesfull-text-revealed. html for more information about full-text search. Posted by James R on August 31, 2004 Thought some benchmarks for a very large data set might be useful to people. I created a full-text index on a 100 gig database, where the index was on a column where the data totals 3 gig. The index added 2 gig to the database. The database has 2,741,000 records. The textual content is technical literature in US English. Machine: The machine is an Athlon XP 3200 w 1 gig RAM, one drive for the OS, and another 250GB EIDE drive for the MySQL data. OS is Redhat 9. Index creation: 3 hours 5 min. Most of that time was probably copying the table (since MySQL copies the table before it modifies it). The process was definitely disk-limited -- CPU usage was never regularly above 50. I believe that were it not for the excess data to copy, the index creation would have taken about 45 minutes. Queries were chosen to compare rare words, common words, and words of different lengths. All queries seemed to be disk-limited (CPU utilization hardly moved off baseline), which makes sense given that there is not enough RAM to hold the index in memory. All queries were done mutiple times and the average time reported. Results follow. Word, Rows, Seconds, SecondsRow ---------------------------------------- bilobed, 4, 0.15, 0.0375 mends, 4, 0.19, 0.0475 nanotechnology, 23, 0.64, 0.0278 bioluminescent, 53, 1.53, 0.0289 photosynthesis, 81, 2.21, 0.0273 graphite, 5070, 123.00, 0.0243 bicycle, 5385, 122.00, 0.0227 titanium, 13503, 350.00, 0.0259 (titanium, graphite), 18423, 425.00, 0.0231 metal, 151095, 4020.00, 0.0266 This is just a small test on the way to indexing the full 100 gig in the database that I am working on for freepatentsonline. I039ll post results for that once I have a new server built. Posted by noel darlow on September 3, 2004 In reply to Patrick O039Lone039s post, above: The first, non-boolean MATCH can039t keep pace with the second, boolean one since it does not recognise the boolean operators. A search for foo might turn up rows with foo, foobar, foofighters, etc but the non-boolean, relevance MATCH can039t quotcountquot anything except foo. Same problem with a phrase search. Since effectively you can039t use boolean operators in the second, boolean MATCH, it039s rendered pointless. Results could be post-processed with your own ranking algorithm but it039s kind of odd that you can039t do a boolean search AND rank results in the query. Posted by Dave M on September 12, 2004 Those looking to simply match a search phrase in a large group of words, try this: SELECT FROM data WHERE haystack LIKE (039needle039) AND haystack RLIKE 039:lt:needle:gt:039 This query will produce the same result as the following query, but is roughly 20X faster. SELECT FROM data WHERE haystack RLIKE 039:lt:needle:gt:039 For more than one word use: haystack LIKE (039word1word2039) AND haystack RLIKE 039:lt:word1:gt:.:lt:word2:gt:039 Posted by James Day on September 26, 2004 The Wikipedia encyclopedia uses MySQL boolean full text search and MySQL 4.0.20. You can assess the speed yourselves. About 350,000 articles rows in the English language version, roughtly 5GB total. For all languages, one million articles and 10GB of text. It039s very important to have a sufficiently large keybuffersize. Get much of the index in RAM and searches are typically very fast. Because we use InnoDB tables and can039t share cache between InnoDB and MyISAM, we039re moving to a setup which will use a dedicated and MyISAM tuned search server. We run a slow query killer which will kill queries once their allowed time expires. That time depends on server load (active thread count). Documented at wp. wikidevQuerybane It turns out that our current search often spends most time on things other than full text search - an improved version which is much more efficient is pending. Remember that you can use a self join to get around the one index per query limit of MySQL. Search remains our most problematic load feature, requiring a couple of quite capable slaves to keep up at busy time. If we039re working on the servers and the remainder can039t handle the load, we switch to Google or Yahoo search. This is from one of the top few hundred sites on the net, so it039s scaling pretty well for our application. One server was sufficiently fast to take us to the top 1,000. Posted by Andrew Panin on October 7, 2004 Hi all I had a problem with FULLTEXT search and after I solved it, I want to try to help you. I thought that FULLTEXT search is slow. That was. But I did a simple trick: 1. For example, we have 4 tables with fulltext index. We need to perform fast search on them. 2. Do the following: CREATE TEMPORARY TABLE xxx SELECT id, name, MATCH(name) AGAINST (039searchstring039) AS relevancy FROM table1 INSERT INTO xxx SELECT id, name, MATCH(name) AGAINST (039searchstring039) AS relevancy FROM table2. 3. Then, when the temporary table is filled with the data, do the simple select from it: SELECT id, name FROM xxx ORDER BY relevancy DESC I think, it is the optimal way to make a VERY FAST fulltext search from a number of tables. I hope, this will be helpful. Posted by Dennis van den Ende on December 27, 2004 Allthough my fulltext serach works fine, i still have problems with it. i compare products with there prices. i used the quotrelevancequot idea (written above). But it will not recognize it correctly. Heres my query: SELECT , MATCH( field ) AGAINST (039blabla039) as relevance FROM table WHERE MATCH( field ) AGAINST (039blabla039 IN BOOLEAN MODE ) HAVING relevance gt 0.2 for example it finds 18 rows. to increase the rows, i checked (manuelly) the relevance. 3 above 18 (all 18.xxx) and the rest about 10.3 or lower. If i increase the quothavingquot to 15, it finds only 2 of 3. The field i use is the only index-field and ofcourse a fulltext specific field. it seems that the relevance is taking part of the search results. i am still looking for another idea but the relevance would cover my needs 100 update I just updated the mysql version from 4.0.15 to 4.1.8 and it works perfectly. Posted by Mauricio Wolff on February 4, 2005 to set up minlen and stopwordfile in windows (win2k or xp): 1. run services. msc to check what. ini your mysql is reading (in my case, quotC:MySQLbinmysqld-ntquot --defaults-filequotC:MySQLmy. iniquot MySQL) 2. change your my. ini like this: mysqld ftminwordlen3 ftstopwordfilequotC:MySQLstop. txtquot 3. restart your mysqld at services. msc 4. reindex your table using REPAIR TABLE tblname QUICK Posted by Peter Laursen on April 28, 2005 it is legal to use two different arguments with the quotdouble match constructionquot, i. e. select . match (artist, album, title) against (039blues in orbit039) from musicfiles where match (artist, album, title) against (039ellington039) will FIND all records with 039ellington039 as substring of artist, album or title, but will RATE them as the search match039es 039blues in orbit039 You can even. ORDER BY or GROUP BY MATCH (kunstner, albumtitel, titel) AGAINST (039prelude to a kiss039). or against anything else Posted by Grant Harrison on June 9, 2005 Maybe a little off topic here. Alternatively, instead of doing all full-text search within MySql database, you can pull data out and create an index on it. It039s a much faster search. I am using DBSight to search on 1.7million records of 1.2G data, on a P3 450MHz, 256MRam, with sub-second performance. Taking search out of database also give you capability to customize stemmer and query parser. Posted by Erik Petersen on July 13, 2005 When using FULLTEXT queries on large set data sets it039s critical to LIMIT your results. Doing some experimentation has made this very clear. Using a data set of 5.5 million rows of forum message posts indexed with a single FULLTEXT index: select id, match(post) against(039foo039) as score from messages where match (body) against( 039foo039 ) . 155323 rows in set (16 min 7.51 sec) select id, match(post) against(039foo039) as score from messages where match (body) against( 039foo039 ) limit 100 . 100 rows in set (1.25 sec) I ran a number of other tests on various terms known to be in the text with similar results. These were run in reverse order shown. Make sure you return only the rows you need or you will suffer. For a search engine application returning pages of results keep in mind that nobody is going to ever see page 74 Cap the results to a reasonable maximum trading response time for completeness where possible. Posted by kim markegard on August 25, 2005 In regards to Dyfed Lloyd Evans comment, I believe that quot. quot will also cause this which is unfortunate because we have product name acronyms we039d like to seach. Posted by Nathan Huebner on October 29, 2005 After tons of hours today working on this, I HAVE FINALLY MASTERED THE TECHNIQUE OF USING THIS THING. This query is what you send to your MySQL to return the results. I put the LIMIT so that you don039t overflow. queryretquotSELECT ProductID, Title, Description, Price, RetailPrice, MATCH (Title) AGAINST (039keyword039) AS score FROM server. book HAVING score gt 0 LIMIT start, maxretquot This query will COUNT the number of rows it found. (I believe that039s correct), I don039t believe it counts occurrences, just rows. I saw that if you pull back without a LIMIT above, and count that way, it039s 100000x slower. So do your count like this: querycountquotSELECT count(MATCH(Title) AGAINST(039keyword039)) AS score FROM server. book WHERE MATCH (Title) AGAINST (039keyword039) HAVING score gt 0quot Make sure you have your Primary Key setup, your Title and Description as SEPARATE FULLTEXT INDEXES. I spent a few hours boggling over this. Posted by Saqib Aziz on November 24, 2005 There is no way to perdict what maximum relevance rank could be. While working with full text searches one may want to show percentages as the criteria for indicating how close a particular record was to the search query. To achieve this, one way is to select the maximum relevance rank or score and then use it( as a denominator ) with every single record score to get percentage equivalent of score. For the sake of example, consider we have 6 as maximum rank and 2,3,4.234 are scores for three different records. Now to get percentage we have to do simple maths i. e. we can divide each score by 6(max rank) and then mulitply the result with 100. Hope this helps someone. Posted by Nathan Huebner on January 12, 2006 Tips on how to maximize performance, and minimize return time. Let me guess: you have a lot of data, and you went ahead and FULLTEXT indexed a column within that large pile of data. To put it in simple words: not cool. How long does your data take to return from a FULLTEXT search. 5 seconds More If you039re returning data under 3 seconds, then you039re ok, but if you want it to return in 1.3 seconds, here039s what I did. 1. Dont fulltext index a column within a huge table. Instead, take a Unique Identifier, and the text you039re searching, and copy it to another table. Use this to export your columns: SELECT uniquecolumn, mytextsearchcolumn FROM mydatabase. mytable INTO OUTFILE quotc:pathoutfile. txtquot That will export your data to a file in Tab Delimited format. Now, create a new table somewhere, and call it fulltextengine or something, with only 2 columns (less is better), you could add one more if you need to. Now import your data: LOAD DATA INFILE quotc:pathoutfile. txtquot IGNORE INTO TABLE mydatabase. fulltextengine Now, create your FULLTEXT index on your search field. Great. Now you have a separate table for searching. So if you want to try it out, go into MySQL, and try this, or PHPmyAdmin: SELECT SQLCALCFOUNDROWS uniquecolumn, searchcolumn, MATCH (searchcolumn) AGAINST (039Keyword Goes Here039) AS score FROM mydatabase. fulltextengine HAVING score gt 0 Hope this helps It may add extra maintenance, but I will give up my soul to increase search speeds by 6x. Posted by Joe Soap on July 11, 2006 Not sure if this is useful for people trying to reduce their search dataset. But what I039m doing is preprocessing the text before I add it to the database. So I add the full text to my FileData column, but I also preprocess the text and put this processed text into a Keywords column. Then I search only the keywords column and never the full text. This technique obviously (you039ll see why) doesn039t work for phrase matching but it may speed up the search time by reducing the size of the dataset to search. Here039s the algorithm I use. 1. extract the text 2. count each word of 2 or more characters in the text and record the frequency that each occurs 3. from this list of words 2 or more characters long, remove the k (k currently 500) most common words in the english dictionary 4. sort the list so that the most frequently occurring words appear first 5. take the first n words as the final keywords, where n gt 0 and n lt the total number of remaining words Posted by Tasuku SUENAGA on July 30, 2006 If you have performance problems on fulltext search, Please try Senna, fulltext search engine that can be embedded in MySQL. qwik. jpsenna Original MySQL fulltext search is slow for query SELECT COUNT() or SELECT FROM xx LIMIT largenumber, x. These queries are very fast with Senna039s 2ind patch. Posted by Gary Osborne on August 19, 2006 I039m not convinced that stop-words are of great value. Sure, they might reduce the size of the index and speed-up queries for some kinds of databases. But there are two fundamental flaws with quotmandatoryquot stop-words. Firstly, without knowing in advance the nature of the data, how can any programmer proclaim to know which words should be excluded because they have no value Secondly, if a user includes any stop word in a search query, then by definition that word039s value can not be zero. If the word039s value was zero, then why would the user use it in a search query If you need to disable stop-words without re-compiling, consider appending a character to the end of each word in your text before inserting your text into the database. I used quotqquot. I also right-padded all words shorter than 4 characters to a length of 4 characters by appending quotqquots. And I appended a quot quot to the end of my text string before inserting into the database. After retrieving my text from the database, I did a global replace on my text. I changed quotqqqquot to quotquot, quotqqquot to quotquot, and quotq quot to quot quot - in that order - to restore the text to it039s original form. That was not the best solution but it worked. Luckily for me, my text was simply a space delimited list of words without and punctuation. Otherwise, my quotqquot encoding and decoding would have been more difficult. Posted by Sebastian Alberoni on September 27, 2006 Combining MATCH with MAX, GROUP BY and ORDER BY can be of a lot of help when retrieving results in the correct order regarding relevance. For example, using this I could solve a problem with one table called 039Professional039, which had a many-to-many reference to another table 039Profession039. Although I was using DISTINCT I was getting duplicate results because of different relevance values that MATCH was giving to the different entrances in 039Professions039. Here I am copying the final query that worked OK (it039s a bit simplified): select distinct p. idProfessional, MAX(MATCH (pssion. name, pssion. description) AGAINST (039string to search039)) as professionRanking FROM professional p, professionalprofession pp, profession pssion WHERE pp. ProfessionalidProfessional p. idProfessional AND pp. ProfessionidProfession pssion. idProfession and ( MATCH (pssion. name, pssion. description) AGAINST (039string to search039) GROUP BY p. idProfessional ORDER BY professionRanking DESC Posted by Miguel Velilla meucat on May 20, 2007 The truth behind fulltext search, is that MySql first split text into single words, then indexes isolated words pointing to records. These are logical steps that many of us previously had tried before MySql fulltext commands creation. I created a PHP program some years ago to perform exactly the same split-and-index task. This is the reason MATCH command allows prefixed wildcards but not postfixed wilcards. Since single words are i ndexed, a postfix wildcard is impossible to manage in the usual way index does. You can039t retrieve 039nited states039 instantly from index because left characters are the most important part of index. Even so, I hope MySql developers some day implement postfix wildcars, because for many of us, it is important to perform a truly 039full text039 search. To say something, if I have a record with the word 039database039. I want retrieve this record when searching by 039tabas039, an impossible task for actual fulltext search command. It039s easy to see that such a command can gain lot of performance, even when MySql developers be obliged to search byte to byte into the indexed words. If you have a big table with text descriptions. to say 1 GB size, it is possible that quantity of different words into text will not pass from 500.000, maybe 1.000.000 words, averaging 8 bytes each, total 8 MB of data to be browsed, instead the 1 GB you should seek byte to byte to find what you want. This is a 1 GB 8 MB 125. or two orders of magnitude lower in terms of processing. Posted by Sergejzr Zr on July 27, 2007 Unfortunately it is not possible to combine Fulltext field and normal (i. e integer) field into one index. Since only one index per query can be used, that seems be a problem Table: id(integer primary key)content(text fulltext indexed)status(integer key) Note that executing folowing query, mysql will use only one index. Either fulltext, or status (Depending on intern statistics). Q1: SELECT FROM table WHERE MATCH(content) AGAINST(039searchQuery039) AND status 1 However it is still possible to use both indexes in one query. You will need a new index on id, status pair and use join. Thus mysql will be able to use one index for each table. Q2: SELECT t1. from table t1 LEFT JOIN table t2 ON(t1.idt2.id) WHERE MATCH(t1.content)AGAINST(039searchQuery039) AND status1 Q2 will run significantly faster than Q1 at least in my case :) Note the overhead: You will need an id for each row and a key wich is spanned over needed fields strating with id. Posted by Phoebe Bright on August 14, 2007 Using this for the first time I picked an unfortunate test and took a while before I worked out why it wasn039t working. In the hopes of saving other newbies some time: This will work: SELECT FROM myfile WHERE description LIKE 039sea039 But this will return nothing: SELECT FROM myfile WHERE MATCH (description) AGAINST (039sea039) BECAUSE THE DEFAULT MIN LENGTH IS 4 need to set ftminwordlen to 3 in the configuration file if you want it to work. Posted by Mohamed Mahir on September 28, 2007 To get the first exact matching record of the Full text search i wrote like this.. SELECT MATCH (column) AGAINST (039keyword039) relevancy FROM t1 WHERE MATCH (column) AGAINST (039keyword039) ORDER BY relevancy DESC LIMIT 1 Posted by Neil Delargy on October 19, 2007 One solution to find a word with a dashes or hyphens in is to use FULL TEXT SEARCH IN BOOLEAN MODE, and to enclose the word with the hyphen dash in double quotes. Posted by Derek Foreman on October 31, 2007 I use Mediawiki that makes use of the FullText searching and was not getting results I knew were in the database. After reading this page I realized that mysql won039t index words 3 characters or less by default. The solution is detailed clearly in this page Change the ftminwordlen setting. You can find what the server is using by running: SHOW VARIABLES LIKE 039ft039 Then you039ll have to rebuild the indexes on the tables that have FULLTEXT indices, because the server I039m using had several databases I needed a quick way to identify which tables these were. SELECT DISTINCT TABLESCHEMA, TABLENAME FROM COLUMNS WERE COLUMNKEY 039MUL039 I could then rebuild the tables. Posted by Jane Doe on November 28, 2007 Very fast and flexible, and works nice with MySQL. Eliminates many of the issues mentioned here in the comments, also ) MATCHAGAINST didn039t work how I intended. Here039s how I finally solved what I thought MATCHAGAINST should have been doing from the beginning: Posted by Carlos Dias on August 8, 2011 Basically this approach makes me think twice because of the next logical steps: 1- If your working in one table with a lot of records. each time the records are updated or new lines inserted the index must be (obviously)recreated. if it039s myisam. writing operations the table is locked. 2- I guess that the best approach towards this it039s probably the logic of: when tables are huge. not creating indexes for text search. create cachesql. (cachesql is one index). Somehow anticipating these problems. like i write are not problems to ignore. Why this is the best option. because if people use one file to log the last writing operations and compare it with the file that contains the results cache(best approach. cronjob). it039s only necessary to point to the file that contains the resultscache. The logic of:If there are 500 000 000 of conjugations of wordsphrases, etc what039s the need of indexing everything if only 50 000 conjugations are usedseeked, etc. Posted by Bradley Smith on February 21, 2012 Alan, instead of creating 80 different tables, one for each category, why not partition the table by the category so the records with that category would be grouped together within the partition and then your only searching within the specific category and more direct and faster route to the data you want to search Posted by Nasser W on September 2, 2013 MySQL fulltext search works well for Arabic. Just make sure of the following where needed: 1. COLLATION utf8unicodeci amp CHARACTER SET utf8. (Databases, Tables, and Columns). 2. Index words of 3 letters and more. This is Very Important for Arabic, ftminwordlen 3 (see show variables like quotftquot) 3. Check the version of MySQL (5.5 or 5.6), and Engine (InnoDb or MyIsam) Sign Up Login You must be logged in to post a comment.