mysql優化方案(mysql查詢慢的優化方案)

其實mysql優化方案的問題并不復雜,但是又很多的朋友都不太了解mysql查詢慢的優化方案,因此呢,今天小編就來為大家分享mysql優化方案的一些知識,希望可以幫助到大...
其實mysql優化方案的問題并不復雜,但是又很多的朋友都不太了解mysql查詢慢的優化方案,因此呢,今天小編就來為大家分享mysql優化方案的一些知識,希望可以幫助到大家,下面我們一起來看看這個問題的分析吧!
php+mysql優化,百萬至千萬級快速分頁mysql性能到底能有多高
百萬級別不算多,但是查詢必須待條件的,1.表需要加索引,看效果,2對應的查詢條件也要加索引看效果。
如何優化Mysql千萬級快速分頁
兩步。
1,垂直分表。拆表,按你的各個應用場景,如微信登錄、qq登錄,每個應用場景一張表,這張表的字段比原表少,僅僅將該場景用到的字段存進去。
2,水平分表。經過第一部后,將每個子表進行水平拆分,。具體方法,比如手機號登錄場景的子表,可按手機號末尾一位取模,再分為10個子表,每個子表數據量百萬級,mysql性能差不多可以忍受。對了,別忘建個索引。
總結一下,要達到的目的無非兩個:瘦表,單表數據量級不要超過百萬級
如何優化MySQL千萬級大表
概述
使用阿里云rdsforMySQL數據庫(就是MySQL5.6版本),有個用戶上網記錄表6個月的數據量近2000萬,保留最近一年的數據量達到4000萬,查詢速度極慢,日常卡死,嚴重影響業務。
老系統,當時設計系統的人大概是大學沒畢業,表設計和SQL語句寫的不僅僅是垃圾,簡直無法直視。原開發人員都已離職,到我來維護,這就是傳說中的維護不了就跑路,然后我就是掉坑的那個!!!
方案概述
方案一:優化現有MySQL數據庫。優點:不影響現有業務,源程序不需要修改代碼,成本最低。缺點:有優化瓶頸,數據量過億就玩完了。
方案二:升級數據庫類型,換一種100%兼容MySQL的數據庫。優點:不影響現有業務,源程序不需要修改代碼,你幾乎不需要做任何操作就能提升數據庫性能,缺點:多花錢。
方案三:一步到位,大數據解決方案,更換newSQL/noSQL數據庫。優點:沒有數據容量瓶頸,缺點:需要修改源程序代碼,影響業務,總成本最高。
優化現有MySQL數據庫數據庫設計
表字段避免null值出現,null值很難查詢優化且占用額外的索引空間,推薦默認數字0代替null。
盡量使用INT而非BIGINT,如果非負則加上UNSIGNED(這樣數值容量會擴大一倍),當然能使用TINYINT、SMALLINT、MEDIUM_INT更好。
盡量使用TIMESTAMP而非DATETIME。
單表不要有太多字段,建議在20以內。
用整型來存IP。
索引并不是越多越好,要根據查詢有針對性的創建,考慮在WHERE和ORDERBY命令上涉及的列建立索引,可根據EXPLAIN來查看是否用了索引還是全表掃描。
應盡量避免在WHERE子句中對字段進行NULL值判斷,否則將導致引擎放棄使用索引而進行全表掃描。
值分布很稀少的字段不適合建索引,例如"性別"這種只有兩三個值的字段。
字符字段最好不要做主鍵。
不用外鍵,由程序保證約束。
盡量不用UNIQUE,由程序保證約束。
使用多列索引時注意順序和查詢條件保持一致,同時刪除不必要的單列索引。
使用可存下數據的最小的數據類型,整型<date,time<char,varchar<blob*
使用簡單的數據類型,整型比字符處理開銷更小,因為字符串的比較更復雜。如,int類型存儲時間類型,bigint類型轉ip函數。
使用合理的字段屬性長度,固定長度的表會更快。使用enum、char而不是varchar。
盡可能使用notnull定義字段。
盡量少用text,非用不可最好分表。
查詢頻繁的列,在where,groupby,orderby,on從句中出現的列。
where條件中<,<=,=,>,>=,between,in,以及like字符串+通配符(%)出現的列。
長度小的列,索引字段越小越好,因為數據庫的存儲單位是頁,一頁中能存下的數據越多越好。
離散度大(不同的值多)的列,放在聯合索引前面。查看離散度,通過統計不同的列值來實現,count越大,離散程度越高。
SQL編寫
使用limit對查詢結果的記錄進行限定。
避免select*,將需要查找的字段列出來。
使用連接(join)來代替子查詢。
拆分大的delete或insert語句。
可通過開啟慢查詢日志來找出較慢的SQL。
不做列運算:SELECTidWHEREage+1=10,任何對列的操作都將導致表掃描,它包括數據庫教程函數、計算表達式等等,查詢時要盡可能將操作移至等號右邊。
SQL語句盡可能簡單:一條SQL只能在一個cpu運算;大語句拆小語句,減少鎖時間;一條大SQL可以堵死整個庫。
OR改寫成IN:OR的效率是n級別,IN的效率是log(n)級別,in的個數建議控制在200以內。
不用函數和觸發器,在應用程序實現。
避免%xxx式查詢。
少用JOIN。
使用同類型進行比較,比如用'123'和'123'比,123和123比。
盡量避免在WHERE子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。
對于連續數值,使用BETWEEN不用IN:SELECTidFROMtWHEREnumBETWEEN1AND5。
列表數據不要拿全表,要使用LIMIT來分頁,每頁數量也不要太大。
分區
分區表的數據更容易維護,可以通過清楚整個分區批量刪除大量數據,也可以增加新的分區來支持新插入的數據。另外,還可以對一個獨立分區進行優化、檢查、修復等操作。
部分查詢能夠從查詢條件確定只落在少數分區上,速度會很快。
分區表的數據還可以分布在不同的物理設備上,從而搞笑利用多個硬件設備。
可以使用分區表賴避免某些特殊瓶頸,例如InnoDB單個索引的互斥訪問、ext3文件系統的inode鎖競爭。
可以備份和恢復單個分區。
一個表最多只能有1024個分區。
如果分區字段中有主鍵或者唯一索引的列,那么所有主鍵列和唯一索引列都必須包含進來。NULL值會使分區過濾無效。
所有分區必須使用相同的存儲引擎。
分表
分表就是把一張大表,按照如上過程都優化了,還是查詢卡死,那就把這個表分成多張表,把一次查詢分成多次查詢,然后把結果組合返回給用戶。
分表分為垂直拆分和水平拆分,通常以某個字段做拆分項。比如以id字段拆分為100張表:表名為tableName_id%100。
但:分表需要修改源程序代碼,會給開發帶來大量工作,極大的增加了開發成本,故:只適合在開發初期就考慮到了大量數據存在,做好了分表處理,不適合應用上線了再做修改,成本太高!!!而且選擇這個方案,都不如選擇我提供的第二第三個方案的成本低!故不建議采用。
分庫升級數據庫
開源數據庫會帶來大量的運維成本且其工業品質和MySQL尚有差距,有很多坑要踩,如果你公司要求必須自建數據庫,那么選擇該類型產品。如tiDBpingcap/tidb,CubridOpenSourceDatabaseWithEnterpriseFeatures。
阿里云POLARDB,POLARDB是阿里云自研的下一代關系型分布式云原生數據庫,100%兼容MySQL,存儲容量最高可達100T,性能最高提升至MySQL的6倍。POLARDB既融合了商業數據庫穩定、可靠、高性能的特征,又具有開源數據庫簡單、可擴展、持續迭代的優勢,而成本只需商用數據庫的1/10。
阿里云OcenanBase,淘寶使用的,扛得住雙十一,性能卓著,但是在公測中,我無法嘗試,但值得期待。
阿里云HybridDBforMySQL(原PetaData),云數據庫HybridDBforMySQL(原名PetaData)是同時支持海量數據在線事務(OLTP)和在線分析(OLAP)的HTAP(HybridTransaction/AnalyticalProcessing)關系型數據庫。
騰訊云DCDB,DCDB又名TDSQL,一種兼容MySQL協議和語法,支持自動水平拆分的高性能分布式數據庫——即業務顯示為完整的邏輯表,數據卻均勻的拆分到多個分片中;每個分片默認采用主備架構,提供災備、恢復、監控、不停機擴容等全套解決方案,適用于TB或PB級的海量數據場景。
hadoop家族。hbase/hive懟上就是了。但是有很高的運維成本,一般公司是玩不起的,沒十萬投入是不會有很好的產出的!
我選擇了阿里云的MaxCompute配合DataWorks,使用超級舒服,按量付費,成本極低。
MaxCompute可以理解為開源的Hive,提供SQL/mapreduce/ai算法/python腳本/shell腳本等方式操作數據,數據以表格的形式展現,以分布式方式存儲,采用定時任務和批處理的方式處理數據。DataWorks提供了一種工作流的方式管理你的數據處理任務和調度監控。
當然你也可以選擇阿里云hbase等其他產品,我這里主要是離線處理,故選擇MaxCompute,基本都是圖形界面操作,大概寫了300行SQL,費用不超過100塊錢就解決了數據處理問題。
MySQL實現批量插入以優化性能的教程
開啟mysql事務,打開MyBatis的DEBUG日志查看執行的SQL,并打印DELETE返回的effectcount
mysql優化教程
MySQL的優化要根據實際業務,并沒有什么通用的優化。
其實其他回答都說的很全,
但是我從比較實際的地方說說吧。
第一、開啟MySQL的slowLogslowLog會記錄MySQL執行過的慢查詢,比較佛系的辦法就是讓它記錄一段時間,
然后查看里面執行的語句。
第二、通過desc的方式來查看慢的原因比如:SELECT*FROMtblWHEREDate=CURDATE();
你可以通過執行descSELECT*FROMtblWHEREDate=CURDATE();
這個時候Mysql就會顯示執行這句sql的計劃,
如果你發現是全表查詢,這個時候嘗試在Date上增加索引,
然后再跑一次DESC,這個時候你就會發現這句語句已經走了索引。
*通常這個辦法能解決90%的慢查詢問題。
當上面的問題都無法滿足到你的時候,
建議可以參考Mysql官方的參數設定,
然后根據業務特性對MySQL進行特定優化。
mysql優化連接數防止訪問量過高的方法
這個要看你的這些網站的流量,以及程序對數據庫的負載大小所決定,如果程序寫的很好,SQL語句注意優化,并且有緩存的話,一般情況下,不會有什么問題,當然還是要取決于你服務器的配置如何,總之不是說單方面可以確定是不是會出問題。
如果出現問題,比如數據庫負載過高,那么其它網站肯定會受影響,那就是訪問慢,或報連接數過多,或無法接數據庫。
好了,文章到這里就結束啦,如果本次分享的mysql優化方案和mysql查詢慢的優化方案問題對您有所幫助,還望關注下本站哦!
本文鏈接:http://xinin56.com/ruanjian/2178.html