loading
Please wait while loading...

查看詳情 Incorrect integer value: for column

最近在寫個查詢插入語句的時候我是這麼寫的:

插入測試值(“,行[contentid],'”。tn。“');

這個錯誤,一般我們是認為應該沒錯誤的。後來查了下MYSQL的資料。發現5以上的版本如果是空值應該要寫NULL

這種問題一般mysql 5.x上出現,我用的mysql5.1,官方解釋說:得知新版本mysql對空值插入有“bug”,要在安裝mysql的時候去除默認勾選的enable strict SQL mode,那麼如果我們安裝好了mysql怎麼辦了,解決辦法是更改mysql中的配置my.ini

的my.ini中查找SQL模式,默認為:SQL模式=“STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION”,將其修改為

SQL模式=“NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION”,

重啟的MySQL後即可,那麼如果是虛擬主機或者是空間怎麼辦了。如果你能讓空間商幫你改那是最好,如果不能,那你就只能程序改改。都規範一點。空值就寫null代替吧。

轉貼自: http://www.111cn.net/database/mysql/55857.htm

查看詳情 MYSQL分鐘發現頁面限速厚慢的方式優

在mysql中limit可以實現快速分頁,但是如果資料到了幾百萬時我們的limit必須優化才能有效的合理的實現分頁了,否則可能卡死你的伺服器哦。

當一個表資料有幾百萬的資料的時候成了問題!

如 * from table limit 0,10 這個沒有問題 當 limit 200000,10 的時候資料讀取就很慢,可以按照一下方法解決
第一頁會很快

PERCONA PERFORMANCE CONFERENCE 2009上,來自雅虎的幾位工程師帶來了一篇”EfficientPagination Using MySQL”的報告

limit10000,20的意思掃描滿足條件的10020行,扔掉前面的10000行,返回最後的20行,問題就在這裡。

LIMIT 451350 , 30 掃描了45萬多行,怪不得慢的都堵死了。

但是

limit 30 這樣的語句僅僅掃描30行。

那麼如果我們之前記錄了最大ID,就可以在這裡做文章

舉個例子

日常分頁SQL語句
select id,name,content from users order by id asc limit 100000,20

掃描100020行

如果記錄了上次的最大ID

select id,name,content from users where id>100073 order by id asc limit 20
掃描20行。

總數據有500萬左右

以下例子 當時候 select * from wl_tagindex where byname=’f’ order by id limit 300000,10 執行時間是 3.21s

優化後:

select * from (
select id from wl_tagindex
where byname=’f’ order by id limit 300000,10
) a
left join wl_tagindex b on a.id=b.id

執行時間為 0.11s 速度明顯提升

這裡需要說明的是 我這裡用到的欄位是 byname ,id 需要把這兩個欄位做複合索引,否則的話效果提升不明顯

總結

當一個資料庫表過於龐大,LIMIT offset, length中的offset值過大,則SQL查詢語句會非常緩慢,你需增加order by,並且order by欄位需要建立索引。
如果使用子查詢去優化LIMIT的話,則子查詢必須是連續的,某種意義來講,子查詢不應該有where條件,where會過濾資料,使資料失去連續性。
如果你查詢的記錄比較大,並且資料傳輸量比較大,比如包含了text類型的field,則可以通過建立子查詢。
SELECT id,title,content FROM items WHERE id IN (SELECT id FROM items ORDER BY id limit 900000, 10);
如果limit語句的offset較大,你可以通過傳遞pk鍵值來減小offset = 0,這個主鍵最好是int類型並且auto_increment
SELECT * FROM users WHERE uid > 456891 ORDER BY uid LIMIT 0, 10;
這條語句,大意如下:
SELECT * FROM users WHERE uid >= (SELECT uid FROM users ORDER BY uid limit 895682, 1) limit 0, 10;
如果limit的offset值過大,用戶也會翻頁疲勞,你可以設置一個offset最大的,超過了可以另行處理,一般連續翻頁過大,用戶體驗很差,則應該提供更優的用戶體驗給用戶。

limit 分頁優化方法

1.子查詢優化法
先找出第一條資料,然後大於等於這條資料的id就是要獲取的資料
缺點:資料必須是連續的,可以說不能有where條件,where條件會篩選資料,導致資料失去連續性

實驗下

mysql> set profi=1;
Query OK, 0 rows affected (0.00 sec)

mysql> select count(*) from Member;
+———-+
| count(*) |
+———-+
| 169566 |
+———-+
1 row in set (0.00 sec)

mysql> pager grep !~-
PAGER set to ‘grep !~-‘

mysql> select * from Member limit 10, 100;
100 rows in set (0.00 sec)

mysql> select * from Member where MemberID >= (select MemberID from Member limit 10,1) limit 100;
100 rows in set (0.00 sec)

mysql> select * from Member limit 1000, 100;
100 rows in set (0.01 sec)

mysql> select * from Member where MemberID >= (select MemberID from Member limit 1000,1) limit 100;
100 rows in set (0.00 sec)

mysql> select * from Member limit 100000, 100;
100 rows in set (0.10 sec)

mysql> select * from Member where MemberID >= (select MemberID from Member limit 100000,1) limit 100;
100 rows in set (0.02 sec)

mysql> nopager
PAGER set to stdout

mysql> show profilesG
*************************** 1. row ***************************
Query_ID: 1
Duration: 0.00003300
Query: select count(*) from Member

*************************** 2. row ***************************
Query_ID: 2
Duration: 0.00167000
Query: select * from Member limit 10, 100
*************************** 3. row ***************************
Query_ID: 3
Duration: 0.00112400
Query: select * from Member where MemberID >= (select MemberID from Member limit 10,1) limit 100

*************************** 4. row ***************************
Query_ID: 4
Duration: 0.00263200
Query: select * from Member limit 1000, 100
*************************** 5. row ***************************
Query_ID: 5
Duration: 0.00134000
Query: select * from Member where MemberID >= (select MemberID from Member limit 1000,1) limit 100

*************************** 6. row ***************************
Query_ID: 6
Duration: 0.09956700
Query: select * from Member limit 100000, 100
*************************** 7. row ***************************
Query_ID: 7
Duration: 0.02447700
Query: select * from Member where MemberID >= (select MemberID from Member limit 100000,1) limit 100

從結果中可以得知,當偏移1000以上使用子查詢法可以有效的提高性能。

2.倒排表優化法
倒排表法類似建立索引,用一張表來維護頁數,然後通過高效的連接得到資料

缺點:只適合資料數固定的情況,資料不能刪除,維護頁表困難

3.反向查找優化法
當偏移超過一半記錄數的時候,先用排序,這樣偏移就反轉了

缺點:order by優化比較麻煩,要增加索引,索引影響資料的修改效率,並且要知道總記錄數
,偏移大於資料的一半

引用
limit偏移演算法:
正向查找: (當前頁 – 1) * 頁長度
反向查找: 總記錄 – 當前頁 * 頁長度

做下實驗,看看性能如何

總記錄數:1,628,775
每頁記錄數: 40
總頁數:1,628,775 / 40 = 40720
中間頁數:40720 / 2 = 20360

第21000頁
正向查找SQL:
Sql代碼
SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 839960, 40
時間:1.8696 秒

反向查找sql:
Sql代碼
SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 788775, 40
時間:1.8336 秒

第30000頁
正向查找SQL:
Sql代碼

1.SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 1199960, 40
SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 1199960, 40

時間:2.6493 秒

反向查找sql:
Sql代碼
1.SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 428775, 40
SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 428775, 40

時間:1.0035 秒

注意,反向查找的結果是是降冪desc的,並且InputDate是記錄的插入時間,也可以用主鍵聯合索引,但是不方便。

4.limit限制優化法
把limit偏移量限制低於某個數。。超過這個數等於沒資料,我記得alibaba的dba說過他們是這樣做的

5.只查索引法

 

 

以上內容轉載自: http://www.fienda.com/archives/110

查看詳情 MySQL檢查時間或日期重疊

以下是4種會產生重疉的情況
(ns, ne, es, ee) = (new_start, new_end, existing_start, existing_end):
  1. ns - ne - es - ee: doesn't overlap and doesn't match (because ne < es)
  2. ns - es - ne - ee: ovarlaps and matches
  3. es - ns - ee - ne: ovarlaps and matches
  4. es - ee - ns - ne: doesn't overlap and doesn't match (because ns > ee)
  5. es - ns - ne - ee: ovarlaps and matches
  6. ns - es - ee - ne: ovarlaps and matches

SQL 語法 以下搜尋的版本

SQL Statment
Below method is found from internet while the second method is my own way usally use.
SELECT * FROM tbl WHERE
existing_start BETWEEN '$newStart' AND '$newEnd' OR
existing_end BETWEEN '$newStart' AND '$newEnd' OR
'$newStart' BETWEEN existing_star AND existing_end

以下是的個人慣常的做法, 兩者皆可找出重疊的紀錄

SELECT * FROM tbl WHERE
( existing_start<='$newStart' AND existing_end>'$newStart' )
AND ( existing_start<'$newEnd' AND existing_start>'$newStart' )

查看詳情 MySQL - ON DUPLICATE KEY UPDATE - 如果數據存在更新數據資料否則新增

今天學了一個新的 MySQL 方法。我們寫程式時, 常常會用上判別式, 當一項資料本身存在於數據庫表格中, 我們會進行 UPDATE, 否則就增一項紀錄。以往我一般會用 PHP 做 if else, 先查詢是否有存在的紀錄, 有就 update, 沒有就新增, 但其實 MySQL 本身就內置了這樣的一個方法。

假設 Table 中有 a,b,c 三列, 而 a 是 primary key 或 unique, 利用以下語句便可直接做到上述的要求

INSERT INTO table (a,b,c) VALUES (1,2,3) ON DUPLICATE KEY UPDATE c=c+1;

是不是很方便呢? 相信很多 PHP Programmer 都如一樣忽略的 MySQL 本身的強大 function, 大家以後要多看看 MySQL 手冊了~~
 

查看詳情 Mysql Date Time 日期和時間函數

當我們處理日期和時間的資料時, 很多時會在 php 處理好再存回 MySQL 數據庫, 其實 MySQL 本身已有很多 Date time 的函數, 只要善加利用, 比起使用 php 可是更加便利哦~~

以下內容轉自: http://wen198599.pixnet.net/blog/post/22450019

...........
1 2