使用SQL語(yǔ)句去掉重復(fù)記錄的兩種方法
文章主要介紹了用SQL語(yǔ)句去掉重復(fù)的記錄的兩種方式,兩種方式都可以使用臨時(shí)表操作,具體實(shí)現(xiàn)方法大家跟隨小編一起通過(guò)本文學(xué)習(xí)吧海量數(shù)據(jù)(百萬(wàn)以上),其中有些全部字段都相同,有些...
海量數(shù)據(jù)(百萬(wàn)以上),其中有些全部字段都相同,有些部分字段相同,怎樣高效去除重復(fù)?
如果要?jiǎng)h除手機(jī)(mobilePhone),電話(huà)(officePhone),郵件(email)同時(shí)都相同的數(shù)據(jù),以前一直使用這條語(yǔ)句進(jìn)行去重:
delete
from
表
where
id
not
in
(
select
max
(id)
from
表
group
by
mobilePhone,officePhone,email )
or
delete
from
表
where
id
not
in
(
select
min
(id)
from
表
group
by
mobilePhone,officePhone,email )
delete
from
表
where
id
not
in
(
select
max
(id)
from
表
group
by
mobilePhone,officePhone,email )
or
delete
from
表
where
id
not
in
(
select
min
(id)
from
表
group
by
mobilePhone,officePhone,email )
其中下面這條會(huì)稍快些。上面這條數(shù)據(jù)對(duì)于100萬(wàn)以?xún)?nèi)的數(shù)據(jù)效率還可以,重復(fù)數(shù)1/5的情況下幾分鐘到幾十分鐘不等,但是如果數(shù)據(jù)量達(dá)到300萬(wàn)以上,效率驟降,如果重復(fù)數(shù)據(jù)再多點(diǎn)的話(huà),常常會(huì)幾十小時(shí)跑不完,有時(shí)候會(huì)鎖表跑一夜都跑不完。無(wú)奈只得重新尋找新的可行方法,今天終于有所收獲:
//查詢(xún)出唯一數(shù)據(jù)的ID,并把他們導(dǎo)入臨時(shí)表tmp中
select
min
(id)
as
mid
into
tmp
from
表
group
by
mobilePhone,officePhone,email
//查詢(xún)出去重后的數(shù)據(jù)并插入finally表中
insert
into
finally
select
(除ID以外的字段)
from
customers_1
where
id
in
(
select
mid
from
tmp)
//查詢(xún)出唯一數(shù)據(jù)的ID,并把他們導(dǎo)入臨時(shí)表tmp中
select
min
(id)
as
mid
into
tmp
from
表
group
by
mobilePhone,officePhone,email
//查詢(xún)出去重后的數(shù)據(jù)并插入finally表中
insert
into
finally
select
(除ID以外的字段)
from
customers_1
where
id
in
(
select
mid
from
tmp)
效率對(duì)比:用delete方法對(duì)500萬(wàn)數(shù)據(jù)去重(1/2重復(fù))約4小時(shí)。4小時(shí),很長(zhǎng)的時(shí)間。
用臨時(shí)表插入對(duì)500萬(wàn)數(shù)據(jù)去重(1/2重復(fù))不到10分鐘。
其實(shí)用刪除方式是比較慢的,可能是邊找邊刪除的原因吧,而使用臨時(shí)表,可以將沒(méi)有重復(fù)的數(shù)據(jù)ID選出來(lái)放在臨時(shí)表里,再將表的信息按臨時(shí)表的選擇出來(lái)的ID,將它們找出來(lái)插入到新的表,然后將原表刪除,這樣就可以快速去重啦。
SQL語(yǔ)句去掉重復(fù)記錄,獲取重復(fù)記錄
按照某幾個(gè)字段名稱(chēng)查找表中存在這幾個(gè)字段的重復(fù)數(shù)據(jù)并按照插入的時(shí)間先后進(jìn)行刪除,條件取決于order by 和row_num。
方法一按照多條件重復(fù)處理:
delete
tmp
from
(
select
row_num = row_number() over(partition
by
字段,字段
order
by
時(shí)間
desc
)
from
表
where
時(shí)間> getdate()-1
) tmp
where
row_num > 1
delete
tmp
from
(
select
row_num = row_number() over(partition
by
字段,字段
order
by
時(shí)間
desc
)
from
表
where
時(shí)間> getdate()-1
) tmp
where
row_num > 1
方法二按照單一條件進(jìn)行去重:
delete
from
表
where
主鍵ID
not
in
(
select
max
(主鍵ID)
from
表
group
by
需要去重的字段
having
count
(需要去重的字段)>=1
)
delete
from
表
where
主鍵ID
not
in
(
select
max
(主鍵ID)
from
表
group
by
需要去重的字段
having
count
(需要去重的字段)>=1
)
注意:為提高效率如上兩個(gè)方法都可以使用臨時(shí)表, not in 中的表可以先提取臨時(shí)表#tmp,
然后采用not exists來(lái)執(zhí)行,為避免數(shù)量過(guò)大,可批量用Top控制刪除量
delete
top
(2)
from
表
where
not
exists (
select
主鍵ID
from
#tmp
where
#tmp.主鍵ID=表.主鍵ID)
總結(jié)
以上所述是小編給大家介紹的使用SQL語(yǔ)句去掉重復(fù)的記錄,希望對(duì)大家有所幫助,
- SQL server數(shù)據(jù)庫(kù)高可用日志傳送的方法
- Sql Server 數(shù)據(jù)庫(kù)中調(diào)用dll文件的過(guò)程
- Sql Server 數(shù)據(jù)庫(kù)獲取字符串中小寫(xiě)字母的SQL語(yǔ)句
- Sql Server數(shù)據(jù)庫(kù)如何去掉內(nèi)容里面的Html標(biāo)簽
- SQL Server數(shù)據(jù)庫(kù)遠(yuǎn)程更新目標(biāo)表數(shù)據(jù)的存儲(chǔ)過(guò)程
- MsSql 數(shù)據(jù)庫(kù)使用sqlplus創(chuàng)建DDL和DML操作方法
- SQL語(yǔ)句中不同的連接JOIN及SQL中join的各種用法
- SQL SERVER 2012數(shù)據(jù)庫(kù)自動(dòng)備份的方法
- SQL Server數(shù)據(jù)庫(kù)調(diào)整表中列的順序操作方法及遇到問(wèn)題
- 利用數(shù)據(jù)庫(kù)trigger對(duì)安全進(jìn)行監(jiān)控
SQL server數(shù)據(jù)庫(kù)高可用日志傳送的方法
SQL Server 使用日志傳送,您可以自動(dòng)將“主服務(wù)器”實(shí)例上“主數(shù)據(jù)庫(kù)”內(nèi)的事務(wù)日志備份發(fā)送到單獨(dú)“輔助服務(wù)器”實(shí)例上的一個(gè)或多個(gè)“...
Sql Server 數(shù)據(jù)庫(kù)中調(diào)用dll文件的過(guò)程
文章主要介紹了Sql Server 數(shù)據(jù)庫(kù)中調(diào)用dll文件的過(guò)程,非常不錯(cuò),具有一定的參考借鑒價(jià)值,感興趣的朋友跟隨小編一起學(xué)習(xí)吧...
Sql Server 數(shù)據(jù)庫(kù)獲取字符串中小寫(xiě)字母的SQL語(yǔ)句
文章主要介紹了SqlServer 獲取字符串中小寫(xiě)字母的實(shí)現(xiàn)方法,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友跟隨腳本之家小編一起學(xué)習(xí)吧有時(shí)候我們會(huì)截取字符串中的一些特殊想要的...
Sql Server數(shù)據(jù)庫(kù)如何去掉內(nèi)容里面的Html標(biāo)簽
文章主要介紹了Sql Server 去掉內(nèi)容里邊的Html標(biāo)簽的實(shí)現(xiàn)方法,代碼超簡(jiǎn)單,具有一定的參考借鑒價(jià)值,需要的朋友可以參考下。...
SQL Server數(shù)據(jù)庫(kù)遠(yuǎn)程更新目標(biāo)表數(shù)據(jù)的存儲(chǔ)過(guò)程
文章主要介紹了SQL Server 遠(yuǎn)程更新目標(biāo)表數(shù)據(jù)的存儲(chǔ)過(guò)程,適用于更新列名一致,主鍵為Int類(lèi)型,具體實(shí)例代碼大家參考下本文本文給大家分享一個(gè)遠(yuǎn)程更新目標(biāo)庫(kù)數(shù)據(jù)的存儲(chǔ)過(guò)程,適用...
MsSql 數(shù)據(jù)庫(kù)使用sqlplus創(chuàng)建DDL和DML操作方法
文章主要介紹了使用sqlplus創(chuàng)建DDL和DML操作方法,需要的朋友可以參考下,在window進(jìn)入命令行模式敲sqlplus就會(huì)...
SQL語(yǔ)句中不同的連接JOIN及SQL中join的各種用法
本文給大家較詳細(xì)的介紹了SQL語(yǔ)句中不同的連接JOIN及join的用法,感興趣的朋友跟隨小編一起看看吧為了從兩個(gè)表中獲取數(shù)據(jù),我們有時(shí)會(huì)用JOIN將兩個(gè)表連接起來(lái)。通常有以下幾種...
SQL SERVER 2012數(shù)據(jù)庫(kù)自動(dòng)備份的方法
文章主要為大家詳細(xì)介紹了SQL SERVER 2012數(shù)據(jù)庫(kù)自動(dòng)備份的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下為了防止數(shù)據(jù)丟失,這里給大家介紹SQL SERVER2012數(shù)據(jù)自動(dòng)備...
SQL Server數(shù)據(jù)庫(kù)調(diào)整表中列的順序操作方法及遇到問(wèn)題
文章主要介紹了SQL Server 數(shù)據(jù)庫(kù)調(diào)整表中列的順序操作,文中給大家通過(guò)詳細(xì)步驟介紹了需求及問(wèn)題描述 ,需要的朋友可以參考下SQL Server 數(shù)據(jù)庫(kù)中表一旦創(chuàng)建,我們不建議擅自調(diào)...
利用數(shù)據(jù)庫(kù)trigger對(duì)安全進(jìn)行監(jiān)控
最近幫一個(gè)朋友看他們的網(wǎng)站安全問(wèn)題,他們非常擔(dān)心系統(tǒng)中的數(shù)據(jù)被篡改,因?yàn)橐坏┐鄹目赡芫蛣e人兌換東西或者套現(xiàn)走了就會(huì)造成損失,而最典型的修改一般都是利用事務(wù)性不一致和一些數(shù)據(jù)庫(kù)中的溢出等錯(cuò)誤和直接獲取權(quán)...