基本信息
在Unix上,硬件的設備驅動(如硬盤)和特殊設備文件(如/dev/zero和/dev/random)就像普通文件一樣,出現在文件系統中;隻要在各自的驅動程序中實現了對應的功能,dd也可以讀取自和/或寫入到這些文件。這樣,dd也可以用在備份硬件的引導扇區、獲取一定數量的随機數據等任務中。dd程序也可以在複制時處理數據,例如轉換字節序、或在ASCII與EBCDIC編碼間互換。
dd的名字可能來源于IBM的工作控制語言(JCL)中的DD語句,意為“Data Description”(數據描述)的縮寫。該命令的語句與JCL中的相似,而與其他Unix命令較不同,因此這可能是個玩笑。另一種解釋是“cc”(根據命令自身的描述,為“convert and copy”(轉換和複制))已經被C語言編譯器(C compiler)所占。
dd命令由單一UNIX規範的一部分,IEEE标準1003.1-2008所規定。
用法
dd的命令行語句與其他的Unix程序不同,因為它的命令行選項格式為選項=值,而不是更标準的--選項 值或-選項=值。dd默認從标準輸入中讀取,并寫入到标準輸出中,但可以用選項if(input file,輸入文件)和of(output file,輸出文件)改變。
由于操作系統的不同,用法會有出入。另外,dd的一些特定功能取決于計算機系統的能力,例如直接訪問内存。向運行中的dd進程發送SIGINFO信号(Linux上為USR1)可以使它将I/O統計信息打印到标準錯誤一次,然後繼續複制(注意在OS X上,信号可能導緻進程終止)。dd可以從鍵盤中讀取标準輸入。到達文件結尾時,dd将會退出。信号和EOF是由軟件決定。例如,移植到Windows的Unix工具使用不同的EOF:Cygwin使用 (通常的Unix EOF),而MKS工具箱使用(通常的Windows EOF)。
正如Unix哲學一樣,dd隻做好一件事(并被認為做得“好”)。與複雜的和高度抽象的實用程序不同,除了為不同的選項做底層決定,dd沒有其它的算法。一般在每一次運行時,會改變dd的選項以分步處理一個計算機問題。
輸出消息
Linux上GNU coreutils提供的變種沒有描述運行結束時,dd輸出到标準輸出消息的格式。然而,其他的實現描述了它,例如BSD上的。
“記錄讀入”和“記錄寫出”行顯示了已完整傳輸的塊數+不完整的塊數,例如物理介質以不完整的塊結尾,或是一個物理錯誤使得一個完整的塊無法被讀取。
塊大小
塊是衡量一次讀取、寫入和轉換字節的單位。命令行選項可以為輸入/讀取(ibs)和輸出/寫入(obs)指定一個不同的塊大小,盡管塊大小(bs)選項會覆蓋ibs和obs選項。輸入和輸出的默認塊大小為512字節(傳統的磁盤塊及POSIX規定的“塊”大小)複制的count選項、讀取的skip選項和寫入的seek選項都是以塊為單位。轉換操作也受“轉換塊大小”(cbs)影響。
在dd的一些用途中,塊大小可能會影響表現。例如,當轉換硬盤中數據時,較小的塊大小通常會導緻更多的字節被轉換。發出許多小塊的讀取是一種開銷的浪費,且可能會對執行性能有負面影響。較大的塊大小可能會提高複制速度。但是,由于要複制的字節量是由bs×count給出的,因此不可能在一次dd命令中複制素數個字節,除非使用兩個糟糕選項之一:bs=N count=1(消耗内存)或bs=1 count=N(大量讀請求開銷)。替代程序(見下文)允許指定字節,而不是塊。在用作網絡傳輸時,根據使用的網絡協議,塊大小可能會與包大小沖突。
提供給塊大小的值會被解釋成十進制整數,也可以加入後綴指定倍數。後綴w表示2倍,b表示512倍,k表示1024倍,M表示1024 × 1024倍,G表示1024 × 1024 × 1024倍,等等。另外,在塊大小和計數參數中,一些實現也可以使用x表示乘運算。
例如,塊大小bs=2x80x18b表示2 × 80 × 18 × 512 = 1474560字節,也就是一張1440 KiB軟盤的确切大小。
用途
dd命令可用于各種用途。
數據轉換
dd可以在文件、設備、分區和卷之間複制數據。數據可以從其中任何地方輸入或輸出;但輸出到分區時有重要差異。此外在傳輸過程中,數據可以用conv選項修改以适應介質。
如果最後一個塊有意外長度,試圖使用cp複制整個磁盤可能會忽略掉它;然而dd卻可能成功。源和目标磁盤應該具有相同的大小。
noerror選項意味着如果發生錯誤,程序也将繼續運行。sync選項表示填充每個塊到指定字節。
主引導記錄
可以修複主引導記錄。主引導記錄可以轉移到文件,或從中轉移出來。
要複制軟盤的前兩個扇區:
dd if=/dev/fd0 of=MBRboot.img bs=512 count=2
要創建整個x86主引導記錄的鏡像(包括MS-DOS分區表和MBR魔法字節):
dd if=/dev/sda of=MBR.img bs=512 count=1
要創建僅含主引導記錄引導代碼的鏡像(不包括分區表和開機所需的魔法字節):
dd if=/dev/sda of=MBR_boot.img bs=446 count=1
數據修改
dd可以原地修改數據。
用空字節覆蓋文件的前512個字節:
dd if=/dev/zero of=path/to/file bs=512 count=1 conv=notrunc
轉換選項notrunc意味着不縮減輸出文件,也就是說,如果輸出文件已經存在,隻改變指定的字節,然後退出,并保留輸出文件的剩餘部分。沒有這個選項,dd将創建一個512字節長的文件。
在不同的分區中複制磁盤分區到磁盤映像文件中:
dd if=/dev/sdb2 of=partition.image bs=4096 conv=noerror
磁盤擦除
主條目:數據擦除
出于安全方面的考慮,有時需要擦除丢棄的磁盤。
檢查驅動器上是否有數據,并将其輸出到标準輸出:
dd if=/dev/sda
用零擦除磁盤:
dd if=/dev/zero of=/dev/sda bs=4k
相較于上面數據修改的例子,不需要使用轉換選項notrunc,因為當dd的輸出文件為塊設備時,它沒有效果。
bs=4k選項使dd一次讀取或寫入4千字節。在現代系統中,由于傳輸容量(如RAID系統),一個更大的塊大小可能更有利。注意用随機數據填充磁盤總是比用零慢的多,因為随機數據必須先由CPU和/或HWRNG生成,且不同的設計有不同的性能特點。(後面PRNG的/dev/urandom可能比libc中的要慢。)在大多數較現代的磁盤中,用零擦除會使其中的數據永久丢失。
用零擦除磁盤會使它的數據無法被軟件恢複。然而數據仍可能用特殊的實驗室技術恢複。
shred程序提供了完成相同任務的替代方法,最後,當前許多Linux發行版還提供了一個精心制作的工具wipe(做得“好”,如上面的Unix哲學),提供了更多方法擦除。
數據恢複
1984年,GNUdd開啟了開源軟件(OSS)恢複數據、文件、驅動器和分區的曆史。dd進程一次處理一個塊,它的算法隻是在用戶界面顯示運行狀态。1999年10月,一個C語言的程序dd_rescue發布了。它的算法一次能處理兩個塊。但改進dd_rescue的數據恢複算法、2003年的shell腳本dd_rhelp作者現在推薦GNU ddrescue。它是一個發布于2004年的C++程序,與大多數的Linux發行版一起發行。在開源軟件中,GNUddrescue有最先進的塊大小變換算法。(ddrescue和dd_rescue盡管名字相近,但卻是不同的程序。因為如此,區分更為明确的備用名稱也有使用;使用的名稱有“addrescue”(freecode.com),“gddrescue”(Debian包名)和“gnu_ddrescue”(openSUSE包名)。)
GNUddrescue既穩定又安全。
另一個開源程序savehd7使用更複雜的算法,但它需要安裝自己的語言解釋器。
性能基準測試
對驅動器進行基準測試(通常是單線程),使用1024字節塊分析連續系統讀取和寫入的性能:
dd if=/dev/zero bs=1024 count=1000000 of=file_1GBdd if=file_1GB of=/dev/null bs=1024
随機數據生成文件
使用内核随機數驅動,用100個随機字節生成文件:
dd if=/dev/urandom of=myrandom bs=100 count=1
将文件轉換為大寫
将文件轉換為大寫:
dd if=filename of=filename1 conv=ucase
創建空文件
創建1GiB的稀疏文件,或增加現有文件的大小:
dd if=/dev/zero of=mytestfile.out bs=1 count=0 seek=1G
(更先進的工具是GNU coreutils中的fallocate或truncate。)
局限
希捷的文檔警告說,“一些依賴底層硬盤訪問的硬盤工具(如DD)可能不支持48位邏輯區塊地址(LBA),除非進行升級”。使用超過128 GiB的ATA硬盤時需要48位LBA。然而在Linux中,dd使用内核讀取或寫入原始設備文件。2003年釋出的2.4.23版本内核已經實現了對48位LBA的支持。
有人開玩笑說,dd意為“destroy disk”(破壞硬盤)或“delete data”(删除數據),因為在對硬盤進行底層操作時,類似颠倒輸入和輸出文件的一個小錯誤都可能造成部分或全部硬盤數據的丢失。
dcfldd
dcfldd是dd的一個分支,由前美國國防部計算機取證實驗室雇員尼克·哈勃(Nick Harbour)開發的增強版本。與dd相比,dcfldd允許一個以上的輸出文件,同時支持多種校驗計算方法,還提供了驗證模式以匹配文件,并能顯示操作進度百分比。
應用實例
1.将本地的/dev/hdb整盤備份到/dev/hdd
dd if=/dev/hdb of=/dev/hdd
2.将/dev/hdb全盤數據備份到指定路徑的image文件
dd if=/dev/hdb of=/root/image
3.将備份文件恢複到指定盤
dd if=/root/image of=/dev/hdb
4.備份/dev/hdb全盤數據,并利用gzip工具進行壓縮,保存到指定路徑
dd if=/dev/hdb | gzip > /root/image.gz
5.将壓縮的備份文件恢複到指定盤
gzip -dc /root/image.gz | dd of=/dev/hdb
6.備份磁盤開始的512個字節大小的MBR信息到指定文件
dd if=/dev/hda of=/root/image count=1 bs=512
count=1指僅拷貝一個塊;bs=512指塊大小為512個字節。
恢複:
dd if=/root/image of=/dev/hda
7.備份軟盤
dd if=/dev/fd0 of=disk.img count=1 bs=1440k
(即塊大小為1.44M)
8.拷貝内存内容到硬盤
dd if=/dev/mem of=/root/mem.bin bs=1024
(指定塊大小為1k)
9.拷貝光盤内容到指定文件夾,并保存為cd.iso文件
dd if=/dev/cdrom(hdc) of=/root/cd.iso
10.增加swap分區文件大小
第一步:創建一個大小為256M的文件:
dd if=/dev/zero of=/swapfile bs=1024 count=262144
第二步:把這個文件變成swap文件:
mkswap /swapfile
第三步:啟用這個swap文件:
swapon /swapfile
第四步:編輯/etc/fstab文件,使在每次開機時自動加載swap文件:
/swapfile swap swap defaults 0 0
11.銷毀磁盤數據
dd if=/dev/urandom of=/dev/hda1
注意:利用随機的數據填充硬盤,在某些必要的場合可以用來銷毀數據。
12.測試硬盤的讀寫速度
dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
通過以上兩個命令輸出的命令執行時間,可以計算出硬盤的讀、寫速度。
13.确定硬盤的最佳塊大小:
dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file
通過比較以上命令輸出中所顯示的命令執行時間,即可确定系統最佳的塊大小。
14.修複硬盤
dd if=/dev/sda of=/dev/sda
當硬盤較長時間(比如1,2年)放置不使用後,磁盤上會産生magnetic fluxpoint。當磁頭讀到這些區域時會遇到困難,并可能導緻I/O錯誤。當這種情況影響到硬盤的第一個扇區時,可能導緻硬盤報廢。上邊的命令有可能使這些數據起死回生。且這個過程是安全,高效的。
15.dd命令做usb啟動盤
dd if=xxx.iso of=/dev/sdb bs=1M
root用戶或者sudo,用以上命令前必須卸載u盤,sdb是你的u盤,bs=1M是塊的大小,後面的數值大,寫的速度相對快一點,但也不是無限的,我一般選2M,注意,執行命令後很快完成,但u盤還在閃,等不閃了,安全移除。
命令的解釋
定義
dd是Linux/UNIX 下的一個非常有用的命令,作用是用指定大小的塊拷貝一個文件,并在拷貝的同時進行指定的轉換。
參數