Using GNU awk in windows to get the files size , take times, copy write speed

GNU awk 

https://gnuwin32.sourceforge.net/packages/gawk.htm

透過awk取得 robocopy 檔案大小、操作時間、測試速度

Using awk in windows, get the files size , take times, copy write speed

以下為robocopy_getSpeed.bat

@echo off

setlocal enabledelayedexpansion

:: 檢查是否有傳入速度限制參數

if "%~1"=="" (

    echo 請傳入速度限制（MB/s）作為參數，例如：robocopy_getSpeed.bat 10

    exit /b 99

)

set "limit=%~1"

if "%~2"=="" (

set "logfile=robocopy_log.txt"

) else (

set "logfile=%~2"

)

if not exist "!logfile!" (

    echo [%DATE% %TIME%] !logfile! 不存在

exit /b 3

)

:: 取得 Bytes（MB）

for /f %%A in ('findstr "Bytes[^/]" %logfile% ^| awk "{ print $3 }"') do (

    set "bytes=%%A"

)

:: 取得 Time（秒）支援 HH:MM:SS 或 MM:SS

for /f %%A in ('findstr "Times" %logfile% ^| awk "{ n=split($3,t,\":\"); if (n==3) print t[1]*3600 + t[2]*60 + t[3]; else if (n==2) print t[1]*60 + t[2]; else print 0 }"') do (

    set "seconds=%%A"

)

if "!bytes!"=="" (

exit /b 2

)

if "!seconds!"=="" (

exit /b 2

)

:: 使用 PowerShell 計算速度（MB/s）

for /f %%S in ('powershell -command "[math]::Round(%bytes% / %seconds%, 2)"') do (

    set "speed=%%S"

)

echo Bytes: %bytes% MB

echo Time: %seconds% 秒

echo 速度: %speed% MB/s

echo 限速: %limit% MB/s

:: 比較速度與限制

powershell -command "if (%speed% -lt %limit%) { exit 2 } else { exit 1 }"

以下為 偵測磁碟並透過 robocopy 複製檔案 disk_test_copy.bat

@echo off

setlocal EnableDelayedExpansion

:: 設定來源資料夾、記錄檔案和日誌檔案

set "SOURCE_DIR=F:\NKG\__ProjectBackup\2025\RPA\AutoDoIt\bin\Debug\app\Script\test"

set "DRIVE_FILE=drive.txt"

set "LOG_FILE=copy_log.txt"

set "LIMIT_SPEED=10"

set "COUNT_FILE=count.txt"

:: 初始化日誌

echo [%DATE% %TIME%] 腳本開始 >> "%LOG_FILE%"

:: 檢查來源資料夾是否存在

if not exist "%SOURCE_DIR%\" (

    echo 錯誤：來源資料夾不存在！

    echo [%DATE% %TIME%] 錯誤：來源資料夾不存在 >> "%LOG_FILE%"

    pause

    exit /b 1

)

:: 檢查是否已有磁碟機記錄檔案

if exist "%DRIVE_FILE%" (

    set /p NEW_DRIVE=<%DRIVE_FILE%

    if exist "!NEW_DRIVE!:\" (

        echo 讀取磁碟機：!NEW_DRIVE!

        echo [%DATE% %TIME%] 讀取磁碟機：!NEW_DRIVE! >> "%LOG_FILE%"

        goto :process

    ) else (

        echo 錯誤：磁碟機 !NEW_DRIVE! 不存在，重新檢測...

        echo [%DATE% %TIME%] 錯誤：磁碟機 !NEW_DRIVE! 不存在 >> "%LOG_FILE%"

        del "%DRIVE_FILE%"

    )

)

:: 儲存初始磁碟機列表

set "PREV_DRIVES="

for %%D in (D E F G H I J K L M N O P Q R S T U V W X Y Z) do (

    if exist %%D:\ (

        set "PREV_DRIVES=!PREV_DRIVES! %%D"

    )

)

:: 主迴圈：監控新磁碟插入

echo 監控新磁碟...

echo [%DATE% %TIME%] 監控新磁碟 >> "%LOG_FILE%"

:loop

set "CURRENT_DRIVES="

for %%D in (D E F G H I J K L M N O P Q R S T U V W X Y Z) do (

    if exist %%D:\ (

        set "CURRENT_DRIVES=!CURRENT_DRIVES! %%D"

    )

)

set "NEW_DRIVE="

for %%D in (%CURRENT_DRIVES%) do (

    echo %PREV_DRIVES% | find /i "%%D" >nul

    if !errorlevel! neq 0 (

        set "NEW_DRIVE=%%D"

        goto :found

    )

)

set "PREV_DRIVES=%CURRENT_DRIVES%"

timeout /t 2 /nobreak >nul

goto loop

:found

echo 檢測到新磁碟：!NEW_DRIVE!

echo [%DATE% %TIME%] 檢測到新磁碟：!NEW_DRIVE! >> "%LOG_FILE%"

echo !NEW_DRIVE!>%DRIVE_FILE%

echo 儲存磁碟機到 drive.txt

echo [%DATE% %TIME%] 儲存磁碟機到 drive.txt >> "%LOG_FILE%"

:process

set "TARGET_DIR=!NEW_DRIVE!:\Backup\test"

echo [%DATE% %TIME%] 檢查磁碟 !NEW_DRIVE! 是否可寫 >> "%LOG_FILE%"

echo test>%TEMP%\test.txt

copy "%TEMP%\test.txt" "!NEW_DRIVE!:\" >nul 2>&1

if !errorlevel! neq 0 (

    echo 錯誤：無法寫入磁碟 !NEW_DRIVE!

    echo [%DATE% %TIME%] 錯誤：無法寫入磁碟 !NEW_DRIVE! >> "%LOG_FILE%"

    pause

    exit /b 1

)

::del "!NEW_DRIVE!:\test.txt" >nul 2>&1

echo Will del "!TARGET_DIR!"

pause

del /f /s /q "!TARGET_DIR!" >nul 2>&1

if not exist "!TARGET_DIR!\" (

    mkdir "!TARGET_DIR!"

    echo [%DATE% %TIME%] 創建目標資料夾 >> "%LOG_FILE%"

)

echo 正在複製資料...

echo [%DATE% %TIME%] 開始複製 >> "%LOG_FILE%"

::set "TEMP_COPY_LOG=%TEMP%\robocopy_copy_%RANDOM%.txt"

set "TEMP_COPY_LOG=robocopy_log.txt"

robocopy "%SOURCE_DIR%" "!TARGET_DIR!" /MIR /COPY:DAT /IS /R:3 /W:5 /LOG:"!TEMP_COPY_LOG!" /NP

if !errorlevel! geq 8 (

    echo 錯誤：複製失敗！錯誤碼：!errorlevel!

    echo [%DATE% %TIME%] 錯誤：複製失敗，錯誤碼：!errorlevel! >> "%LOG_FILE%"

    type "!TEMP_COPY_LOG!" >> "%LOG_FILE%"

    del "!TEMP_COPY_LOG!" >nul 2>&1

    pause

    exit /b 1

)

echo [%DATE% %TIME%] 複製完成 >> "%LOG_FILE%"

::copy "!TEMP_COPY_LOG!" "robocopy_log.txt"

type "!TEMP_COPY_LOG!" >> "%LOG_FILE%"

echo 正在比對檔案...

echo [%DATE% %TIME%] 開始比對 >> "%LOG_FILE%"

set "TEMP_FILE=%TEMP%\robocopy_diff_%RANDOM%.txt"

robocopy "%SOURCE_DIR%" "!TARGET_DIR!" /MIR /COPY:DAT /L /XJ /R:3 /W:5 /LOG:"!TEMP_FILE!" /NP >nul

if !errorlevel! geq 8 (

    echo 錯誤：比對失敗！錯誤碼：!errorlevel!

    echo [%DATE% %TIME%] 錯誤：比對失敗，錯誤碼：!errorlevel! >> "%LOG_FILE%"

    if exist "!TEMP_FILE!" (

        echo [%DATE% %TIME%] robocopy 比對輸出： >> "%LOG_FILE%"

        type "!TEMP_FILE!" >> "%LOG_FILE%"

    )

    del "!TEMP_FILE!" >nul 2>&1

    pause

    exit /b 1

)

set "DIFF_COUNT=0"

if exist "!TEMP_FILE!" (

    for /f "tokens=*" %%F in ('findstr /b /c:"    New File " /c:"    Extra " "!TEMP_FILE!"') do (

        echo [%DATE% %TIME%] 差異檔案：%%F >> "%LOG_FILE%"

        set /a DIFF_COUNT+=1

    )

)

del "!TEMP_FILE!" >nul 2>&1

if !DIFF_COUNT! neq 0 (

    echo 錯誤：檔案清單不一致！差異數：!DIFF_COUNT!

    echo [%DATE% %TIME%] 錯誤：檔案清單不一致，差異數：!DIFF_COUNT! >> "%LOG_FILE%"

    pause

    exit /b 1

)

set "CONTENT_DIFF=0"

for %%F in ("%SOURCE_DIR%\*.*") do (

    fc /b "%%F" "!TARGET_DIR!\%%~nxF" >nul 2>&1

    if !errorlevel! neq 0 (

        echo 錯誤：檔案內容不同：%%~nxF

        echo [%DATE% %TIME%] 錯誤：檔案內容不同：%%~nxF >> "%LOG_FILE%"

        set /a CONTENT_DIFF+=1

    )

)

if !CONTENT_DIFF! neq 0 (

    echo 錯誤：有 !CONTENT_DIFF! 個檔案內容不同！

    echo [%DATE% %TIME%] 錯誤：有 !CONTENT_DIFF! 個檔案內容不同 >> "%LOG_FILE%"

    pause

    exit /b 1

)

echo 複製成功，檔案內容一致！

echo [%DATE% %TIME%] 複製成功，檔案內容一致 >> "%LOG_FILE%"

:: 處理取得速度值 >> "%LOG_FILE%"

robocopy_getSpeed.bat !LIMIT_SPEED!

del "!TEMP_COPY_LOG!" >nul 2>&1

:: 處理執行次數

set "EXEC_COUNT=0"

if exist "%COUNT_FILE%" (

    set /p EXEC_COUNT=<%COUNT_FILE%

    set /a EXEC_COUNT+=1

) else (

    set "EXEC_COUNT=1"

)

echo !EXEC_COUNT!>"%COUNT_FILE%"

echo 執行次數：!EXEC_COUNT!

echo [%DATE% %TIME%] 執行次數：!EXEC_COUNT! >> "%LOG_FILE%"

echo [%DATE% %TIME%] 腳本結束 >> "%LOG_FILE%"

exit /b 0

 

以下為 robocopy_log.txt

-------------------------------------------------------------------------------

   ROBOCOPY     ::     Robust File Copy for Windows                              

-------------------------------------------------------------------------------

  Started : Friday, July 4, 2025 12:57:13 PM

   Source : F:\test\

     Dest = G:\Backup\

    Files : *.*

    

  Options : *.* /V /TEE /S /E /DCOPY:T /COPY:DAT /R:0 /W:0 

------------------------------------------------------------------------------

                   1 F:\Script\test\

*EXTRA Dir        -1 G:\Backup\test\

          same   76.7 m sbom-tool-win-x64.exe

------------------------------------------------------------------------------

               Total    Copied   Skipped  Mismatch    FAILED    Extras

    Dirs :         1         0         1         0         0         1

   Files :         1         0         1         0         0         0

   Bytes :   76.78 m         0   76.78 m         0         0         0

   Times :   1:01:05   1:01:05                       0:00:00   0:00:00

   Ended : Friday, July 4, 2025 12:57:13 PM

如何利用多核CPU來加速你的Linux命令

　　你是否曾經有過要計算一個非常大的資料(幾百GB)的需求？或在裡面搜尋，或其它操作——一些無法並行的操作。資料專家們，我是在對你們說。你可能有一個4核或更多核的CPU，但我們合適的工具，例如 grep, bzip2, wc, awk, sed等等，都是單執行緒的，只能使用一個CPU核心。

　　借用卡通人物Cartman的話，“如何我能使用這些核心”?

　　要想讓Linux命令使用所有的CPU核心，我們需要用到GNU Parallel命令，它讓我們所有的CPU核心在單機內做神奇的map-reduce操作，當然，這還要藉助很少用到的–pipes 引數(也叫做–spreadstdin)。這樣，你的負載就會平均分配到各CPU上，真的。

　　BZIP2

　　bzip2是比gzip更好的壓縮工具，但它很慢！別折騰了，我們有辦法解決這問題。

　　以前的做法：

cat bigfile.bin | bzip2 --best > compressedfile.bz2

　　現在這樣：

cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2

　　尤其是針對bzip2，GNU parallel在多核CPU上是超級的快。你一不留神，它就執行完成了。

　　GREP

　　如果你有一個非常大的文字檔案，以前你可能會這樣：

grep pattern bigfile.txt

　現在你可以這樣：

cat bigfile.txt | parallel  --pipe grep 'pattern'

　　或者這樣：

cat bigfile.txt | parallel --block 10M --pipe grep 'pattern'

　　這第二種用法使用了 –block 10M引數，這是說每個核心處理1千萬行——你可以用這個引數來調整每個CUP核心處理多少行資料。

　　AWK

　　下面是一個用awk命令計算一個非常大的資料檔案的例子。

　　常規用法：

cat rands20M.txt | awk '{s+=$1} END {print s}'

　　現在這樣：

cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}'

　　這個有點複雜：parallel命令中的–pipe引數將cat輸出分成多個塊分派給awk呼叫，形成了很多子計算操作。這些子計算經過第二個管道進入了同一個awk命令，從而輸出最終結果。第一個awk有三個反斜槓，這是GNU parallel呼叫awk的需要。

　　WC

　　想要最快的速度計算一個檔案的行數嗎？

　　傳統做法：

wc -l bigfile.txt

　　現在你應該這樣：

cat bigfile.txt | parallel  --pipe wc -l | awk '{s+=$1} END {print s}'

　　非常的巧妙，先使用parallel命令‘mapping’出大量的wc -l呼叫，形成子計算，最後通過管道傳送給awk進行彙總。

　　SED

　　想在一個巨大的檔案裡使用sed命令做大量的替換操作嗎？

　　常規做法：

sed s^old^new^g bigfile.txt

　　現在你可以：

cat bigfile.txt | parallel --pipe sed s^old^new^g

　　…然後你可以使用管道把輸出儲存到指定的檔案裡。

　　英文原文：Use multiple CPU Cores with your Linux commands 

資料來源:https://iter01.com/34786.html

linux下awk內置函數的使用(split/substr/length)

 一、split 初始化和類型強制

awk的內建函數split允許你把一個字符串分隔為單詞並存儲在數組中。你可以自己定義域分隔符或者使用現在FS(域分隔符)的值。
格式：

split (string, array, field separator)
split (string, array) -->如果第三個參數沒有提供，awk就默認使用當前FS值。

例1：替換分隔符

time="12:34:56"
out=`echo $time | awk ‘{split($0,a,":");print a[1],a[2],a[3]}‘`
echo $out

例2：計算指定範圍內的和(計算每個人1月份的工資之和)

$ cat test.txt 
Tom     2012-12-11      car     5       3000
John    2013-01-13      bike    4       1000
vivi    2013-01-18      car     4       2800
Tom     2013-01-20      car     3       2500
John    2013-01-28      bike    6       3500
$ awk ‘{split($2,a,"-");if(a[2]==01){b[$1]+=$5}}END{for(i in b)print i,b[i]}‘ test.txt   
vivi 2800
Tom 2500
John 4500

例3：

$ head industryList.txt 
IT
IT,互聯網
IT服務(系統/數據/維護)
IT服務(系統/數據/維護),專業服務/咨詢(財會/法律/人力資源等)
IT服務(系統/數據/維護),專業服務/咨詢(財會/法律/人力資源等),學術/科研,計算機軟件
$ head industryList.txt | awk ‘{split($0, arr, ","); for (i in arr) print arr[i]}‘
IT
IT
互聯網
IT服務(系統/數據/維護)
IT服務(系統/數據/維護)
專業服務/咨詢(財會/法律/人力資源等)
IT服務(系統/數據/維護)
專業服務/咨詢(財會/法律/人力資源等)
學術/科研
計算機軟件
$ cat industryList.txt | awk ‘{split($0, arr, ","); for (i in arr) print arr[i]}‘ | sort | uniq > industryList_split.txt

二、substr 截取字符串
返回從起始位置起，指定長度之子字符串；若未指定長度，則返回從起始位置到字符串末尾的子字符串。
格式：
substr(s,p) 返回字符串s中從p開始的後綴部分
substr(s,p,n) 返回字符串s中從p開始長度為n的後綴部分
例子：

$ echo "123" | awk ‘{print substr($0,1,1)}‘
1

解釋：
awk -F ‘,‘ ‘{print substr($3,6)}‘ ---> 表示是從第3個字段裏的第6個字符開始，一直到設定的分隔符","結束.
substr($3,10,8) ---> 表示是從第3個字段裏的第10個字符開始，截取8個字符結束.
substr($3,6) ---> 表示是從第3個字段裏的第6個字符開始，一直到結尾

三、length 字符串長度
length函數返回沒有參數的字符串的長度。length函數返回整個記錄中的字符數。

$ echo "123" | awk ‘{print length}‘
3

$ cat info.json | jq .industryList | awk -F ‘"‘ ‘{print $2}‘ | awk ‘{if (length > 0) print $0}‘ | sort | uniq > industryList.txt

四、gsub函數

gsub函數則使得在所有正則表達式被匹配的時候都發生替換。gsub(regular expression, subsitution string, target string);簡稱 gsub（r,s,t)。

舉例：把一個文件裏面所有包含 abc 的行裏面的 abc 替換成 def，然後輸出第一列和第三列

$ awk ‘$0 ~ /abc/ {gsub("abc", "def", $0); print $1, $3}‘ abc.txt

參考：

http://gdcsy.blog.163.com/blog/static/12734360920130241521280/

http://www.cnblogs.com/sunada2005/p/3493941.html

linux下awk內置函數的使用(split/substr/length)

資料來源:https://www.itread01.com/content/1506498963.html

Linux awk 指令

https://www.hy-star.com.tw/tech/linux/awk/awk.html

Linux中 sed 和 awk的用法詳解

 sed用法：

sed是一個很好的檔案處理工具，本身是一個管道命令，主要是以行為單位進行處理，可以將資料行進行替換、刪除、新增、選取等特定工作，下面先了解一下sed的用法

sed命令列格式為：      

sed [-nefri] ‘command' 輸入文字    

常用選項：

        -n∶使用安靜(silent)模式。在一般 sed 的用法中，所有來自 STDIN的資料一般都會被列出到螢幕上。但如果加上 -n 引數後，則只有經過sed 特殊處理的那一行(或者動作)才會被列出來。

        -e∶直接在指令列模式上進行 sed 的動作編輯；

        -f∶直接將 sed 的動作寫在一個檔案內， -f filename 則可以執行 filename 內的sed 動作；

        -r∶sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)

        -i∶直接修改讀取的檔案內容，而不是由螢幕輸出。      

常用命令：

        a   ∶新增， a 的後面可以接字串，而這些字串會在新的一行出現(目前的下一行)～
        c   ∶取代， c 的後面可以接字串，這些字串可以取代 n1,n2 之間的行！
        d   ∶刪除，因為是刪除啊，所以 d 後面通常不接任何咚咚；
         i   ∶插入， i 的後面可以接字串，而這些字串會在新的一行出現(目前的上一行)；
         p  ∶列印，亦即將某個選擇的資料印出。通常 p 會與引數 sed -n 一起運作～
         s  ∶取代，可以直接進行取代的工作哩！通常這個 s 的動作可以搭配正規表示法！例如 1,20s/old/new/g 就是啦！

舉例：（假設我們有一檔名為ab）

     刪除某行

[root@localhost ruby] # sed '1d' ab       #刪除第一行 
[root@localhost ruby] # sed '$d' ab       #刪除最後一行
[root@localhost ruby] # sed '1,2d' ab      #刪除第一行到第二行
[root@localhost ruby] # sed '2,$d' ab      #刪除第二行到最後一行

　　顯示某行

[root@localhost ruby] # sed -n '1p' ab      #顯示第一行 
[root@localhost ruby] # sed -n '$p' ab      #顯示最後一行
[root@localhost ruby] # sed -n '1,2p' ab    #顯示第一行到第二行
[root@localhost ruby] # sed -n '2,$p' ab    #顯示第二行到最後一行

　　使用模式進行查詢

[root@localhost ruby] # sed -n '/ruby/p' ab  #查詢包括關鍵字ruby所在所有行
[root@localhost ruby] # sed -n '/\$/p' ab    #查詢包括關鍵字$所在所有行，使用反斜線\遮蔽特殊含義

　　增加一行或多行字串

[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1a drink tea' ab #第一行後增加字串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog. 
end
[root@localhost ruby] # sed '1,3a drink tea' ab #第一行到第三行後增加字串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
drink tea
end
drink tea
[root@localhost ruby] # sed '1a drink tea\nor coffee' ab  #第一行後增加多行，使用換行符\n
Hello!
drink tea
or coffee
ruby is me,welcome to my blog.
end

　　代替一行或多行

[root@localhost ruby] # sed '1c Hi' ab        #第一行代替為Hi
Hi
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1,2c Hi' ab       #第一行到第二行代替為Hi
Hi
end

　　替換一行中的某部分

　　格式：sed ‘s/要替換的字串/新的字串/g’   （要替換的字串可以用正規表示式）

[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby/bird/g'  #替換ruby為bird
　 [root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby//g'    #刪除ruby

     插入

[root@localhost ruby] # sed -i '$a bye' ab     #在檔案ab中最後一行直接輸入"bye"
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
bye

     刪除匹配行

      sed -i ‘/匹配字串/d’  filename  （注：若匹配字串是變數，則需要“”，而不是‘’。記得好像是）

      替換匹配行中的某個字串

      sed -i ‘/匹配字串/s/替換源字串/替換目標字串/g’ filename

Linux awk的用法 

簡介 

awk是一個強大的文字分析工具，相對於grep的查詢，sed的編輯，awk在其對資料分析並生成報告時，顯得尤為強大。簡單來說awk就是把檔案逐行的讀入，以空格為預設分隔符將每行切片，切開的部分再進行各種分析處理。

awk有3個不同版本: awk、nawk和gawk，未作特別說明，一般指gawk，gawk 是 AWK 的 GNU 版本。

awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有自己的語言： AWK 程式設計語言 ， 三位建立者已將它正式定義為“樣式掃描和處理語言”。它允許您建立簡短的程式，這些程式讀取輸入檔案、為資料排序、處理資料、對輸入執行計算以及生成報表，還有無數其他的功能。

使用方法

awk '{pattern   action}' {filenames}

儘管操作可能會很複雜，但語法總是這樣，其中 pattern 表示 AWK 在資料中查詢的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括號（{}）不需要在程式中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正規表示式，用斜槓括起來。

awk語言的最基本功能是在檔案或者字串中基於指定規則瀏覽和抽取資訊，awk抽取資訊後，才能進行其他文字操作。完整的awk指令碼通常用來格式化文字檔案中的資訊。

通常，awk是以檔案的一行為處理單位的。awk每接收檔案的一行，然後執行相應的命令，來處理文字。

呼叫awk

有三種方式呼叫awk

1.命令列方式

awk [-F field-separator] 'commands' input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的檔案。

在awk中，檔案的每一行中，由域分隔符分開的每一項稱為一個域。通常，在不指名-F域分隔符的情況下，預設的域分隔符是空格。

2.shell指令碼方式

將所有的awk命令插入一個檔案，並使awk程式可執行，然後awk命令直譯器作為指令碼的首行，一遍通過鍵入指令碼名稱來呼叫。

相當於shell指令碼首行的：#!/bin/sh

可以換成：#!/bin/awk

3.將所有的awk命令插入一個單獨檔案，然後呼叫：

awk -f awk-script-file input-file(s)

其中，-f選項載入awk-script-file中的awk指令碼，input-file(s)跟上面的是一樣的。

 本章重點介紹命令列方式。

入門例項

假設last -n 5的輸出如下

[root@www ~]# last -n 5 <==僅取出前五行
root   pts/1  192.168.1.100 Tue Feb 10 11:21  still logged in
root   pts/1  192.168.1.100 Tue Feb 10 00:46 - 02:28 (01:41)
root   pts/1  192.168.1.100 Mon Feb 9 11:41 - 18:30 (06:48)
dmtsai  pts/1  192.168.1.100 Mon Feb 9 11:41 - 11:41 (00:00)
root   tty1          Fri Sep 5 14:09 - 14:10 (00:01)

如果只是顯示最近登入的5個帳號

#last -n 5 | awk '{print $1}'
root
root
root
dmtsai
root

awk工作流程是這樣的：讀入有’\n’換行符分割的一條記錄，然後將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域。預設域分隔符是”空白鍵” 或 “[tab]鍵”,所以$1表示登入使用者，$3表示登入使用者ip,以此類推。

如果只是顯示/etc/passwd的賬戶

#cat /etc/passwd |awk -F ':' '{print $1}' 
root
daemon
bin
sys

這種是awk action的示例，每行都會執行action{print $1}。

-F指定域分隔符為’:’。

如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以tab鍵分割

#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
root  /bin/bash
daemon /bin/sh
bin   /bin/sh
sys   /bin/sh 

如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以逗號分割,而且在所有行新增列名name,shell,在最後一行新增”blue,/bin/nosh”。

cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是這樣的：先執行BEGING，然後讀取檔案，讀入有/n換行符分割的一條記錄，然後將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域,隨後開始執行模式所對應的動作action。接著開始讀入第二條記錄······直到所有的記錄都讀完，最後執行END操作。

搜尋/etc/passwd有root關鍵字的所有行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

這種是pattern的使用示例，匹配了pattern(這裡是root)的行才會執行action(沒有指定action，預設輸出每行的內容)。

搜尋支援正則，例如找root開頭的: awk -F: '/^root/' /etc/passwd

搜尋/etc/passwd有root關鍵字的所有行，並顯示對應的shell

# awk -F: '/root/{print $7}' /etc/passwd       
/bin/bash

這裡指定了action{print $7}

awk內建變數

awk有許多內建變數用來設定環境資訊，這些變數可以被改變，下面給出了最常用的一些變數。

ARGC               命令列引數個數
ARGV               命令列引數排列
ENVIRON            支援佇列中系統環境變數的使用
FILENAME           awk瀏覽的檔名
FNR                瀏覽檔案的記錄數
FS                 設定輸入域分隔符，等價於命令列 -F選項
NF                 瀏覽記錄的域的個數
NR                 已讀的記錄數
OFS                輸出域分隔符
ORS                輸出記錄分隔符
RS                 控制記錄分隔符

 此外,$0變數是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,……以此類推。

統計/etc/passwd:檔名，每行的行號，每行的列數，對應的完整行內容:

#awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh 

使用printf替代print,可以讓程式碼更加簡潔，易讀

awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd 

print和printf

awk中同時提供了print和printf兩種列印輸出的函式。

其中print函式的引數可以是變數、數值或者字串。字串必須用雙引號引用，引數用逗號分隔。如果沒有逗號，引數就串聯在一起而無法區分。這裡，逗號的作用與輸出檔案的分隔符的作用是一樣的，只是後者是空格而已。

printf函式，其用法和C語言中printf基本相似,可以格式化字串,輸出複雜時，printf更加好用，程式碼更易懂。

 awk程式設計

 變數和賦值

除了awk的內建變數，awk還可以自定義變數。

下面統計/etc/passwd的賬戶人數

awk '{count  ;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is 40

count是自定義變數。之前的action{}裡都是隻有一個print,其實print只是一個語句，而action{}可以有多個語句，以;號隔開。

這裡沒有初始化count，雖然預設是0，但是妥當的做法還是初始化為0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count 1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is 0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is 40 

統計某個資料夾下的檔案佔用的位元組數

ls -l |awk 'BEGIN {size=0;} {size=size $5;} END{print "[end]size is ", size}'
[end]size is 8657198

如果以M為單位顯示:

ls -l |awk 'BEGIN {size=0;} {size=size $5;} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is 8.25889 M

注意，統計不包括資料夾的子目錄。

條件語句

 awk中的條件語句是從c語言中借鑑來的，見如下宣告方式：

if (expression) {
statement;
statement;
... ...
}
if (expression) {
statement;
} else {
statement2;
}
if (expression) {
statement1;
} else if (expression1) {
statement2;
} else {
statement3;
}

統計某個資料夾下的檔案佔用的位元組數,過濾4096大小的檔案(一般都是資料夾):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size $5;}} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is 8.22339 M 

迴圈語句

awk中的迴圈語句同樣借鑑於C語言，支援while、do/while、for、break、continue，這些關鍵字的語義和C語言中的語義完全相同。

陣列

  因為awk中陣列的下標可以是數字和字母，陣列的下標通常被稱為關鍵字(key)。值和關鍵字都儲存在內部的一張針對key/value應用hash的表格裡。由於hash不是順序儲存，因此在顯示陣列內容時會發現，它們並不是按照你預料的順序顯示出來的。陣列和變數一樣，都是在使用時自動建立的，awk也同樣會自動判斷其儲存的是數字還是字串。一般而言，awk中的陣列用來從記錄中收集資訊，可以用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。

顯示/etc/passwd的賬戶

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count  ;}; END{for (i = 0; i < NR; i  ) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
...... 

這裡使用for迴圈遍歷陣列

總結

以上所述是小編給大家介紹的Linux中 sed 和 awk的用法詳解，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回覆大家的。在此也非常感謝大家對指令碼之家網站的支援！

資料來源:https://codertw.com/%E5%89%8D%E7%AB%AF%E9%96%8B%E7%99%BC/392291/