wget網絡下載文件工具

wget是一個從網絡上自動下載文件的自由工具。它支持HTTP，HTTPS和FTP協議，可以使用HTTP代理.

所謂的自動下載是指，wget可以在用戶退出系統的之後在後台執行。這意味這你可以登錄系統，啟動一個wget下載任務，然後退出系統，wget將在後台執行直到任務完成，相對於其它大部分瀏覽器在下載大量數據時需要用戶一直的參與，這省去了極大的麻煩。

wget 可以跟踪HTML頁面上的鏈接依次下載來創建遠程服務器的本地版本，完全重建原始站點的目錄結構。這又常被稱作"遞歸下載"。在遞歸下載的時候，wget 遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時，將鏈接轉換成指向本地文件，以方便離線瀏覽。

wget 非常穩定,它在帶寬很窄的情況下和不穩定網絡中有很強的適應性.如果是由於網絡的原因下載失敗，wget會不斷的嘗試，直到整個文件下載完畢。如果是服務器打斷下載過程，它會再次聯到服務器上從停止的地方繼續下載。這對從那些限定了鏈接時間的服務器上下載大文件非常有用。

wget的常見用法
wget雖然功能強大，但是使用起來還是比較簡單的，基本的語法是：wget [參數列表] "URL" 用""引起來可以避免因URL中有特殊字符造成的下載出錯。

下面就結合具體的例子來說明一下wget的用法。

    1、下載整個http或者ftp站點。
    wget http://place.your.url/here
    這個命令可以將http://place.your.url/here 首頁下載下來。使用-x會強制建立服務器上一模一樣的目錄，如果使用-nd參數，那麼服務器上下載的所有內容都會加到本地當前目錄。

    wget -r http://place.your.url/here
    這個命令會按照遞歸的方法，下載服務器上所有的目錄和文件，實質就是下載整個網站。這個命令一定要小心使用，因為在下載的時候，被下載網站指向的所有地址同樣會被下載，因此，如果這個網站引用了其他網站，那麼被引用的網站也會被下載下來！基於這個原因，這個參數不常用。可以用-l number參數來指定下載的層次。例如只下載兩層，那麼使用-l 2。

    要是您想製作鏡像站點，那麼可以使用－m參數，例如：wget -m http://place.your.url/here
    這時wget會自動判斷合適的參數來製作鏡像站點。此時，wget會登錄到服務器上，讀入robots.txt並按robots.txt的規定來執行。

    2、斷點續傳。
    當文件特別大或者網絡特別慢的時候，往往一個文件還沒有下載完，連接就已經被切斷，此時就需要斷點續傳。 wget的斷點續傳是自動的，只需要使用-c參數，例如：
    wget -c http://the.url.of/incomplete/file

    使用斷點續傳要求服務器支持斷點續傳。 -t參數表示重試次數，例如需要重試100次，那麼就寫-t 100，如果設成-t 0，那麼表示無窮次重試，直到連接成功。 -T參數表示超時等待時間，例如-T 120，表示等待120秒連接不上就算超時。

    3、批量下載。
    如果有多個文件需要下載，那麼可以生成一個文件，把每個文件的URL寫一行，例如生成文件download.txt，然後用命令：wget -i download.txt
這樣就會把download.txt裡面列出的每個URL都下載下來。 （如果列的是文件就下載文件，如果列的是網站，那麼下載首頁）

    4、選擇性的下載。
    可以指定讓wget只下載一類文件，或者不下載什麼文件。例如：
    wget -m --reject=gif http://target.web.site/subdirectory

    表示下載http://target.web.site/subdirectory，但是忽略gif文件。 --accept=LIST 可以接受的文件類型，--reject=LIST拒絕接受的文件類型。

    5、密碼和認證。
    wget只能處理利用用戶名/密碼方式限制訪問的網站，可以利用兩個參數：
    --http-user=USER設置HTTP用戶
    --http-passwd=PASS設置HTTP密碼
    對於需要證書做認證的網站，就只能利用其他下載工具了，例如curl。

    6、利用代理服務器進行下載。
    如果用戶的網絡需要經過代理服務器，那麼可以讓wget通過代理服務器進行文件的下載。此時需要在當前用戶的目錄下創建一個.wgetrc文件。文件中可以設置代理服務器：
    http-proxy = 111.111.111.111:8080
    ftp-proxy = 111.111.111.111:8080

    分別表示http的代理服務器和ftp的代理服務器。如果代理服務器需要密碼則使用：
    --proxy-user=USER設置代理用戶
    --proxy-passwd=PASS設置代理密碼

    這兩個參數。
    使用參數--proxy=on/off 使用或者關閉代理。
    wget還有很多有用的功能，需要用戶去挖掘。


這邊舉一個砍站的指令當作例子，指令為：
(FOr Window C:\Program Files (x86)\GnuWin32\bin )
wget -t0 -c -nH -np -m -P /localdir http://example.com/mirrors/ftp.redhat.com

# -t0: 設定重試次數。當連結中斷或超時，wget會重新連接。-t0代表把重試次數設為無窮多。
# -c:  設定續傳功能。
# -nH: 不建立該網站名稱的子目錄 /example.com/，而直接在當前目錄下建立鏡像的目錄結構。
# -np: 不遍歷父目錄，如果有連結連到目標資料夾的parent或其他目錄，不下載。
# -m:  鏡像，相當同時使用-r和-N。
# -r:  遞迴下載，把文件中所有的連結都下載回來。
# -N:  下載時檢查timestamp，只下載有更新的文件，如果檔案大小和最修改日期都一樣就不下載。
# -P:  指定下載到本機的某個目錄下。





wget的使用格式
Usage: wget [OPTION]... [URL]...
* 用wget做站點鏡像:
wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/
# 或者
wget -m http://dsec.pku.edu.cn/~usr_name/
* 在不穩定的網絡上下載一個部分下載的文件，以及在空閒時段下載
wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &
# 或者從filelist讀入要下載的文件列表
wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &
上面的代碼還可以用來在網絡比較空閒的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL鏈接拷貝到內存中然後粘貼到文件fil​​elist.txt中，在晚上要出去系統前執行上面代碼的第二條。
* 使用代理下載
wget -Y on -p -k https://sourceforge.net/projects/wvware/
代理可以在環境變量或wgetrc文件中設定
# 在環境變量中設定代理
export PROXY=http://211.90.168.94:8080/
# 在~/.wgetrc中設定代理
http_proxy = http://proxy.yoyodyne.com:18023/
ftp_proxy = http://proxy.yoyodyne.com:18023/


wget各種選項分類列表
* 啟動
  -V, --version 顯示wget的版本後退出
  -h, --help 打印語法幫助
  -b, --background 啟動後轉入後台執行
  -e, --execute=COMMAND 執行`.wgetrc'格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc
* 記錄和輸入文件
  -o, --output-file=FILE 把記錄寫到FILE文件中
  -a, --append-output=FILE 把記錄追加到FILE文件中
  -d, --debug 打印調試輸出
  -q, --quiet 安靜模式(沒有輸出)
  -v, --verbose 冗長模式(這是缺省設置)
  -nv, --non-verbose 關掉冗長模式，但不是安靜模式
  -i, --input-file=FILE 下載在FILE文件中出現的URLs
  -F, --force-html 把輸入文件當作HTML格式文件對待
  -B, --base=URL 將URL作為在-F -i參數指定的文件中出現的相對鏈接的前綴
       --sslcertfile=FILE 可選客戶端證書
       --sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
       --egd-file=FILE 指定EGD socket的文件名
* 下載
       --bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)
  -t, --tries=NUMBER 設定最大嘗試鏈接次數(0 表示無限制).
  -O -​​-output-document=FILE 把文檔寫到FILE文件中
  -nc, --no-clobber 不要覆蓋存在的文件或使用.#前綴
  -c, --continue 接著下載沒下載完的文件
       --progress=TYPE 設定進程條標記
  -N, --timestamping 不要重新下載文件除非比本地文件新
  -S, --server-response 打印服務器的回應
       --spider 不下載任何東西
  -T, --timeout=SECONDS 設定響應超時的秒數
  -w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
       --waitretry=SECONDS 在重新鏈接之間等待1...SECONDS秒
       --random-wait 在下載之間等待0...2*WAIT秒
  -Y, --proxy=on/off 打開或關閉代理
  -Q, --quota=NUMBER 設置下載的容量限制
       --limit-rate=RATE 限定下載輸率
* 目錄
  -nd --no-directories 不創建目錄
  -x, --force-directories 強制創建目錄
  -nH, --no-host-directories 不創建主機目錄
  -P, --directory-prefix=PREFIX 將文件保存到目錄PREFIX/...
       --cut-dirs=NUMBER 忽略NUMBER層遠程目錄
* HTTP 選項
       --http-user=USER 設定HTTP用戶名為USER.
       --http-passwd=PASS 設定http密碼為 PASS.
  -C, --cache=on/off 允許/不允許服務器端的數據緩存(一般情況下允許).
  -E, --html-extension 將所有text/html文檔以.html擴展名保存
       --ignore-length 忽略`Content-Length'頭域
       --header=STRING 在headers中插入字符串STRING
       --proxy-user=USER 設定代理的用戶名為USER
       --proxy-passwd=PASS 設定代理的密碼為PASS
       --referer=URL 在HTTP請求中包含`Referer: URL'頭
  -s, --save-headers 保存HTTP頭到文件
  -U, --user-agent=AGENT 設定代理的名稱為AGENT而不是Wget/VERSION.
       --no-http-keep-alive 關閉HTTP活動鏈接(永遠鏈接).
       --cookies=off 不使用 cookies.
       --load-cookies=FILE 在開始會話前從文件FILE中加載cookie
       --save-cookies=FILE 在會話結束後將cookies保存到FILE文件中
* FTP 選項
  -nr, --dont-remove-listing 不移走`.listing'文件
  -g, --glob=on/off 打開或關閉文件名的globbing機制
       --passive-ftp 使用被動傳輸模式(缺省值).
       --active-ftp 使用主動傳輸模式
       --retr-symlinks 在遞歸的時候，將鏈接指向文件(而不是目錄)
* 遞歸下載
  -r, --recursive 遞歸下載－－慎用!
  -l, --level=NUMBER 最大遞歸深度(inf 或0 代表無窮).
       --delete-after 在現在完畢後局部刪除文件
  -k, --convert-links 轉換非相對鏈接為相對鏈接
  -K, --backup-converted 在轉換文件X之前，將之備份為X.orig
  -m, --mirror 等價於-r -N -l inf -nr.
  -p, --page-requisites 下載顯示HTML文件的所有圖片
* 遞歸下載中的包含和不包含(accept/reject)
  -A, --accept=LIST 分號分隔的被接受擴展名的列表
  -R, --reject=LIST 分號分隔的不被接受的擴展名的列表
  -D, --domains=LIST 分號分隔的被接受域的列表
       --exclude-domains=LIST 分號分隔的不被接受的域的列表
       --follow-ftp 跟踪HTML文檔中的FTP鏈接
       --follow-tags=LIST 分號分隔的被跟踪的HTML標籤的列表
  -G, --ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表
  -H, --span-hosts 當遞歸時轉到外部主機
  -L, --relative 僅僅跟踪相對鏈接
  -I, --include-directories=LIST 允許目錄的列表
  -X, --exclude-directories=LIST 不被包含目錄的列表
  -np, --no-parent 不要追溯到父目錄


Wget for Windows

Download
http://gnuwin32.sourceforge.net/packages/wget.htm

Continue Reading »

Java Synchronized 筆記

Java Synchronized 筆記 最近寫程式遇到各個 Thread 之間共用資料保護的問題，做了點功課，寫下一些小筆記。
簡單介紹
Synchronized使用時，需指定一個物件，系統會Lock此物件，當程式進入Synchrnoized區塊或Method時，該物件會被Lock，直到離開Synchronized時才會被釋放。在Lock期間，鎖定同一物件的其他Synchronized區塊，會因為無法取得物件的Lock而等待。待物件Release Lock後，其他的Synchronized區塊會有一個取得該物件的Lock而可以執行。
各種用法
1. Synchronized Method

synchronized public void syncMethod() {
…
}

此種synchronized用法鎖定的物件為Method所屬的物件，只要物件被new出超過一個以上的Instance，就有可能保護不到Method內程式。但如果此物件只會被new出一個Instance，譬如new出來後就放到ServletContext，要用的時候從ServletContext中拿出來執行，就可以避免此情況。
2. Synchronized Static Method

synchronized static public void syncMethod() {
…
} 

此種synchronized用法鎖定的物件為Method所屬的物件的Class，不管被new出幾個的Instance，都能夠保證同一個時間只會有一個Thread在執行此Method。
3. Synchronized(this)

public void syncMethod() {
  synchronized(this) {
    …
  }
} 

此種synchronized用法與synchronized method用法一樣，都是鎖定Method所屬的物件本身。
4. Synchronized(SomeObject)

public void syncMethod() {
  synchronized(SomeObject) {
    …
  }
} 

此種synchronized用法鎖定的是SomeObject，如果SomeObject是同一個Class的兩個不同Instance，那synchronized區塊內就有可能被同時執行。如果每一個Synchronized的SomeObject都是同一個Instance（或者SomeObject本身就是Static），就可以保證區塊內同時間只會有一個Thread執行。

當使用Synchornized(SomeObject)時，SomeObject本身處於被Lock狀態，但此時其他的Thread是可以去更改SomeObject裡面的值，Lock只是同步化的狀態，不表示不能更改資料。
使用時機
Synchronized的使用時機很難定義，比較常見的情況是，當程式中會取出某一個共用的物件且會判斷物件內容值，再更新物件內容，此情況大部分都需要synchronized保護。

Continue Reading »

Java Class Libraries - Time (Alvin API)

#

import java.util.*;
public class Timer
{
  public static void main(String args[])
  {
// create start and end calendar objects
    Calendar sTime=Calendar.getInstance();
    Calendar eTime=Calendar.getInstance();
// now set times -- add routines to get from sio or file
// be sure to verify times are in range !!
// adjust times for early start and late finish
    sTime.set(Calendar.HOUR_OF_DAY,8);sTime.set(Calendar.MINUTE,0);
    eTime.set(Calendar.HOUR_OF_DAY,16);eTime.set(Calendar.MINUTE,0);
    long span=timeSpan(sTime,eTime);
// adjust time for lunch hour here
    long secs=span/1000;long mins=secs/60;long hours=mins/60;
    System.out.println(hours);
    System.out.println(mins);
  }
// timeSpan (calendarObject,calendarObject) returns long milliseconds
  public static long timeSpan(Calendar calStart,Calendar calEnd)
  {
    Date sTime1,eTime1;long interval,sTime2,eTime2;
    sTime1=calStart.getTime();eTime1=calEnd.getTime(); // to Date objects
    sTime2=sTime1.getTime();eTime2=eTime1.getTime(); // to long objects
    interval=eTime2-sTime2;return interval;
  }
}

Continue Reading »

Java Class Libraries - DateFormat (Alvin API)

Java Class Libraries - DateFormat

#

import java.text.*; import java.util.*;
public class DateFormat
{
  
    
    public static String getCurrencyFormat(double currency , String format){        
            String pattern = format;            
            DecimalFormat df = new DecimalFormat(pattern);  
            String s ="$ " +  df.format(currency);           
            return s;
        } 
    public static String getCurrentTime(String format){
        SimpleDateFormat sdf = new SimpleDateFormat(format);
        Date d = new Date(System.currentTimeMillis());
        String timeStamp = sdf.format(d);
        return timeStamp;
    }
    
    public static String getToday(String format){
        Calendar calendar = Calendar.getInstance();
        SimpleDateFormat dateFormat = new SimpleDateFormat(format);
        String today =null;
        try {
            today = dateFormat.format(calendar.getTime());
                                      
        } catch (Exception e) {
            e.printStackTrace();
        }
        return today;
    }
    
    public static String getdate(Timestamp d , String format){
        SimpleDateFormat dateFormat = new SimpleDateFormat(format);
        String day =null;
        try {
            day = dateFormat.format(d.getTime());
                                      
        } catch (Exception e) {
            e.printStackTrace();
        }
        return day;
    }

    public static String stringChecking( String s){
        String text = "" ;
       
            for (int i = 0; i < s.length(); i++){
                if ( s.substring(i,i+1).equals("'") )
                    text +="\\"+ s.substring(i,i+1);
                else 
                    text += s.substring(i,i+1);
                }
        return text;
    }



}

Continue Reading »