[FZH] 用什么下载工具能实现批量下载呢？

[Merlin Web]

我想下载一个网站上连续页面上的图片，

1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm；
2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
3.
每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是http://www.aaa.com/logo.jpg，怎么排除这些链接？
4.
保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要保存的图片是100.jpg。

[Jian Lee]

当任务“复杂”后，可以不在一个程序里面实现。

1. 可以这样下载

i=0;  while test $i -le 100; do wget http://www.aaa.com/$i.htm; let "i=i+1"; 
done

其他类似


在 2010年11月5日 星期五 02:45:02，Merlin Web 写道：
>  我想下载一个网站上连续页面上的图片，
>  
>  1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm；
>  2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
>  3. 每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是
http://www.aaa.com/logo.jpg，怎么排除这些链接？
>  4.
> 保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要
保存的图片是100.jpg。
>  _______________________________________________
>  Chinese mailing list
>  Chinese at lists.fedoraproject.org
>  https://admin.fedoraproject.org/mailman/listinfo/chinese
>

[Devil Wang]

*wget直接将整个web都拿下来。*
*
*
*搞那么复杂干嘛。
*
2010/11/5 Jian Lee <lijian.gnu(a)gmail.com&gt;

>  当任务“复杂”后，可以不在一个程序里面实现。
>
>  1. 可以这样下载
>
>  i=0;  while test $i -le 100; do wget http://www.aaa.com/$i.htm; let
>  "i=i+1";
>  done
>
>  其他类似
>
>
>  在 2010年11月5日 星期五 02:45:02，Merlin Web 写道：
>  > 我想下载一个网站上连续页面上的图片，
>  >
>  > 1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm；
>  > 2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
>  > 3. 每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是
>  http://www.aaa.com/logo.jpg，怎么排除这些链接？
>  > 4.
>  保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要
>  保存的图片是100.jpg。
>  > _______________________________________________
>  > Chinese mailing list
>  > Chinese at lists.fedoraproject.org
>  > https://admin.fedoraproject.org/mailman/listinfo/chinese
>  >
>  _______________________________________________
>  Chinese mailing list
>  Chinese at lists.fedoraproject.org
>  https://admin.fedoraproject.org/mailman/listinfo/chinese
>  


-- 

**
*

Best Regards,

Devil Wang

*

[xie yunpeng]

写个脚本吧

[FZH] 回覆： Re: 用什么下载工具能实现批量下载呢？

[woohaha]

用Fx的scrapbook抓下来后再把图片拣出来就行了

-�--------------------------------------
所有�物生�平等，但有些�物比其他�物更平等
------------------------------------------

2010-11-5 下午1:09在 "xie yunpeng" <woqimingweipeng(a)gmail.com&gt; 提到：

写个脚本吧

_______________________________________________
Chinese mailing list
Chinese at lists.fedoraproject....

[CyrusYzGTt]

于 2010年11月05日 02:45, Merlin Web 写道:
>  我想下载一个网站上连续页面上的图片，
>
>  1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm；
>  2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
>  3.
> 每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是http://www.aaa.com/logo.jpg，怎么排除这些链接？
>  4.
> 保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要保存的图片是100.jpg。
>  _______________________________________________ 
wget -l0 -p --reject=log.jpg
http://www.aaa.com/

[Merlin Web]

实际上我是想下载人民教育出版社网站上的一些书籍，比如初中《生物》课本（http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/）

1.
它的页面链接是连续的，第一页的链接是：http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_83141.htm，最后一页（122页）的链接是：http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_83262.htm
2. 只需要页面的图片
我参照前面朋友的指点写了一个脚本

#begin
i=83141
while test $i -le 83262
do
	wget -r -np -nd -A jpg -p
"http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_$i.htm"
	let "i=i+1"
done
#end

能把我需要的图片都下载下来，但是还没能实现批量改名。因为wget中我使用了-A
jpg选项，所以不知道如何更好的使用-O选项来改名。我想生成的图片名字是p001，p002，……p112。

BTW，CyrusYzGTt <cyrusyzgtt(a)gmail.xn--com&gt;wget-618qu5fpyrcxshy1cwp1dto4e -p选项帮助我解决了几个问题，thanks。

2010/11/5 CyrusYzGTt <cyrusyzgtt(a)gmail.com&gt;:
>  于 2010年11月05日 02:45, Merlin Web 写道:
> > 我想下载一个网站上连续页面上的图片，
> >
> > 1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm；
> > 2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
> > 3.
> 每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是http://www.aaa.com/logo.jpg，怎么排除这些链接？
> > 4.
> 保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要保存的图片是100.jpg。
> > _______________________________________________
>  wget -l0 -p --reject=log.jpg http://www.aaa.com/
>  _______________________________________________
>  Chinese mailing list
>  Chinese at lists.fedoraproject.org
>  https://admin.fedoraproject.org/mailman/listinfo/chinese
>

[刘红丹]

提供一个思路：
利用ls找出当前最新下载的图片，然后利用$i来重命名，应该可行

在 2010年11月5日 下午11:27，Merlin Web <merlin.web(a)gmail.xn--com&gt;:-0s6m5392c

>  实际上我是想下载人民教育出版社网站上的一些书籍，比如初中《生物》课本（
>  http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/）
>
>  1. 它的页面链接是连续的，第一页的链接是：
>  http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_83141.htm
>  ，最后一页（122页）的链接是：
>  http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_83262.htm
>  2. 只需要页面的图片
>  我参照前面朋友的指点写了一个脚本
>
>  #begin
>  i=83141
>  while test $i -le 83262
>  do
>         wget -r -np -nd -A jpg -p
>  "http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_$i.htm"
>          let "i=i+1"
>  done
>  #end
>
>  能把我需要的图片都下载下来，但是还没能实现批量改名。因为wget中我使用了-A
>  jpg选项，所以不知道如何更好的使用-O选项来改名。我想生成的图片名字是p001，p002，……p112。
>
>  BTW，CyrusYzGTt <cyrusyzgtt(a)gmail.xn--com&gt;wget-618qu5fpyrcxshy1cwp1dto4e -p选项帮助我解决了几个问题，thanks。
>
>  2010/11/5 CyrusYzGTt <cyrusyzgtt(a)gmail.com&gt;:
>  > 于 2010年11月05日 02:45, Merlin Web 写道:
>  >> 我想下载一个网站上连续页面上的图片，
>  >>
>  >> 1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm
>  ；
>  >> 2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
>  >> 3. 每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是
>  http://www.aaa.com/logo.jpg，怎么排除这些链接？
>  >> 4.
>  保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要保存的图片是100.jpg。
>  >> _______________________________________________
>  > wget -l0 -p --reject=log.jpg http://www.aaa.com/
>  > _______________________________________________
>  > Chinese mailing list
>  > Chinese at lists.fedoraproject.org
>  > https://admin.fedoraproject.org/mailman/listinfo/chinese
>  >
>  _______________________________________________
>  Chinese mailing list
>  Chinese at lists.fedoraproject.org
>  https://admin.fedoraproject.org/mailman/listinfo/chinese
>  


-- 
刘红丹
http://liuhongdan.com/

[Caius 'kaio' Chance]

也看量有多少，量不多的話手動可能還比較快，當然要學 script 的人例外。 ;)

-- 
Caius 'kaio' Chance
Fedora Ambassador + Design Contributor
[IRC] kaio @ freenode | [Twitter] @K410 | [Blog] kaio.net

[Merlin Web]

Hehe right. 有需求恰好也学学script.

On Saturday, November 6, 2010, Caius 'kaio' Chance
<kaio(a)fedoraproject.org&gt; wrote:
>  也看量有多少，量不多的話手動可能還比較快，當然要學 script 的人例外。 ;)
>
>  --
>  Caius 'kaio' Chance
>  Fedora Ambassador + Design Contributor
>  [IRC] kaio @ freenode | [Twitter] @K410 | [Blog] kaio.net
>  _______________________________________________
>  Chinese mailing list
>  Chinese at lists.fedoraproject.org
>  https://admin.fedoraproject.org/mailman/listinfo/chinese
>

[Kevin]

于 2010年11月05日 23:27, Merlin Web 写道:
> 实际上我是想下载人民教育出版社网站上的一些书籍，比如初中《生物》课本（http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/）
>  
可以试一下 Firefox 下的 downthemall 插件：
1.在网页上右键进入DownThemAll后，选择需要到链接，也可以点开“快速过滤器” 
输入特征字符，如“t20040407“
2.Firefox--工具--DownThemAll --管理器--添加链接，其中支持支持批量下载， 
可以适用连续到网页。
>  1.
> 它的页面链接是连续的，第一页的链接是：http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_83141.htm，最后一页（122页）的链接是：http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_83262.htm
>  2. 只需要页面的图片
>  我参照前面朋友的指点写了一个脚本
>
>  #begin
>  i=83141
>  while test $i -le 83262
>  do
>  	wget -r -np -nd -A jpg -p
>  "http://www.pep.com.cn/czsw/jshzhx/qnxc/dzkb/200404/t20040407_$i.htm"
>  	let "i=i+1"
>  done
>  #end
>
>  能把我需要的图片都下载下来，但是还没能实现批量改名。因为wget中我使用了-A
>  jpg选项，所以不知道如何更好的使用-O选项来改名。我想生成的图片名字是p001，p002，……p112。
>
>  BTW，CyrusYzGTt<cyrusyzgtt(a)gmail.xn--com>wget-618qu5fpyrcxshy1cwp1dto4e -p选项帮助我解决了几个问题，thanks。
>
>  2010/11/5 CyrusYzGTt<cyrusyzgtt(a)gmail.com>:
> > 于 2010年11月05日 02:45, Merlin Web 写道:
> >> 我想下载一个网站上连续页面上的图片，
> >>
> >> 1. 页面的链接有规律，比如http://www.aaa.com/001.htm，... http://www.aaa.com/100.htm；
> >> 2. 每个页面（001.htm，002.htm，……，100.htm）上的图片链接规律性不强；
> >> 3.
> 每个页面只需要保存一个需要的图片，页面上也有一些不需要的图片，但是都是固定链接，比如每个页面有“图片A”，它的链接是http://www.aaa.com/logo.jpg，怎么排除这些链接？
> >> 4.
> 保存的图片文件能不能连续排号，比如001.htm的图片（已经排除掉条件3中的不需要的图片），保存后的图片是001.jpg，以此，100.htm需要保存的图片是100.jpg。
> >> _______________________________________________
> > wget -l0 -p --reject=log.jpg http://www.aaa.com/
> > _______________________________________________
> > Chinese mailing list
> > Chinese at lists.fedoraproject.org
> > https://admin.fedoraproject.org/mailman/listinfo/chinese
> >
>  _______________________________________________
>  Chinese mailing list
>  Chinese at lists.fedoraproject.org
>  https://admin.fedoraproject.org/mailman/listinfo/chinese

[Caius 'kaio' Chance]

2010/11/8 Kevin <wkevin27(a)gmail.com&gt;

>  可以試一下 Firefox 下的 downthemall 插件：
>  1.在網頁上右鍵進入DownThemAll後，選擇需要到鏈接，也可以點開「快速過濾器」
>  輸入特徵字符，如「t20040407「
>  2.Firefox--工具--DownThemAll --管理器--添加鏈接，其中支持支持批量下載，
>  可以適用連續到網頁。
>
>  
我也是用 dta 插件的.



-- 
Caius 'kaio' Chance
Fedora Project Contributor - http://fedoraproject.org/wiki/User:Kaio
[IRC] kaio @ freenode | [Twitter] @K410 | [Blog] kaio.net