如何完整地批量保存网页

发布网友 发布时间：2022-04-29 15:19

我来回答

共6个回答

热心网友 时间：2022-05-04 23:04

下面方法可行已测试：

Offline Explorer Pro (Enterprise也可)
安装运行，新建项目，项目-地址中填写
http://bbs.gongzhou.com/thread-97531-{:1..2301}-1.html
下面的级别*为1
其他的视频等可选择不要，只要文本，图像，其他。不改也没关系，不过是下载时间会长些。

在OE右边的内部浏览器窗口输入那个帖子页面地址，并登录一次。没有用户名的话注册一个。

运行下载，等待结束。
结束后图片其实均已下载，如果你的目的只是弄到那些图，那只要到下载目录（默认是c:\download\bbs.gongzhou.com）去把它们移出来就可以了。

如果你是一定要所有的页面在本地浏览时正常显示图片，那么再要装一个TextPipe软件。Offline Explorer在工具-数据挖掘里可以和TextPipe连动，不过也可以手动运行TextPipe。

安装TextPipe并运行。向导里下一步下一步不用改，过滤器里选择查找和替换，添加，完成。在查找里填
<img src="images/common/none.gif" file="([^\.]*).jpg"

查找类型选择
模式(Perl)

在替换里填
<img src="$1.jpg"

选择c:\download\bbs.gongzhou.com\目录下
从thread-97531-1-1.html
到thread-97531-2301-1.html
的所有html文件，拖到TextPipe的要处理文件里

按下面的开始-真正运行。
等待结束后即可。

我测试了前三页没有问题。
加了一些*排除掉些不要的文件，OE下载了1000多个文件，要是过滤*再紧一点应该可以再减少。打包发送是困难了，按他每页10张照片共1.5M来算，2千页就有3G以上了。

几点PS，不看也可
1 登陆论坛的目的是为了搞到他下载版本的1.jpg 2.jpg等等，不登陆也应该可以直接弄到帖子里贴的图
2 下载后页面不显示图是因为他帖子里贴图用的是img src=" images/common/none.gif"-这个是空的图 file=真实地址的标签，所以用替换把src改成实际地址就能显示
3 不一定要用TextPipe，随便一个支持批量操作且能用正则表达式查找替换的文本处理软件也可以。我那正则写的不好，比如.该用\.的，算了能用就行

热心网友 时间：2022-05-05 00:22

(这个例子的服务器会屏蔽连续下载请求,不适合测试)

下载可以用:
Offline Explorer Enterprise
(需要pro或者Enterprise版)

安装后运行,建立任务时第一步的任务链接栏输入下面一行:

http://bbs.gongzhou.com/thread-97531-{:1..2301|1}-1.html

其它设置基本默认就可以.(设置相当多,可以保留你需要的图片,排除不需要的东西等等.)
运行后,一般特殊的代码都被程序在html中转向到本地相对路径的目录中,可以脱机浏览(某些flash和特殊的代码仍不能支持).

这个程序,用吧,很强.
另外同类的webzip也可以.

热心网友 时间：2022-05-05 01:56

我猜想你更希望把每页保存为txt格式，并且从001.txt, 002.txt重新编号。

试试Replace Pioneer, 支持批量下载为txt文件，同时支持重命名。

首先准备一个文本文件，每行是一个以http开头的你要下载的页面地址。然后：

1. 打开Tools->Batch Runner菜单。
2. 点击Import List按钮，把准备的文件导入。
3. 如需下载为txt文件，只需双击文件列表里的任意一行，把Download As这一行从html改选为text,完成后选中右边的Apply.然后点击ok.
4. 下载的文件会被缺省的保存在c:\temp,如需修改，选择Change Output Folder,输入新目录。
5. 点击Copy/Download按钮，点击Yes即可。

如有需要，在第5步之前通过修改Set output filename对下载的文件自动重命名。比如#####.txt会把文件重命名成00001.txt的格式。

热心网友 时间：2022-05-05 03:48

http://bbs.gongzhou.com/thread-97531-1-1.html
从这个地址看，这是个bbs啊，这里边的东西恐怕都是动态网页，只是返回来html而已。不太好办。
如果是普通网页的话，它们基本都是在一个路径下，lz提到的不知道是不是网站抓取工具，即使是也不是常用的，找些个网站抓取工具吧，我以前用过几个都挺好，可惜不知怎么我再也找不到它们的名字啦…………%>_<%

热心网友 时间：2022-05-05 05:56

完整地批量保存每一页的内容还没有这个功能 至少现在没有 人工手动操作吧

热心网友 时间：2022-05-05 08:20

迅雷，新建-批量任务，地址栏前半我省略了：
...../thread-97531-(*)-1.html
下面从1到999，通配符长度1