Web页面文本提取相对比较复杂, 这也正是本文研究的Web页面自适应转换系统的重要技术之一。对国内外的文献进行剖析可以发现, Web页面的文本提取技术基本可以分为两类:基于DOM的Web页面文本提取技术和非基于DOM的Web页面提取技术。一般不少研究者会使用基于DOM的Web页面文本提取技术, 其技术进步比较成熟。
Web页面的标签和标签之间、标签和内容之间都存在着层次关系, DOM树是描述Web页面结构的常用办法, DOM树的叶子节点一般就是要提取的文本信息。因此, 通过肯定的算法对Web页面的DOM树进行遍历, 进行相应的筛查降噪处置之后, 可以得到目的的文本内容。
在实质的应用过程中, 借助Web页面分析工具进行页面分析, 并修正其中不规范的地方, 构建Web页面的DOM树并进行递归遍历, 辨别其中的非主要文本信息, 譬如广告、图像等内容, 将噪声节点移除即得到文本信息。
