使用Python将HTML渲染为纯文本

Question

我正在尝试使用BeautifulSoup转换HTML文本块。这是一个例子：

<div>
    <p>
        Some text
        <span>more text</span>
        even more text
    </p>
    <ul>
        <li>list item</li>
        <li>yet another list item</li>
    </ul>
</div>
<p>Some other text</p>
<ul>
    <li>list item</li>
    <li>yet another list item</li>
</ul>

我尝试做类似的事情：

def parse_text(contents_string)
    Newlines = re.compile(r'[\r\n]\s+')
    bs = BeautifulSoup.BeautifulSoup(contents_string, convertEntities=BeautifulSoup.BeautifulSoup.HTML_ENTITIES)
    txt = bs.getText('\n')
    return Newlines.sub('\n', txt)

…但是那样我的span元素总是在换行符上。这当然是一个简单的例子。有没有一种方法可以在HTML页面中获取文本，就像在浏览器中呈现文本一样（不需要CSS规则，只需以常规方式显示div，span，li等元素即可）在Python中？

Answer 1

BeautifulSoup是一个抓取库，因此它可能不是进行HTML渲染的最佳选择。如果不是必须使用BeautifulSoup，则应查看html2text。例如：

import html2text
html = open("foobar.html").read()
print html2text.html2text(html)

输出：

一些文字更多文字甚至更多文字

  * 项目清单
  *另一个清单项目

其他一些文字

  * 项目清单
  *另一个清单项目