it-swarm.com.ru

Декодировать HTML-объекты в строку Python?

Я разбираю немного HTML с Beautiful Soup 3, но он содержит HTML-сущности, которые Beautiful Soup 3 автоматически не декодирует для меня:

>>> from BeautifulSoup import BeautifulSoup

>>> soup = BeautifulSoup("<p>&pound;682m</p>")
>>> text = soup.find("p").string

>>> print text
&pound;682m

Как я могу декодировать HTML-объекты в text, чтобы получить "£682m" вместо "&pound;682m".

226
jkp

Python 3.4+

HTMLParser.unescape устарела и должна была быть удалена в 3.5 , хотя и была оставлена ​​по ошибке. Это будет удалено из языка в ближайшее время. Вместо этого используйте html.unescape():

import html
print(html.unescape('&pound;682m'))

смотрите https://docs.python.org/3/library/html.html#html.unescape


Python 2.6-3.3

Вы можете использовать анализатор HTML из стандартной библиотеки:

>>> try:
...     # Python 2.6-2.7 
...     from HTMLParser import HTMLParser
... except ImportError:
...     # Python 3
...     from html.parser import HTMLParser
... 
>>> h = HTMLParser()
>>> print(h.unescape('&pound;682m'))
£682m

Смотрите http://docs.python.org/2/library/htmlparser.html

Вы также можете использовать библиотеку совместимости six для упрощения импорта:

>>> from six.moves.html_parser import HTMLParser
>>> h = HTMLParser()
>>> print(h.unescape('&pound;682m'))
£682m
445
luc

Красивый Суп обрабатывает преобразование сущности. В Beautiful Soup 3 вам необходимо указать аргумент convertEntities для конструктора BeautifulSoup (см. Раздел "Преобразование сущностей" архивных документов). В Beautiful Soup 4 сущности декодируются автоматически.

Красивый суп 3

>>> from BeautifulSoup import BeautifulSoup
>>> BeautifulSoup("<p>&pound;682m</p>", 
...               convertEntities=BeautifulSoup.HTML_ENTITIES)
<p>£682m</p>

Красивый суп 4

>>> from bs4 import BeautifulSoup
>>> BeautifulSoup("<p>&pound;682m</p>")
<html><body><p>£682m</p></body></html>
62
Ben James

Вы можете использовать replace_entities из библиотеки w3lib.html

In [202]: from w3lib.html import replace_entities

In [203]: replace_entities("&pound;682m")
Out[203]: u'\xa3682m'

In [204]: print replace_entities("&pound;682m")
£682m
13
Corvax

Beautiful Soup 4 позволяет вам установить форматер для вашего вывода

Если вы передадите formatter=None, Beautiful Soup вообще не будет изменять строки при выводе. Это самый быстрый вариант, но он может привести к созданию Beautiful Soup неверного HTML/XML, как в следующих примерах:

print(soup.prettify(formatter=None))
# <html>
#  <body>
#   <p>
#    Il a dit <<Sacré bleu!>>
#   </p>
#  </body>
# </html>

link_soup = BeautifulSoup('<a href="http://example.com/?foo=val1&bar=val2">A link</a>')
print(link_soup.a.encode(formatter=None))
# <a href="http://example.com/?foo=val1&bar=val2">A link</a>
2
LoicUV