beautifulsoup 相关问题

用 Beautiful Soup 刮取多个页面 - 仅显示最后一页

我和我的朋友每年都会进行国际足联选秀，我一直在寻找一种快速更新球员信息的方法。 我想要的是从不同页面的玩家那里抓取一些信息。这些页面是： ...

Beautiful Soup 使用 Python 3 抓取多个 URL

下面的代码工作正常，但我需要抓取多个网址，而且我不知道如何...... 如果可以的话，从 CSV 文件中抓取 url 也很好... 基本上我正在尝试重定向...

使用 selenium 和 beautifulsoup 进行网页抓取的问题

我正在为我的大学项目创建一个价格比较网站。我试图从这个网站打印商品和价格 https://www.lotuss.com.my/en/category/fresh-product?sort=relevance:DESC 但是...

如何使用 python 进行网页抓取和访问 <script> bs4

我正在尝试从“https://www.deadstock.ca/products/adidas-futurepacer-grey-one”中抓取数据 我希望能够读取如下所示的变体数据： 窗户。</desc> <question vote="0"> <p>我正在尝试从“<a href="https://www.deadstock.ca/products/adidas-futurepacer-grey-one" rel="nofollow noreferrer">https://www.deadstock.ca/products/adidas-futurepacer-grey-one</a>”中抓取数据</p> <p>我希望能够读取如下所示的变体数据：</p> <pre><code>&lt;script&gt; window.ShopifyAnalytics = window.ShopifyAnalytics || {}; window.ShopifyAnalytics.meta = window.ShopifyAnalytics.meta || {}; window.ShopifyAnalytics.meta.currency = &#39;CAD&#39;; var meta = {&#34;product&#34;:{&#34;id&#34;:223724142613,&#34;vendor&#34;:&#34;Adidas&#34;,&#34;type&#34;:&#34;Footwear - QS&#34;,&#34;variants&#34;:[{&#34;id&#34;:3063231774741,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 8&#34;,&#34;public_title&#34;:&#34;8&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-8&#34;}, {&#34;id&#34;:3063231807509,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 8.5&#34;,&#34;public_title&#34;:&#34;8.5&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-8.5&#34;}, {&#34;id&#34;:3063231840277,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 9&#34;,&#34;public_title&#34;:&#34;9&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-9&#34;}, {&#34;id&#34;:3063231873045,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 9.5&#34;,&#34;public_title&#34;:&#34;9.5&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-9.5&#34;}, {&#34;id&#34;:3063231905813,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 10&#34;,&#34;public_title&#34;:&#34;10&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-10&#34;}, {&#34;id&#34;:3063231938581,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 10.5&#34;,&#34;public_title&#34;:&#34;10.5&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-10.5&#34;}, {&#34;id&#34;:3063231971349,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 11&#34;,&#34;public_title&#34;:&#34;11&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-11&#34;}, {&#34;id&#34;:3063232004117,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 12&#34;,&#34;public_title&#34;:&#34;12&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-12&#34;}, {&#34;id&#34;:3063232036885,&#34;price&#34;:26000,&#34;name&#34;:&#34;adidas Futurepacer \/ Grey One - 13&#34;,&#34;public_title&#34;:&#34;13&#34;,&#34;sku&#34;:&#34;AQ0907-Grey One-13&#34;}]},&#34;page&#34;: {&#34;pageType&#34;:&#34;product&#34;,&#34;resourceType&#34;:&#34;product&#34;,&#34;resourceId&#34;:223724142613}}; for (var attr in meta) { window.ShopifyAnalytics.meta[attr] = meta[attr]; } &lt;/script&gt; </code></pre> <p>我认为我的目标不正确。我希望代码能够打印所有“id”：数字。到目前为止，这是我的代码，我对 bs4 还很陌生，但任何帮助将不胜感激。谢谢</p> <pre><code>import bs4 as bs import urllib.request import lxml link = urllib.request.urlopen (&#39;https://www.deadstock.ca/products/adidas-futurepacer-grey-one&#39;).read() soup = bs.BeautifulSoup(link,&#39;lxml&#39;) for variants in soup.find_all(&#39;script&#39;): print (variants) </code></pre> <p>我在@Andrej Kesely 的回答上尝试了类似的方法。</p> <pre><code>for id in data[&#39;variants&#39;]: size = id[&#39;variants&#39;][&#39;option1&#39;] variantid = id[&#39;variants&#39;][&#39;id&#39;] print (size) print (variantid) </code></pre> <p>它回来时有一个键错误，我只是想让它显示所有 ID </p> </question> <answer tick="true" vote="0"> <p>对于此网站，您需要使用 <pre><code>id=&#34;ProductJson-product-template&#34;</code></pre> 进行定位。它包含具有所有变体的 JSON：</p> <pre><code>import bs4 as bs import urllib.request import json link = urllib.request.urlopen(&#39;https://www.deadstock.ca/products/adidas-futurepacer-grey-one&#39;).read() soup = bs.BeautifulSoup(link,&#39;lxml&#39;) variant = soup.find(&#39;script&#39;, id=&#39;ProductJson-product-template&#39;) data = json.loads(variant.text) print(json.dumps(data, indent=4, sort_keys=True)) </code></pre> <p>打印：</p> <pre><code>{ &#34;available&#34;: true, &#34;compare_at_price&#34;: null, &#34;compare_at_price_max&#34;: 0, &#34;compare_at_price_min&#34;: 0, &#34;compare_at_price_varies&#34;: false, &#34;content&#34;: &#34;&lt;p&gt;adidas digs into its vault to redesign the 1984 Micropacer, a computerized shoe that was designed to track running statistics. Today, the adidas Futurepacer takes cues from the Micropacer, and the more recent NMD collection, to deliver a futuristic lifestyle runner. Featuring a premium leather upper, complete with a modernized lace cover, the adidas Futurepacer sits on a Boost midsole for lightweight cushioning and responsiveness. NMD inspired bumpers are found at the heel and forefoot for added style and stability.&lt;/p&gt;\n&lt;ul&gt;\n&lt;li&gt;Premium leather upper&lt;/li&gt;\n&lt;li&gt;Premium leather lace cover&lt;/li&gt;\n&lt;li&gt;Subtle adidas branding&lt;/li&gt;\n&lt;li&gt;Boost midsole&lt;/li&gt;\n&lt;li&gt;adidas midsole plugs&lt;/li&gt;\n&lt;li&gt;Grey One&lt;/li&gt;\n&lt;/ul&gt;\n&lt;p&gt;Product Code: AQ0907&lt;/p&gt;&#34;, &#34;created_at&#34;: &#34;2018-03-05T14:23:57-08:00&#34;, &#34;description&#34;: &#34;&lt;p&gt;adidas digs into its vault to redesign the 1984 Micropacer, a computerized shoe that was designed to track running statistics. Today, the adidas Futurepacer takes cues from the Micropacer, and the more recent NMD collection, to deliver a futuristic lifestyle runner. Featuring a premium leather upper, complete with a modernized lace cover, the adidas Futurepacer sits on a Boost midsole for lightweight cushioning and responsiveness. NMD inspired bumpers are found at the heel and forefoot for added style and stability.&lt;/p&gt;\n&lt;ul&gt;\n&lt;li&gt;Premium leather upper&lt;/li&gt;\n&lt;li&gt;Premium leather lace cover&lt;/li&gt;\n&lt;li&gt;Subtle adidas branding&lt;/li&gt;\n&lt;li&gt;Boost midsole&lt;/li&gt;\n&lt;li&gt;adidas midsole plugs&lt;/li&gt;\n&lt;li&gt;Grey One&lt;/li&gt;\n&lt;/ul&gt;\n&lt;p&gt;Product Code: AQ0907&lt;/p&gt;&#34;, &#34;featured_image&#34;: &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one.jpg?v=1530313621&#34;, &#34;handle&#34;: &#34;adidas-futurepacer-grey-one&#34;, &#34;id&#34;: 223724142613, &#34;images&#34;: [ &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one.jpg?v=1530313621&#34;, &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one_1.jpg?v=1531247436&#34;, &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one_2.jpg?v=1531247441&#34;, &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one_3.jpg?v=1531247444&#34;, &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one_4.jpg?v=1531247447&#34;, &#34;//cdn.shopify.com/s/files/1/0616/3517/products/aq0907_adidas_futurepacer_grey_one_5.jpg?v=1531247449&#34; ], &#34;options&#34;: [ &#34;US Size&#34; ], &#34;price&#34;: 26000, &#34;price_max&#34;: 26000, &#34;price_min&#34;: 26000, &#34;price_varies&#34;: false, &#34;published_at&#34;: &#34;2018-07-14T12:00:00-07:00&#34;, &#34;tags&#34;: [ &#34;07142018&#34;, &#34;cf-type-footwear-qs&#34;, &#34;cf-us-size-10&#34;, &#34;cf-us-size-10-5&#34;, &#34;cf-us-size-11&#34;, &#34;cf-us-size-12&#34;, &#34;cf-us-size-13&#34;, &#34;cf-us-size-8&#34;, &#34;cf-us-size-8-5&#34;, &#34;cf-us-size-9&#34;, &#34;cf-us-size-9-5&#34;, &#34;cf-vendor-adidas&#34;, &#34;free_shipping&#34;, &#34;limit-quantity&#34;, &#34;plsmerch&#34; ], &#34;title&#34;: &#34;adidas Futurepacer / Grey One&#34;, &#34;type&#34;: &#34;Footwear - QS&#34;, &#34;variants&#34;: [ { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061142&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231774741, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 3, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 8&#34;, &#34;option1&#34;: &#34;8&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;8&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;8&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-8&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;8&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061159&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231807509, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 2, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 8.5&#34;, &#34;option1&#34;: &#34;8.5&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;8.5&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;8.5&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-8.5&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;8.5&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061166&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231840277, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 6, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 9&#34;, &#34;option1&#34;: &#34;9&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;9&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;9&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-9&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;9&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061173&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231873045, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 5, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 9.5&#34;, &#34;option1&#34;: &#34;9.5&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;9.5&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;9.5&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-9.5&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;9.5&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061180&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231905813, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 6, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 10&#34;, &#34;option1&#34;: &#34;10&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;10&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;10&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-10&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;10&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061197&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231938581, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 6, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 10.5&#34;, &#34;option1&#34;: &#34;10.5&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;10.5&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;10.5&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-10.5&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;10.5&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061203&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063231971349, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 1, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 11&#34;, &#34;option1&#34;: &#34;11&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;11&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;11&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-11&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;11&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061210&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063232004117, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 4, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 12&#34;, &#34;option1&#34;: &#34;12&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;12&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;12&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-12&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;12&#34;, &#34;weight&#34;: 0 }, { &#34;available&#34;: true, &#34;barcode&#34;: &#34;193050061227&#34;, &#34;compare_at_price&#34;: null, &#34;featured_image&#34;: null, &#34;id&#34;: 3063232036885, &#34;inventory_management&#34;: &#34;shopify&#34;, &#34;inventory_policy&#34;: &#34;deny&#34;, &#34;inventory_quantity&#34;: 1, &#34;name&#34;: &#34;adidas Futurepacer / Grey One - 13&#34;, &#34;option1&#34;: &#34;13&#34;, &#34;option2&#34;: null, &#34;option3&#34;: null, &#34;options&#34;: [ &#34;13&#34; ], &#34;price&#34;: 26000, &#34;public_title&#34;: &#34;13&#34;, &#34;requires_shipping&#34;: true, &#34;sku&#34;: &#34;AQ0907-Grey One-13&#34;, &#34;taxable&#34;: true, &#34;title&#34;: &#34;13&#34;, &#34;weight&#34;: 0 } ], &#34;vendor&#34;: &#34;Adidas&#34; } </code></pre> </answer> </body></html>

同一页面不能刮两次

我正在尝试抓取该网站 https://www.realtor.com/realestateandhomes-search/28083 这是我到目前为止写的代码 类客户端（QWebPage）： def __init__(自身, url): 自我.a...

Python Beautiful Soup 未加载表值

我是美丽汤的新手，不确定如何从该网站为每个州（新南威尔士州、维多利亚州、昆士兰州、南澳大利亚州）添加“解决”栏： https://www.asxenergy.com.au/

多找美汤

我有一个这样的项目列表：（项目列表的数量可能会有所不同） 我的标题 http://myurl.com 文字 我有一个这样的项目列表：（项目列表的数量可能会有所不同） <h3>My title</h3> <a href="http://myurl.com">http://myurl.com</a> <span class="t">text</span> <h3>My title</h3> <a href="http://myurl.com">http://myurl.com</a> <span class="t">text</span> ... 如何通过美丽的汤获得所有这些数据，以便我可以将所有这些数据放在一个列表中以获得如下结果： [{'title': h3, 'url': url, 'title': title}, {'title': h3, 'url': url, 'title': title}, ...] ? 谢谢你 您可以像这样迭代 HTML 内容（假设您的数据保存在 html_data 中）： import bs4 soup = BeautifulSoup(html_data) my_list = [] for i in range(len(soup.body.contents), step=3): my_list.append({'title1': soup.body.contents[i], 'url': soup.body.contents[i+1], 'title2': soup.body.contents[i+2]}) 这当然仅在您的数据位于同一级别并且不以任何方式嵌套的前提下才有效。如果不是，那么您应该发布测试数据的有效块及其结构。

BeautifulSoup：获取特定标签的标签文本

我想获取 HTML 页面上所有显示的文本，直到点击某个标签。例如，我想获取页面上所有显示的文本，直到 ID 为“end_con...

用python 3抓取Json

以下是脚本： 从 bs4 导入 BeautifulSoup as bs4 导入请求 导入 json 从 lxml 导入 html 从 pprint 导入 pprint 进口再 def get_data(): url = 'https://sports.bovada.lv//

Python：当条件发生时停止循环

我尝试通过更改网址中的公里数来从网站上抓取数据。但问题是，每辆车都有其最大公里数，在本例中假设为 900 公里。因为我不知道它的最大值，所以我只是看...

在Python中抓取“下一页”

我正在尝试抓取网页的下一页。总共有20页。我想使用第一页的网址来抓取下一页。 代码： b=[] url =“https://abcde.com/cate6-%E7%BE%8E%E5%A6%9D%E...

无法使用 BeautifulSoup 抓取表格

从下面的代码：我只得到了1行数据 url = 'http://investmentmoats.com/DividendScreener/DividendScreener.php' res = requests.get(url) 汤 = BeautifulSoup(res.content,'lxml') t...

在Python中使用循环抓取多个页面

我成功地抓取了网站的第一页，但是当我尝试抓取多个页面时，它起作用了，但结果完全错误。 代码： 导入请求 从 bs4 导入 BeautifulSoup 来自

如何从 Quizlet 抽认卡中抓取答案？ BS4 和要求

以此页面为例： https://quizlet.com/229413256/chapter-6-configuring-networking-flash-cards/ 假设一个人如何从抽认卡后面刮掉文字答案？隐藏了...

有没有办法使用BeautifulSoup从网页中提取CSS？

我正在做一个项目，需要我查看网页，但要进一步使用HTML，我必须完整地查看它，而不是一堆与图片混合的线条。有没有办法解析 CSS

在Python中使用BeautifulSoup，如何将数据分隔到下一个<h3>标签？

问题有点令人困惑，但我希望下面的例子能够澄清事情。 我尝试从页面中的一个（也是唯一的） 标签中抓取数据。 问题1：该div中的所有数据都放入... 问题有点令人困惑，但我希望下面的例子能够澄清事情。 我尝试从页面中的一个（且唯一）<div> 标签中抓取数据。 问题1：该div中的所有数据都放在一起，仅通过<h3>标签分隔。 问题2：<p>标签之后的<h3>标签数量可变，并且h3标签可以是Title1或Title2。 我如何解析该 div 元素并将所有数据拆分为某种数组/字典结构，该结构仅包含 h3 标签和所有 p 标签，直到下一个 h3 标签 ？ 图片说明了一切。 到目前为止我的代码（可以工作并抓取数据）： links = soup.find('div', class_='DIV I WANT') for p in links.find_all(['p', 'h3']): print p.text.strip() 编辑： 添加了完整的 html。是的，确实是这样写的。数据明显略有变化： <div class="table"> <p> List of actors. </p> <p> date 25.09.2017 </p> <h3> Actor </h3> <p> Office <br> Address 1 8, 100 City 15 <br> Address 2 250, 200 City 15 </p> <p> 08h00-12h30 13h15-16h45&lt;br&gt;08h00-12h30 13h00-15h00 </p> <p> <a href="http://www.example.com" target="_blank" title="Actors" class="fonticon">www.example.com<span data-icon="l"></span></a> </p> <p> [email protected] <br> </p> <p> 012/123 45 67 <br> </p> <p> telefax 123/123 45 67 </p> <h3> Actress </h3> <p> Personal address <br> Address 7, 20 City 2 <br> Address 5, 30 City 2 </p> <p> 8h15-12h30 13h30-16h30(lu-ma-je)16h45 me&lt;br&gt;8h15-12h30 </p> <p> <a href="http://www.example.com" target="_blank" title="Actress" class="fonticon">www.example.com<span data-icon="l"></span></a> </p> <p> [email protected] <br> </p> <p> 023/999 99 99 <br> 023/999 99 88 phone1 <br> 023/999 99 77 phone2 <br> </p> <p> telefax 001/333 44 55&lt;br&gt;telefax 001/000 00 10 ppts </p> <h3> Actor </h3> 使用 select 选择所有 h3 标签，并使用 .next_siblings 迭代并添加每个元素的文本，直到找到下一个 h3 标签 data = [] titles = soup.select('.table h3') for title in titles: if('Title1' or 'Title2' in title: item = {"title":title.get_text(),"description":""} for sibling in title.next_siblings: #stop when you reach the next tag if(sibling.name == "h3"): break; try: item['description'] += sibling.get_text() except: pass data.append(item) print(data)

Python 3.5 不与 BeautifulSoup 和变量合作

我正在尝试编写一个程序来检查YouTube视频是否属于音乐类别。我已经写了一些代码，但它几乎就像 Python 对我“撒谎”一样。这是代码 ...

用python抓取点击时出现的表格

我想从此页面抓取信息。 具体来说，我想抓取当您单击“TOP 10 HOLDINGS”下的“查看全部”时出现的表格（您必须在页面上向下滚动一点......

获取两个不同标签之间的所有字符串

我正在尝试整理我与人们的对话的聊天记录。我希望能够按名称、时间和文本将其分解。 因为我正在进行的对话并不顺利......

如何使用 bs4 在 phyton 中传递表情符号抓取文本

我正在创建一个抓取器，用于抓取 URL 页面中的所有评论，并将文本保存在 txt 文件中（1 条评论 = 1 txt）。 现在，当com文本中有一些表情符号时，我遇到了问题......