如何使用请求和 buetifulsoup 抓取 javascript 元素

Question

如何抓取元素 (series: ~~~~ until ~~~~ data: [[90, 63000],[91, 68000]]}] 并将其转换为 dict 或 list 类型？这是网站中的javascript：<script type="text/javascript">                    var chart;            var screenWidth = window.innerWidth * 0.935 * 1;                $(document).ready(function() {                                                        series: [{                                        name: 'Water',                    data: [[90, 50000],[91, 53000]]                  },{                                        name: 'Tea',                    data: [[90, 47000],[91, 53000]]                  },{                                        name: 'Tonic',                    data: [[90, 63000],[91, 68000]]                  }]                });                                            });                        </script>这是我的错误python代码：    s=requests.get(url,params = data,headers)    data= BeautifulSoup(s.text,'lxml')    jsons= data.find_all('script')[1].text    datas= jsons.find('series:')    last= jsons.find(']]')    new=''    for x in range(datas+6,last+2):        new+=jsons[x]    newdata = eval(new)

Answer 1

问题是数据不是 json，它是一个 javascript 对象。即使您选择 json 并应用json.loads它也会失败。因此，您将需要可以将 javascript 对象转换为 json 的第 3 方库。

我使用demjson- 

from bs4 import BeautifulSoup

import demjson

html = """<script type="text/javascript">

        

            var chart;

            var screenWidth = window.innerWidth * 0.935 * 1;    

            $(document).ready(function() {

                                    

                    series: [{

                    

                    name: 'Water',

                    data: [[90, 50000],[91, 53000]]

                  },{

                    

                    name: 'Tea',

                    data: [[90, 47000],[91, 53000]]

                  },{

                    

                    name: 'Tonic',

                    data: [[90, 63000],[91, 68000]]

                  }]

                });

                

                

            });

                

        </script>"""

script = soup.find("script").text.strip()

data = demjson.decode(script[script.index("{"):script.index("});")] + "}")

print(type(data))

print("-" * 10)

print(data)

输出：

<class 'dict'>

----------

{'series': [{'name': 'Water', 'data': [[90, 50000], [91, 53000]]}, {'name': 'Tea', 'data': [[90, 47000], [91, 53000]]}, {'name': 'Tonic', 'data': [[90, 63000], [91, 68000]]}]}