我正在尝试使用Go库Chromedp从网页中抓取一些数据。
我基本上需要点击一个按钮,例如W3C学校网站上的“点击我”按钮。我需要使用value
HTML标记的input
HTML属性过滤该按钮(因为没有特定的目标ID,而且大多数Chromedp示例都使用基于ID属性的选择器)。
以下代码似乎永远挂在初始网页上而不点击按钮。
package main
import (
"context"
"log"
"time"
"github.com/chromedp/chromedp"
)
func main() {
var err error
// create context
ctxt, cancel := context.WithCancel(context.Background())
defer cancel()
// create chrome instance
c, err := chromedp.New(ctxt, chromedp.WithLog(log.Printf))
if err != nil {
log.Fatal(err)
}
// run task list
err = c.Run(ctxt, clickStuff())
if err != nil {
log.Fatal(err)
}
// shutdown chrome
err = c.Shutdown(ctxt)
if err != nil {
log.Fatal(err)
}
// wait for chrome to finish
err = c.Wait()
if err != nil {
log.Fatal(err)
}
log.Printf("DONE")
}
func clickStuff() chromedp.Tasks {
return chromedp.Tasks{
chromedp.Navigate(`https://www.w3schools.com/TAGS/tryit.asp?filename=tryhtml5_input_type_button`),
chromedp.Click(`input[@value='Click me']`, chromedp.NodeVisible),
chromedp.Sleep(5 * time.Second),
}
}
另外,在运行上面的代码时,我看到了各种各样的日志,但基本上我看到这个日志被反复打印,这似乎表明标签不存在,但它确实存在而且我没有知道如何找出用于选择器的语法?
2019/03/23 17:43:01 <- {"id":25,"method":"DOM.performSearch","params":{"query":"input[@value='Click me']"}}
2019/03/23 17:43:01 -> {"id":25,"result":{"searchId":"1000014442.18","resultCount":0}}
我不知道你的特定语言范例,但按钮在iframe中。通常必须切换到iframe才能访问元素,或者在css中你可以使用深度组合器。
对于给出的页面,这将是
*/deep/[value="Click me"]
快速谷歌显示css选择器查询可以通过BySearch
应用