标签 采集 下的文章

用 Xidel 提取出目标网页的数据 然后通过 REST API 发布到 WordPress 站

需求：复制指定网页上某部分的文字，然后以文章的形式发布到wordpress站，采集。

尝试：xidel 这个软件很好地自动分析文件上标签，并导出数据。将导出的数据以参数递给 curl，通过 WordPress 的 REST API 发布文章。

如：

for i in $(seq -w 1000)
do
    caijiurl=https://liujia.anqun.org/index.php/archives/${i}/
    # curl $caijiurl | iconv -f gb2312 > out.html
    wget -O out.html $caijiurl
    title=$(xidel out.html -e "(css('h1'))")
    content=$(xidel out.html -e "(css('div.post-content'))")

    curl --user "admin:apppassword" -H "Accept: application/json" -H "Content-Type: application/json" -X POST -d '{"title":"'$title'","content":"'$content'","type":"post","status":"publish","categories":[25]}' https://wp.anqun.org/wp-json/wp/v2/posts
done

参考：