这篇文章主要介绍了python如何爬取抖音用户详细数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
首先在搭建好的环境中通过Fiddle抓取用户数据包。<br/><br/>
请求头字段 | 字段 | 字段值 | | --- | --- | | 请求方法 | GET | | 请求的api | GET后面的 | | 请求的协议 | api后面的,系http1.1 | | 请求的目的主机域名 | aweme-eagle.snssdk.com | | 连接信息 | keep-alive | | Cookie | 你自己的cookies | | Accept-Encoding 编码信息 | gzip | | X-SS-QUERIES | 请求的query | | token | 你自己的token | | sdk版本 | 1 | | User-Agent | 用户代理 | | X-Khronos | 咱也不知道是啥,但是本质上就是个时间戳 | | X-Gorgon | 加密验证的部分 | | X-Pods | 咱也不知道是啥,但是貌似没有用 |
请求的api分析
<br/>我们知道了请求的api以及请求头里面都包含了哪些信息,我们就可以通过手动构造对应的请求参数来爬取用户的数据了。我已经在前面的文章获取到了1W+ 的用户的uid以及sec_user_id的数据了,然后我们就可以通过这些数据来爬取用户的详细数据。
<br/><br/><br/>
在文章《抖音爬虫教程,从0到1,获取抖音用户数据》 我们已经介绍了爬取抖音关注列表的api及其构造方法,其实获取用户详细信息和获取用户的关注列表的api基本一致,主要都是需要我们自行填充用户的user_id以及用户的sec_user_id还有一大堆的时间戳信息,其他的信息都是不变的。下面我们构造获取用户详细信息的api<br/>
def construct_api(user_id, _rticket, ts, sec_user_id): """ api 构造函数 :param user_id: 用户的id :param _rticket: 时间戳 :param ts: 时间戳 :param sec_user_id: 用户的加密的id :return: api """ api = "https://aweme-eagle.snssdk.com" \ "/aweme/v1/user/?" \ "user_id={}" \ "&retry_type=no_retry" \ "&iid=1846815477740845" \ "&device_id=47012747444" \ "&ac=wifi&channel=wandoujia_aweme1" \ "&aid=1128&app_name=aweme" \ "&version_code=630" \ "&version_name=6.3.0" \ "&device_platform=android" \ "&ssmix=a&device_type=HUAWEI+NXT-AL10" \ "&device_brand=HUAWEI&language=zh" \ "&os_api=26&os_version=8.0.0" \ "&openudid=b202a24eb8c1538a" \ "&manifest_version_code=630" \ "&resolution=1080*1812" \ "&dpi=480&update_version_code=6302" \ "&_rticket={}" \ "&js_sdk_version=1.16.3.5" \ "&ts={}" \ "&sec_user_id={}" \ "".format(user_id, _rticket, ts, sec_user_id) return api
上文我们已经分析了请求头,请求头的构造也比较方便,大部分内容都是固定的,需要我们填充的主要还是几个时间戳以及对应的X-Gorgon,其中X-Gorgon的构造方法比较复杂,但是要注意填入正确的Cookie和Token你才能获得可用的X-Gorgon,否则你的Gorgon就是不可用的。下图是请求头里面的主要信息:<br/><br/>下面我写了一个构造请求头的函数:
def construct_header(user_id, sec_user_id, cookie, query, token, user_agent, _rticket, ts): """ 构造请求头,需要传入的参数如下 :param user_id: 要爬取的用户的uid :param sec_user_id: 要爬取的用户的加密的id :param cookie: cookie :param query: 请求的query :param token: 你的token :param user_agent: 请求的user_agent :param _rticket: 时间戳(毫秒级) :param ts: 时间戳(秒级) :return: 构造好的请求头:headers """ api = construct_api(user_id, _rticket, ts, sec_user_id) headers = { "Host": "aweme-eagle.snssdk.com", "Connection": "keep-alive", "Cookie": cookie, "Accept-Encoding": "gzip", "X-SS-QUERIES": query, "X-SS-REQ-TICKET": _rticket, "X-Tt-Token": token, "sdk-version": "1", "User-Agent": user_agent } x_gorgon = get_gorgon(api, cookie, token, query) headers["X-Khronos"] = ts headers["X-Gorgon"] = x_gorgon print(headers) return headers def get_gorgon(url, cookies, token, query): """ 获取headers里面的X-Gorgon :param url: 请求的api :param cookies: 你的cookie :param token: 你的token :param query: 你的query :return: gorgon """ # 发起请求获取X-Gorgon headers = { "dou-url": url, # 填写对应的请求的api "dou-cookies": cookies, # 填写你的cookies "dou-token": token, # 填写你的token "dou-queries": query # 填写你的请求的queries } gorgon_host = "http://8.131.59.252:8080" res = requests.get(gorgon_host, headers=headers) gorgon = "" if res.status_code == 200: print("请求成功") res_gorgon = json.loads(res.text) if res_gorgon.get("status") == 0: print("成功获取 X-Gorgon") print(res_gorgon.get("X-gorgon")) # 你就可以用来爬数据了 gorgon = res_gorgon.get("X-gorgon") else: print("获取 X-Gorgon 失败") print(res_gorgon.get("reason")) raise ValueError(res_gorgon.get("reason")) else: print("请求发送错误/可能是你的网络错误,也可能是我的错误,但是大概率是你那边的错误") raise ValueError("请求发送错误/可能是你的网络错误,也可能是我的错误,但是大概率是你那边的错误") return gorgon
def get_user_detail_info(cookie, query, token, user_agent, user_id, sec_user_id): """ 爬取用户数据 :param cookie: 你自己的cookie :param query: 你自己的query :param token: 你自己的token :param user_agent: 你自己的User-Agent :param user_id: 用户的uid :param sec_user_id: 用户的加密的uid :return: response """ _rticket = str(time.time() * 1000).split(".")[0] ts = str(time.time()).split(".")[0] api = construct_api(user_id, _rticket, ts, sec_user_id) headers = construct_header(user_id, sec_user_id, cookie, query, token, user_agent, _rticket, ts) print(api) req = request.Request(api) for key in headers: req.add_header(key, headers[key]) with request.urlopen(req) as f: data = f.read() return gzip.decompress(data).decode()
根据上面对响应数据的分析,其对应的响应数据是json格式的,而且数据特别多,分析了一下,我找了一些对我比较有用的数据:
# 用户的抖音号 unique_id=345345345O # 用户的user_id uid=103600654544 # 用户的 sec_user_id sec_uid=MS4wLjABAAAA2_HUlxau0riJ8UBMwyd_bUtA8yzKdWepfg9nUc5wQy0 # 头像地址 avatar_uri=26e880003aefb8cddd496 # 用户的昵称 nickname=成都潮人榜 # 用户的签名 signature=谢谢关注❤ # 用户的出生日期 birthday=1995-01-01 # 用户的国家 country=中国 # 用户的省份 province=四川 # 用户的城市 city=成都 # 用户所在的区域 district=武侯 # 用户的粉丝数 follower_count=929219 # 用户的关注数 following_count=15 # 发布的抖音数量 aweme_count=453 # 发布的动态数量 dongtai_count=480 # 用户点赞的视频数 favoriting_count=322 # 总共被点赞的次数 total_favorited=14900700
if __name__ == '__main__': cookie = "" # 你自己的cookie token = "" # 你自己的token query = "" # 你自己的query user_agent = "" # 你自己的user-agent user_id = 103600654544 sec_user_id = "MS4wLjABAAAA2_HUlxau0riJ8UBMwyd_bUtA8yzKdWepfg9nUc5wQy0" res = get_user_detail_info(cookie,query, token, user_agent, user_id, sec_user_id) print(res)
感谢你能够认真阅读完这篇文章,希望小编分享的“python如何爬取抖音用户详细数据”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。