这篇文章给大家分享的是有关python爬虫如何爬取英文文档存为PDF，在读取PDF自动翻译文档的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
这几天在爬了Python的官方文档，但是它里面全是英文，只有数字，没有汉字，原谅我这个英语渣渣搞不懂，只能靠翻译了，如果是复制到百度翻译的话太慢，耗时间。所以就直接用爬虫来搞了，自动化翻译文档
这是百度翻译的页面
刚开始想用urllib去做，但是给我报了一个我的浏览器版本太低了，估计就是得加headers和UA。太麻烦了，就想到了selenium,直接用selenium妥妥的，下面就是详细步骤了。
先从爬Python官网开始吧
就只抓了这一页的数据。这个简单，直接可以使用requests或者urllib抓取，然后转换成pdf。我的是在框架里面，有点麻烦，如果你觉得麻烦可以直接请求。
安装Python库:pip3 install pdfkit
安装插件wkhtmltopdf，
https://wkhtmltopdf.org/downloads.html官网地址
计算
安全
数据库
网络和加速
企业服务
import scrapyimport pdfkitclass so_python3_spider(scrapy.Spider): name = 'doc' def start_requests(self): url = 'https://docs.python.org/3.8/whatsnew/3.8.html' yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): body = response.selector.xpath('//div[@class="section"]').extract() title = response.selector.xpath('//div[@class="section"]/h2/text()').extract() html_template = """ <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> </head> <body> {content} </body> </html> """ for i in range(len(body)): html = html_template.format(content=body[i]) with open(title[i]+'.html', 'a', encoding='utf8') as f: f.write(html) options = { 'page-size': 'Letter', 'encoding': "UTF-8", 'custom-header': [ ('Accept-Encoding', 'gzip') ] } path_wk = r'D:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe' # 安装位置 config = pdfkit.configuration(wkhtmltopdf=path_wk) pdfkit.from_file(title[i]+'.html', title[i]+'.pdf', options=options, configuration=config)
我是直接将一个div里面的这个内容全部拿下来，然后拼接一个新的html,将这个新的HTML转换成PDF。
第二阶段就是打开这个pdf,读取该文档，将其发送到百度翻译的框框，获取翻译的结果，重新保存
-----------读取文档--------
def read_pdf_to_text(self): fp = open("What’s New In Python 3.8.pdf", "rb") # 根据二进制的方式读取 # 如果是url # fp=request.urlopen(url)#网址 # 创建与文档关联的解释器 parser = PDFParser(fp) # 创建一个pdf文档对象 doc = PDFDocument() # 连接解释器和文档对象 parser.set_document(doc) doc.set_parser(parser) # 对文档进行初始化 doc.initialize("") # 文件没有密码就是空字符串 # 创建一个pdf资源管理器 resouse = PDFResourceManager() # 创建一个参数分析器 lap = LAParams() # 创建一个聚合器 device = PDFPageAggregator(resouse, laparams=lap) # 创建一个页面解释器 interpreter = PDFPageInterpreter(resouse, device) # 开始读取内容 for page in doc.get_pages(): # 调用页面解释器来解释 interpreter.process_page(page) # 使用聚合器来获得内容 layout = device.get_result() for out in layout: if hasattr(out, "get_text"): content = out.get_text()将文档读取，发送到百度翻译https://fanyi.baidu.com/?aldtype=16047#en/zh
找到输入框和输出框的位置
翻译模块（复制到微信里，格式有点问题，大家自己修正）
def baidu_fanyi(self, content): time.sleep(5) # 找到输入框的位置，并将内容发送到该位置 self.browser.find_element_by_id('baidu_translate_input').send_keys(content) time.sleep(5) # 获取输出框的内容 con = self.browser.find_element_by_class_name('output-bd') # 写入文件 with open('python3.8.txt', 'a', encoding='utf8') as f: # 由于content内容带有回车符，所以不用\n f.write(content + con.text + '\n') # 将输入框清空，等待下一次输入 self.browser.find_element_by_id('baidu_translate_input').clear() time.sleep(5)这是翻译后输出的内容
当然还有可以优化加强的部分，比如使用pyqt做个界面，打包成exe就可以当程序用了。有什么建议留言。
感谢各位的阅读！关于“python爬虫如何爬取英文文档存为PDF，在读取PDF自动翻译文档”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://my.oschina.net/u/4080705/blog/4419389
