Python网络爬虫-利用有道词典实现简单翻译程序

内容导航：

Python网络爬虫-利用有道词典实现简单翻译程序

python爬虫怎么做？

python爬虫是什么

学习python需要什么软件

一、Python网络爬虫-利用有道词典实现简单翻译程序

1.爬虫前的分析

因为要实现有道翻译的翻译功能，就需要找到它的接口，打开审查元素，来到网络监听窗口(Network)，查看API接口。

我们可以找到有道翻译的API接口，同时是以Post方式提交

Data的内容

Form Datai:你好 from:AUTOto:AUTOsmartresult:dictclient:fanyideskwebsalt:1503049820576sign:f21c50e08db736608d3ec3899678a725doctype:jsonversion:2.1keyfrom:fanyi.webaction:FY_BY_CLICKBUTTIONtypoResult:true

通过翻译'你好'和'hellow'的对比查看不同的地方

i：需要进行翻译的字符串，这个地方我们输入的是‘’你好‘’。

salt：当前的时间戳

action： 判断你是按回车提交或者点击按钮提交的方式

通过查看网页源代码的方式查看有道翻译的js文件，来查看salt和sign是怎么生成的。

查看网页源代码找到js文件

找到js文件，然后点击这个文件，跳转到这个源文件中，然后全选所有的代码，复制下来

打开站长工具，把代码格式化

把格式化后的代码，复制下来，用sublime或者pycharm打开都可以，然后搜索salt，找到相关的代码

2.Python使用MD5加密字符串

1. 介于有道翻译使用了MD5加密，就对MD5加密进行了学习

#导入md5加密所需模块import hashlib#创建md5对象m = hashlib.md5()#生成加密串，其中 password 是要加密的字符串m.update('password')#获取加密串pw = m.hexdigest()print(pw)#打印结果5f4dcc3b5aa765d61d8327deb882cf99

2 . 我们可以写成函数，直接传入要加密的字符串调用即可，由于传入的参数不是字符串会报错，所以应先对参数进行判断

import hashlibimport typesdef md5(str): if type(str) is types.StringType: m = hashlib.md5()  m.update(str) return m.hexdigest() else: print(‘您传入的参数不是字符串’)

3.代码操作基于python3.5

# -*- coding:utf-8 -*-import urllib.requestimport urllib.parseimport jsonimport timeimport requestsimport hashlibclass YoudaoFanyi: def translate(self,key): d = key m = hashlib.md5() u = 'fanyideskweb' #判断是网页还是客户端 # 由于网页是用的js的时间戳(毫秒)跟python(秒)的时间戳不在一个级别，所以需要*1000 f = str(int(time.time()*1000)) c = "rY0D^0'nM0}g5Mm1z%1G4" #根据md5的方式：md5(u + d + f + c)，拼接字符串生成sign参数。 m.update((u + d + f + c).encode('utf-8')) #生成加密串 data= { 'i':d, 'from':'AUTO', 'to':'AUTO', #判断是自动翻译还是人工翻译 'smartresult':'dict', 'client':u, 'salt':f, #当前时间戳 'sign':m.hexdigest(), #获取加密串 'doctype':'json', 'version':'2.1', 'keyfrom':'fanyi.web', 'action':'FY_BY_CLICKBUTTION', #判断按回车提交或者点击按钮提交的方式 'typoResult':'true' } headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'Origin':'http://fanyi.youdao.com/', #请求头最初是从youdao发起的，Origin只用于post请求 'Referer':'http://fanyi.youdao.com/', #Referer则用于所有类型的请求 } #print(data) #接口 post = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null' youdaojson = requests.post(post,headers = headers,data=data).json() #print(youdaojson) print('翻译的结果是：%s'%(youdaojson['translateResult'][0][0]['tgt'])) time.sleep(2)if __name__== "__main__": youdao = YoudaoFanyi() while True: key =input("请输入你要翻译的文字('quit':退出): ").strip() if key=='quit': break youdao.translate(key)

一、python爬虫怎么做？

具体步骤

整体思路流程

简单代码演示
准备工作
下载并安装所需要的python库，包括：

对所需要的网页进行请求并解析返回的数据

对于想要做一个简单的爬虫而言，这一步其实很简单，主要是通过requests库来进行请求，然后对返回的数据进行一个解析，解析之后通过对于元素的定位和选择来获取所需要的数据元素，进而获取到数据的一个过程。

可以通过定义不同的爬虫来实现爬取不同页面的信息，并通过程序的控制来实现一个自动化爬虫。

以下是一个爬虫的实例

二、python爬虫是什么

Python爬虫是指在某种原因进行互联网请求获取信息

三、学习python需要什么软件

学习Python需要安装什么软件呢？也许你是一位编程小白，还不知道如何如何安装Python软件和开发环境。那么今天我们就来学一下关于Python软件、开发环境的相关知识，希望对你有用。
学Python需要安装的软件
关于学Python需要安装哪些软件，我来说一下我的总结吧：
1.Python开发环境
可以进去Python官网下载安装，官网地址：
2.Pycharm
Pycharm是一种Python IDE（什么是IDE？请看文章下半部分），带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。
推荐学习《python教程》
此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。PyCharm在编写和调试Python方面可谓是强者，软件使用简单，功能强大，值得推荐。
同样可以去Pycharm官网下载
3.notepad++：
Python编辑器，这个我自己有在用，很方便快捷。Notepad++是 Windows操作系统下的一套文本编辑器(软件版权许可证: GPL)，有完整的中文化接口及支持多国语言编写的功能(UTF8技术)。
4.Sublime Text代码编辑器：
Sublime Text虽然是一个收费的软件，但是可以无限期的免费试用，非常适合学生党。
5.Google Chrome谷歌浏览器：
如果你还在用360浏览器的话，谷歌浏览器强烈推荐你。尤其是在利用Python进行网络爬虫时，谷歌浏览器会显得十分顺手。
同时在部分功能上，谷歌浏览器要优于苹果电脑自带的浏览器，例如在添加书签时，谷歌浏览器可以手动建立文件夹进行分类。
6.Anaconda：
自带Python环境，带了很多其他的库，直接安装很方便
7.网易有道词典：
遇到编程里面不认识的单词，可以用来查词，有专业词汇解释，很方便
上面这些都是比较适合初学Python的。