To be is to do! 
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  •     

网络爬虫3

第三部分:数据解析数据解析的功能是从网页信息或者下载到本地的信息中,提取出想要的信息。知识结构如下: Part 1: xpath与lxmlxpat
 2020-03-01  

网络爬虫2

第二部分:网络请求本部分主要介绍如何通过url链接访问到目标服务器的过程。主要介绍两个库:urllib库和request库。知识结构如下: Part 1: urllib库urllib库是python自带的库,功能比较基础,全面。在python3中,所有的urllib库的网络请求功能,都被集中到urllib.request模块下面了。 1.1 urlopen函数这个函数的作用是,通过url链接,访问服务器。例1:通过urlopen()访问百度主页: from urllib import request url = 'http://www.baidu.com' resp = request.urlopen(url, timeout = 3) print(type(resp)) print(resp.read()) 返回的结果如下: <class 'http.client.HTTPResponse'> b'<!DOCTYPE html>\n<!--STATUS OK-->\n\r\n\r\
 2020-02-25  

网络爬虫1

网络爬虫这一部分的内容是,从网络上爬取数据。本部分内容将分为5部分:网络爬虫的基础知识,网络请求,数据解析,数据存储与展示以及Scrapy。其中,最重要的是Scrapy,其满足了现在爬虫的要求。整个部分的知识模块如下: 第一部分:网络爬虫的基础知识本部分将由3板块构成,结构如下:这三部分分别是:网页的基本组成,http协议以及爬虫的相关概念。 Part 1:网页的基本组成这部分将对网页的基础知识进行补充,以便于后续的网页数据的提取。 1.1 网页的基本结构首先给出一个网页的基本形式,如下图:完整HTML包括html DOCTYPE声明、title标题、head、网页编码声明等内容。a. html DOCTYPE声明DOCTYPE是document type(文档类型)的简写,用来说明你用的XHTML或者HTML是什么版本,是标准化网页内容所需要的。所给示例的图片中,<!DOCTYPE html>就是html DOCTYPE声明。b. head<head></head>标签用于标识HTML的头部区域,和之间的内容都属于头部区域中的内容,主要包括
 2020-02-25  

MySQL基础6

第五篇:其余内容本部分主要介绍MySQL基础中的其余内容,主要包含四大模块:视图,变量,存储过程和函数以及流程控制。本章是数据库MySQL基础篇的最后一篇。 Part 1: 视图视图是将一部分MySQL代码封装起来,做成类似于函数的形式,进行调用。视图的内容是生成一张表格的逻辑,结果是一个虚拟表。 备注:视图只是逻辑,并不存储数据,当需要调用的时候,系统运行即可产生数据,组成虚拟表格。 1.1 视图的创建视图创建的语法如下:createview 视图名asDQL查询语言; 例1:查询员工表employees中员工邮箱名字包含字母a的员工的姓名,工号和工资首先创建视图 createview e as select name, id, salary from employees where email like '%a%'; 1.2 视图的使用视图创建完毕之后,会产生相关的字段,这里的字段与原来的表格已经不同了,新生成的字段取决于创建视图的时候的字段名。例1:查询员工表employees中员工邮箱名字包含字母a的员工的
 2020-02-23  

MySQL基础5

第五篇:事务控制语言TCLtransaction control language,事务控制语言。 Part 1: TCL的基本知识一个或者一组sql语言组成一个事务,这个事务具有如下特点: 原子性:事务是不可分割的; 一致性:使得数据从一个状态变换到另一个状态; 隔离性:一个事务执行的过程中,不能被其他事务干扰; 持久性:事务执行的结果,是存储下来的。 事务的创建可以分为两种: 隐式的创建:一般以一行语法为主,没有明显的开始或者结束信号; 显式的创建:事务有明显的开启与结束的标志,但前提是要关闭自动提交功能。备注:关闭自动提交功能的关键字是: set autocommit = 0; 显式的创建的语法:start transaction; # 首先写开启事务的标志sql language; # 然后写sql语言,组成一个事务commit; # 通知系统,提交事务备注:如果有需要,可以写回滚事务。 Part 2:MYSQL的隔离级别MySQL支持的隔离级别: read
 2020-02-23  

MySQL基础4

第四篇:数据定义语言DDL数据定义语言主要解决数据库的创建及删除和表格的结构的问题。其中,库和表格的操作都是创建,修改和删除。但是,为了更加清楚地显示表格的结构,这里还将对MySQL的常见数据形式以及常见约束进行说明。 Part 1:数据库的管理数据库的主要操作依然是创建,删除,修改。 数据库的创建的语法如下:creat database 数据库名; 备注:数据库名不可与已经有的数据库名重复。为了解决这个问题,创建如下的格式:creat database if not exists 数据库名;例1:创建数据库books: creat database if not exists books; 数据库的修改:原则上一般不修改数据库,因为可能造成数据的丢失等问题,所以如果想修改的话,直接创建一个新的数据库即可。 数据库的删除的语法如下:drop database 数据库名;例2:删除数据库books: drop database books; Part 2:常见的数据类型这一部分主要总结数据库的常见的数据类型,为表的结构打下基础。常见的数据类型主要包括
 2020-02-13  

MySQL基础3

第三篇:数据操纵语言DML数据操纵语言DML与数据查询语言DQL之间的主要区别在于:DML语言是对表格中的数据进行改变,DQL语言只是查询表格中的数据。改变就包括主要的三种:增加,删除,修改。 Part1: 增加增加是向表格中增加行,也就是增加数据量。增加并不改变原来表格数据的结构。语法格式如下:insert into 表名(字段名1,字段名2,…,字段名n) values(值1,值2,…,值n); 备注:值与列名要保持对应关系 例1:向女生表girls中添加一行唐艺昕的值: insert into girls(id, name, sex, borndate, phone-number, photo, boyfriend_id) values(12, '唐艺昕', F, '1990-04-23', '18988888888', null, 2); 备注:其中null表示没有照片信息,那么直接填写null即可。 对于值可以为null的字段名,应该如何应对?有两种方法: 在表名后写上该字段名,然
 2020-02-13  

MySQL基础2

第二篇:数据查询语言DQLPart1: 基础查询核心的关键查询词:select它可以用于查询表中的字段、常量、表达式、函数等,查询结果是一个虚拟表格。 查询常量的方法:select 常量;例1:查询”jerry” select "jerry"; 备注:查询的常量,可以是数字,字符串等常量格式。 查询表格中1个字段的语法:select 字段名 from 表格名;例2:从员工表employees中查询员工的姓名: select name from employees; 查询表格中多个字段的语法:select 字段名1, 字段名2, …, 字段名n from 表名;例3:从员工表employees中查询员工的名字和工号: select name, id from employees; 给查询的字段起别名:select 字段 as 别名 from 表名;例4:从员工表employees中查询员工的姓名,并命名为”姓名”显示: select name "姓名" from employees; 备注: as可加可不加;
 2020-02-10  

MySQL基础1

第一篇:数据库的基本知识Part1: 本部分内容的简单介绍这是数据处理模块的第一个部分。数据处理模块将包含:MySQL基础,MySQL进阶,基于Python的爬虫以及数据处理部分。MySQL部分将包含以下内容: Part2: 数据库的好处 能够持久化地储存数据 能够进行系统性地管理 Part3: 数据库的相关概念 Data Base(DB):数据库,数据存储的仓库,有规范的数据存储形式; Data Base Management System(DBMS):数据库处理系统,能够通过规范化的操作,对数据库实现增删改查等操作; Structure Query Language(SQL):结构化查询语言,是DBMS实现功能的载体。 Data Query Language(DQL):数据查询语言,负责数据的查询; Data Manipulation Language(DML):数据操纵语句,用于添加、删除、修改、查询数据库记录,并检查数据完整性; Data Definition Language(DDL):数据定义语句,用于库和表的创建、修改、删除; Data Control L
 2020-02-09  

markdown的使用说明

title: Markdown的使用说明date: 2019-12-29 17:26:18tags: 编辑软件 常用软件 Markdown学习笔记Part 0:思维导图 Part 1:文字处理A.加粗操作:在文本的前后各增加两个*即可例如: 火箭 B.倾斜操作:在文本的前后各增加一个*即可例如:火箭 C.颜色操作:<font color="pink">火箭</font>例如: 火箭 D.字体操作:<font face="微软雅黑">火箭</font>例如:火箭 E.划线中划线:操作:~~要删除的内容~~要删除的内容 操作:<s>要删除的内容</s>要删除的内容 下划线:<span style = "border-bottom:2px dashed yellow;">要强调的内容 Part 2:段落处理F.序号一个'#'表示大号两个'#'表示中号三个'#
 2019-12-29  
12

搜索

Hexo Fluid
 总访问量 次   总访客数 人