R语言[重头戏爬虫]

🌈莫玄忆纸🎐(互)

源于S语言1990→GPL协议1995

ggplot2用于数据可视化

R语言开发工具：RStudio

print→打印

<- →类似赋值

#→注释

[区分大小写]

常量变量都用 量名<-值

字符用" "包括→直接定义,不用写类型

<- paste(量名,量名)→粘和量名

整数变量加后缀L,否则默认值类型

打印(class(变量名))→输出类型

逻辑型数据→TRUE和FALSE

factor=因数;分解→水平(变量名)

table=提出;表格

量名<-c(,,,)→创建向量

冒号运算符(:)可快速创建连续整数向量→1:10[1到10]/10:1[10到1]

[向量的索引从1开始]

负索引来排除向量元素

量名[范围] <- 新值→修改符合的索引值

新量名<-c(量名,元素)→创建新向量[同append]

sum(量名)→求和

NA=无;没有→na.rm = TRUE`[忽略该值]

mean(量名)→求均值

as.character()→值转字符

as.numeric()→字符转值:逻辑转值

as.logical()→值转逻辑

[值0转逻辑为FALSE,非0转逻辑为TRUE;逻辑TRUE转值是1,FALSE是0.]

if (条件) {反应} else {反应}

else if→分支[一个为真后面不判断]

switch(忽略case直接量名,值=反应,值=反应 ...)

repeat{→无限循环if{条件break→跳出repeat循环

while (条件) { 反应 增减 }

for (变量名 in 向量名) {反应 →遍历

next→跳过后续,进行外部循环

函数名 <- function(参数) { 反应

sqrt()→平方根

abs()→绝对值

median()→中位数

nchar()→字符串长度

paste()→连接字符串

[paste函数的sep参数可指定连接时的分隔符]→sep = " "

return()→立即结束

[参数默认值用=定义]

read.csv函数常用来读取.csv文件

nrow=行数

data=数据资料

write.csv(数据,"文件")→数据写入文件

file.exists(" ")→文件存在

Sys.Date()→获取当前日期

as.Date()→字符向量转换日期对象

matrix(data, nrow=, ncol=, byrow =FALSE)→创建矩阵

byrow=是否按行填充数据[默认按列]

nrow=行 ncol=列

matrix[row, column]→访问行列[从1开始]

matrix=矩阵;基体

slice <- matrix2[行:行, 列:列]→切片获取[闭区间]

t(矩阵量名)→转置矩阵行列

🍵transposed=转置的

[行,列]访问矩阵索引

列表[[ ]]双括号访问时,索引从1开始;$符号访问需元素有名称.

lapply(列表名, function(x) x + 1)→遍历列表并加1[sapply向量]

🍵dim=昏暗→定维度

array(c(向量名,向量名)dim=c(行,列))

c()→合并向量

rbind()→按行合并[列相同]

cbind()→按列合并[行相同]

decreasing=减少的

sort(数组名, decreasing = TRUE)→降序排序[升序去掉后部分]

slice <- arr[序头:序尾]→数组切片顾头顾尾

重塑用matrix(数组名,nrow= , ncol=)

sort=整理;方式

arr[c(-索引数, -索引数)]→排除指定索引对应的数据

data.(向量名,...)→创建数据库

=装框;陷害

数据框名[行号, 列号] <- 新值

数据框名[行号, "列名"] <- 新值

数据框名$新列名<- c(数据,,,)→加新列

cbind(数据框名, 新列名)→按列函数加列

aggregate=总和

aggregate(求列名 ~ 按列名, data = data, FUN = mean)→按列求列的均值

cbind函数→将列组合

数据框名[order(数据框名$列名,数据框名$列名)→按列名的升序排列的数据框[先来后到]

[列名前加负号=降序]

factor(量名=因数;因素→转换为因子

Levels=水平;对准↑=c())

levels(量名) <- c("水平标签", "")→修改水平标签

水平=因子水平顺序排序

ts(时间向量, start, end, frequency)→创建时间序列

frequency=频率

🍵norm=规范

plot(时间序列名)→绘制可视化时间序列图

plot(时间序列名, main = "标题", xlab = "x轴", ylab = "y轴")

时间序列名[起:始]→时间序列元素→负号[排除]

acf()→绘制自相关函数图初步判断平稳性

decompose()→季节性分解[结果包含趋势,季节性和随机成分]

decompose函数适用于加法模型,对于乘法模型可使用stl函数.

install.packages()函数来安装语言包

repos=回购协议→指定镜像源[类似指定安装源]

library()或require()函数加载包→报错或FALSE

detach()→卸载包

devtools=开发工具

library(devtools)

create("包名")→调用devtools中的create函数来新建包项目

roxygen2包的roxygenize函数能为包函数自动生成文档.

roxygenize=使氧化

search()→查看搜索路径

ls()→查看全局环境中的所有变量

rm(变量名)→删除全局环境中的变量

函数名<- function(参数) {→创建函数

环境名<-new.env()→创建新环境=对象的集合

环境名 $对象名<- 数据

环境名[["对象名"]]<- 数据→可使用字符串

update.packages()→更新所有已安装的包

remove.packages("包名")→卸载包

assign=指定;指派

envir=环境

assign("函数名", function(被参数) { 反应}, envir = 环境名)

with(环境名,函数名)→方便在环境中调用函数

对象名<- read.csv("文件名")→将文件中的数据读取到对象中

.table→文本文件

write.csv(数据, "文件名")→讲数据导出到文件名中

文本同上

🍵prompt=提示

代名<-readline("显示词")→输入数据

as.numeric(代名)→字符类型转换为值类型

代名<- read.csv("文件名", header = FALSE)→读取无表头的文件

read.csv()→将文件内容读取为数据框

write.csv(数据框名, "文件名", row.names = FALSE)→将数据框写入文件

row.names参数用于控制是否写入行名,设为FALSE可避免写入行名.

str(数据框名)→输出数据结构信息

install.packages("readxl")

library(readxl)→安装readxl包可读取Excel文件

read_excel(".xlsx")→读取xls/xlsx的后缀名文件[read.csv读取后缀名.csv的文件]

openxlsx包可让R语言将数据写入Excel文件

工作簿名<- createWorkbook()

addWork工作表名(工作簿名, "工作表名")

writeData(工作簿名, "工作表名", 数据框名)

saveWorkbook(工作簿名, "文件.xlsx", overwrite = TRUE)→生成文件保存工作簿[设置overwrite = TRUE会覆盖原文件]

write.xlsx(数据框名, "文件名.xlsx") →将数据框写入文件名

XML包可用来处理.xml的数据

xmlParse(".xml")→解析文件

xmlRoot(解析文件的代名)→获取根节点

parse=解析

⭐library=图书馆→加载包

read_xml→读取后缀名为xml的文件

xml_find_all→查找XML节点

jsonlite包安装

fromJSON→将JSON字符串转换为R对象

RJSONIO是R语言中用于处理JSON数据的包

toJSON()→将R对象转换为JSON字符串

fromJSON()→与上相反

JSON字符串格式'[{"元素":数据 ,},]'

tidyjson包→将JSON字符串转换为数据框tbl_json对象

df <- json_str %>% as.tbl_json() %>%

jstring→转字符串

jnumber→转数值

spread=展开

as.tbl_json→用于将JSON字符串转换为tbl_json对象spread_values→从JSON数据中提取特定的值并展开为数据框

gather_array→用于处理JSON数组

enter_object函数用于进入JSON对象的特定层级

tidyjson包→将JSON转换成数据框

parsed_json <- 字符串代名_str%>% as.tbl_json() %>%

spread_values(元素 = jstring("元素"), 元素= jnumber("元素"))→解析

as.tbl_json()→将JSON字符串转换为可处理的对象，spread_values()用于展开JSON数据

jstring()和jnumber()用于提取特定类型的值

RMySQL包→连接MySQL数据库

con <- dbConnect(MySQL(), user = "root", password = "your_password", dbname = "your_database", host = "localhost")→创建数据库连接[替换实际值]

打印(con)→输出连接信息

connect=连接

base=基础

db=数据库

local=当地的;局部的 host=主人

password=密码

dbGetQuery→请求查询

con=骗局

dbGetQuery(con, "SELECT * FROM your_table")

⭐select=选择

dbExecute=执行

dbExecute(con, "UPDATE your_table SET column1 = 'new_value' WHERE condition = 'some_condition'")

update=更新

column=纵列

condition=状态

RMariaDB包→和MariaDB数据库交互

con <- dbConnect(MariaDB(), user = "your_user", password = "your_password", dbname = "your_db", host = "your_host")→连接数据库

注意要把 ⭐"your_user","your_password","your_db" 和 "your_host" 替换成实际的值.同上

result <- dbGetQuery(con, "SELECT * FROM your_table") →执行查询

print(result) →打印查询结果

也能执行更新、插入等操作：

dbExecute(con, "INSERT INTO your_table (column1, column2) VALUES ('value1', 'value2')") →插入数据

insert=添加

DBI包→数据库交互的重要工具

con <- dbConnect(RSQLite::SQLite(), "example.db") →连接SQLite数据库,example.db是数据库文件名

example=举例

isOpen(con)→连接是否正常

RCurl包和XML→实现爬虫

url <- "https://example.com"

web_content <- getURL(url)

→将网页内容存储在web_content变量中

getURL()获取网页内容

htmlTreeParse()将网页内容解析为树形结构

useInternalNodes=使用内部节点

🍵content=满意;内容

rvest包→抓取数据

read_html(url)→抓取HTML数据

links <- 抓取到的数据代名%>% html_nodes("a") %>% html_attr("href")→提取网页中的链接

nodes=节点

attr=属性

httr包→抓取数据

GET("网址")→发送请求

status_code(发送请求代名)→输出响应状态

status=状态

code=代码;编码

XML包→抓取数据

xmlParse("test.xml")→解析文件

打印解析文件代名→查看结果

test=测试

text=文本

jsonlite包→抓取数据

fromJSON(url)→抓取数据

⭐dplyr包

filter()=滤器→过滤

filter(数据框名,条件)

arrange()=排列→排序

⭐dbplyr包=dplyr包的扩展

tbl(数据库,表)→连接数据库表

library(包名)→加载包

geom=几何形状

point=点;指出

filled_data <- ifelse(is.na(data$value), 0, data$value) →将NA部分变成0

unique=独一无二的

unique()→去重

head函数默认显示前6行,若要指定行数,可在函数里传入参数,像head(数据框名, 3)就会显示前3行.

subset(数据框名,条件)→筛选

merge()→合并数据框

group_by(数据框名, 按这个列分组)

ungroup()→取消分组

summarize()→常用汇总

order(x, decreasing = FALSE)→排序后的索引位置

decreasing=减少

apply(矩阵名, 1或2, sum/mean...)

1表示按行操作;若为2则按列操作

sum→和 mean→平均值

lapply(列表名, function(x) x^2)

为列表中的元素应用函数

lapply(列表名, length)→获取每个元素长度分别

lapply→返回的是列表

sapply()→作用同上,但是会简化结果,长度一致就返回向量

vapply()→可指定返回值的类型和长度[括号尾部+numeric(长度))]

mapply(函数名, 位置, 位置, MoreArgs = list(额外定义的赋值))

Args=指代对象;参数

mapply(FUN, ..., MoreArgs = NULL, SIMPLIFY = TRUE, USE.NAMES = TRUE)

SIMPLIFY参数用于控制结果是否简化,默认是TRUE；USE.NAMES参数用于控制是否使用名称,默认也是TRUE。

install.packages("包名")→安装包

代名:表示上一个关系的简单名,也就是<-左边的名