自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

CD刘延林

也曾鲜衣怒马少年时,一夜忘尽长安路!

  • 博客(6)
  • 资源 (11)
  • 论坛 (2)
  • 问答 (1)
  • 收藏
  • 关注

原创 在centos7上部署selenium(基于chrome驱动)的爬虫项目

 相信大家在写爬虫的时候,经常会遇到爬取的网站是动态渲染的,而且各自反爬加密参数,难以破解,所以不得已采用使用了python+selenium进行模拟人为操作爬取。免去了一些繁琐步骤。但是我们大多数都是在windows或者Mac下进行开发和测试。开发完了之后。最终要部署到服务器上去。那么服务器常用的就有liunx。至于liunx服务器我们都知道,它并没有一个像windows上的桌面,而是一个纯...

2018-12-25 12:25:24 10366 1

原创 使用python+selenium爬取同城旅游网机票信息

 最近使用python+selenium爬取了同城旅游网机票信息相关主要代码如下,通过模拟人为操作,拿下了这个机票列表的html代码,然后就可以使用xpath或者re等方式从中提取需要的字段信息了。from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfro...

2018-12-19 13:28:22 8351

原创 flume向hdfs中写入会生成很多小文件

问题:flume监控的目录写入大文件的时候不能同步记录在hdfs中flume监控的目录写入大文件的时候,同步记录到hdfs中后变成多个小文件flume从kafka中读取数据下沉到hdfs中会生成很多小文件解决办法:更改flume的配置信息(主要更改滚动方式),滚动的意思是当flume监控的目录达到了配置信息中的某一条滚动方式的时候,会触发flume提交一个文件到hdfs中(即在hdfs...

2018-12-17 14:24:01 10459 4

原创 arbari中创建新flume配置文件

我们都知道,在使用flume的时候,会针对不同的项目创建多个不同的配置文件运行。那么在使用arbari管理flume的时候,怎么在页面上动态创建配置文件并启动了。可按以下的步骤创建。选择到默认配置文件这个地方,右边有个小加号,点击如图然后选择Create a new Flume Configuration Group 输入名称,点击ok就可以完成创建啦。创建完成之后就可以在如下图划...

2018-12-17 10:58:23 7552

转载 解决Flume采集数据时在HDFS上产生大量小文件的问题

原文地址:https://blog.csdn.net/whdxjbw/article/details/80606917问题:flume指定HDFS类型的Sink时,采集数据至HDFS指定目录,会产生大量小文件。如下图所示:问题重现:1、创建flume配置文件flume-env.sh,:flume配置文件如下(根据自身需要修改):    因为flume可以配置多种采集方式,每...

2018-12-14 11:54:13 8302

原创 python3实现socket客户端通信demo

1.创建server.py文件作为服务端,代码如下:#服务端import socketserverclient_list=[]class TCPHandler(socketserver.BaseRequestHandler): # 所有请求的交互都是在handle里执行的, def handle(self): while True: ...

2018-12-04 16:51:23 11076 3

python实现音乐播放器

这是我用python的django框架写的一个模拟手机音乐播放器,访问的是网易音乐的接口

2017-01-20

python加django加websocket实现即时通讯

用django加websocket实现简单网页聊天

2016-10-25

Navicat Premium v12_解压版

从网上搜刮了很久才找到的一个免费使用版本,直接解压,找到Navicat Premium目录下的navicat.exe启动便可正常使用,无需填入注册码

2021-01-05

沉浸彩虹岛登录器_1.0版

使用Python原创编写的一个彩虹岛游戏登录器,仅供学习交流,切勿用于它用,如需Python源码可联系作者

2020-09-30

java爬取天涯社区

用java写的一个简单的爬虫,爬取天涯社区帖子

2017-03-23

全国所有城市身份证前6位json

国内所有城市的身份证前6位json数据,不包含港澳台。

2018-10-11

冒险岛079登录器-自制PY版.rar

使用Python编写的一款冒险岛079登录器工具,冒险岛爱好者可以参考-

2020-04-13

全球216个国家信息.xls

国家信息数据,里面包含国家中文名、英文名、中英文简写、二字码、三字码、时区、区号、国土面积等字段信息

2019-10-30

重写Django REST framework源码demo

通过对Django REST framework内置方法的重写,实现自己想要的功能,比如加上接口描述,自定义分页,菜单等等

2018-07-17

根据postgresql或者greenplum数据库创建表的sql语句转换成最基本的django model

有时候在django中使用postgresql和greenplum数据库时,使用django model的数据库同步命令时会有问题,生成不了对应的数据库表,无奈只有手工先创建数据库表,然后再根据表字段手动创建model,为了提高效率我写了一个简单的脚本把创建表的sql自动转换成Model格式的字符串。

2018-09-12

python操作mysql数据库mysql_operation

使用前需先安装mysql-python,下载地址https://pypi.python.org/pypi/MySQL-python/1.2.5,以下是使用mysql_operation查询一个学生表全部数据的demo: #-*- coding: utf-8 -*- from mysql_operation import MysqlOperation mysql=MysqlOperation("127.0.0.1","root","123456",3306,"student") data_list=mysql.excuteFindAll("select * from tb_student") print data_list 返回数据类型: [{'stuName': u'\u5f20\u4e09', 'gender': u'\u7537', 'id': 1L, 'stuAge': 23L}, {'stuName': u'\u674e\u56db', 'gender': u'\u7537', 'id': 2L, 'stuAge': 21L}, {'stuName': u'\u738b\u4e94', 'gender': u'\u7537', 'id': 3L, 'stuAge': 24L}, {'stuName': u'\u738b\u9ebb\u5b50', 'gender': u'\u7537', 'id': 4L, 'stuAge': 25L}, {'stuName': u'\u9ec4\u4e09', 'gender': u'\u7537', 'id': 5L, 'stuAge': 23L}, {'stuName': u'\u738b\u7ea2', 'gender': u'\u5973', 'id': 14L, 'stuAge': 22L}

2017-09-08

小牛牛先生的留言板

发表于 2020-01-02 最后回复 2020-01-02

python AES解密

发表于 2017-09-15 最后回复 2017-09-15

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除