Skip to content

亿级数据分钟级入缓存,Spark、Redis、限流

License

Notifications You must be signed in to change notification settings

zhugezifang/hdfs-to-redis

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

hdfs-to-redis(qps control)

介绍

HDFS-to-Redis 是一个大量数据写入redis的限流工具
因为工作中经常会遇到数据预热缓存的需求,但是由于预热的数据量太大(几个亿的数据),写入缓存经常出现问题
能用最短的时间的将大量数据尽快写入缓存(耗时短),但是会遇到缓存有数据写入限制,会出现瞬时流量高峰,因此需要进行流量限制\

软件架构

软件架构说明
image

1.利用spark rdd分区特性,实现高效并行写入缓存,做到耗时短
2.对于较大流量数据,控制qps,暂停1s,实现流量控制,避免流量太高,写入redis出现问题

1656398213969

使用说明

配置文件config.properties

1.redis.ip redis连接信息
2.redis.port redis 端口信息
3.redis.pwd redis 密码信息
4.qps 需要控制的qps
5.hdfs.input.path 需要写入的数据的路径(以key,value形式进行存储)

About

亿级数据分钟级入缓存,Spark、Redis、限流

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages