娱乐八卦
-
如何借助物化视图加速数据分析 StarRocks
1、StarRocks3.0OverviewStarRock3.0之前定位于实时数仓,主要有以下几方面的能力,StarRocks3.0推出了新的数据湖分析功能,支持Hive、Iceberg、Hudi,和MySQL等传统DB外表,加上StarRocks本身的外表,使得StarRocks能够作为一个统一...
-
爱奇艺数据湖平台建设实践
首先简单介绍一下爱奇艺OLAP的基本情况,存储方面,OLAP目前支持三类存储,①离线HDFS,用于离线分析、批处理等场景;②实时Kafka,用于实时分析、在线处理等场景;③近实时Iceberg,分钟级延迟,是今天要重点介绍的数据湖产品,存储之上是查询引擎,我们采用SparkSQL做ETL处理,采用T...
-
技术大比武 让每一个人都是一道光 不断突破与成长
从2010年初出茅庐,到今天,谭锦浪已在IT产品集成交付领域,摸爬滚打,十年有余,十年工程师之路,不断蜕变成长的他,如今已是杭州中港科技有限公司,以下简称,中港科技,独当一面的存储高级工程师,杭州中港科技有限公司存储高级工程师谭锦浪2年,中港科技成为华为ASP,授权服务合作伙伴,的一员,谭锦浪专注华...
-
Redis6的持久化配置 你知道多少
AOF的方式也同时带来了另一个问题,持久化文件会变得越来越大,为了压缩aof持久化文件,Redis提供了一个barewriteaof命令,来讲内存中的数据以命令的形式保存到临时文件中,同时会开启一条新进程来重写,重写aof文件的操作,并没有读取旧的aof文件,而是把整个内存中的数据库内容用命令的形式...
-
这个使用场景 比 Etcd 强 Redis
可以看到,在红线上面,我是有脏数据的句子是不被过滤的,此时脏字也不是过滤词,但是当我们在命令行里面更新了etcd,把新的过滤词改成垃圾,脏,就到了红线下面,我是有脏数据的句子就会被过滤了,...。...
-
详解数据存储的六种可选技术
热数据需要在内存中存储和处理,因此适合用缓存或内存数据库,如Redis或SAPHana,AWS提供了ElastiCache服务,可生成托管的Redis或Memcached环境,NoSQL数据库是面向高速但小规模记录,例如,用户会话信息或物联网数据,的理想选择,NoSQL数据库对于内容管理也很有用,可...
-
和 BufferedOutputStream这两个流的用法 字节缓冲流使用 BufferedInputStream
大家好,我是Java进阶者,前言本文主要学习字节缓冲流使用BufferedInputStream和BufferedOutputStream这两个流的用法来实现文本拷贝、字符流、Reader类、Writer类这些的用法,接下来小编带大家一起来学习这些用法,一、字节缓冲流1.在前面我们学习了Buffer...
-
业务数据备份的四个要点
如今,互联网已经融入到了我们生活、生产和工作的方方面面,在数据时代下,企业的数据成为了重要的资产,一旦企业的业务数据遭受攻击,会极大地影响企业的业务开展,甚至造成经济损失,为此,企业应该将业务数据进行备份,企业的业务数据备份包括所有文件和信息,例如电子表格、数据库、电子邮件等,在进行备份时,要注意什...
-
可以实现高并发访问 面试官 Redis 为什么单线程的
背景上回说到小枫在接受面试官的拷打,所幸第一个问题回答的还不错,因此面试官对于小枫的初步印象还行,我们接着来看看小枫是怎么和面试官继续过招的吧,他还能扛得住面试官几个连环炮呢?面试官考察目的分析面试官,Redis了解吗?说说为什么单线程的Redis可以支持高并发访问?面试官考察目的分析,1、考察候选...
-
如何改进DevOps工作流
没有比DevOps架构更好的架构了将DevOps架构图整合到软件开发项目中将会加速和改进工作流,开发人员遵循正确的实践和原则可以改进DevOps工作流,并改变组织的思维方式和协作模式,在敏捷方法中,开发和运维团队紧密协作,DevOps架构结合了最佳软件开发实践、自动化和创新工具,以交付以用户为中心的...
-
大数据基础 Spark工作原理及基础概念
一、Spark介绍及生态Spark是UCBerkeleyAMPLab开源的通用分布式并行计算框架,目前已成为Apache软件基金会的顶级开源项目,至于为什么我们要学习Spark,可以总结为下面三点,1.Spark相对于hadoop的优势,1,高性能Spark具有hadoopMR所有的优点,hadoo...
-
零信任 应对人为错误引起的网络威胁
随着企业IT基础设施的变化,不良行为者也通过改变攻击方法和数量而不断发展,在具有多个故障点的数字化、分布式IT环境中,以边界为中心的安全观不再成立,这使得不良行为者更容易侦察和利用漏洞,据调查显示,74%的安全漏洞可追溯到人为错误,即员工故意做他们不应该做的事情,或者成为不良行为者的牺牲品,从他们那...
-
加速零信任采用的三个技巧
随着网络变得越来越复杂,零信任的采用开始加速,根据调研机构Gartner公司的预测,到2026年,10%的大型企业将拥有全面、成熟、可衡量的零信任计划,目前只有1%,,采用的速度很慢,根据普华永道公司2023年发布的一份研究报告,只有36%的企业开始了零信任之旅,那么为什么耽搁了?零信任的大规模集成...
-
技术详解与应用 字节跳动开源云原生数仓引擎 ByConity
ByConity是基于ClickHouse产生,ClickHouse社区已经发展了很多年,字节从2017年开始大规模使用ClickHouse,在验证了多款产品之后,最终发现ClickHouse是唯一能够支撑字节当时的体量以及保证查询体验的产品,在使用ClickHouse过程中遇到了很多的痛点,比如说...
-
容器化技术深度解析与实践 Docker
在当今云计算和微服务架构盛行的时代,容器化技术已成为不可或缺的一部分,Docker作为容器化技术的代表,凭借其轻量级、可移植性和易用性,迅速成为开发者和运维人员的首选工具,本文将深入探讨Docker的核心概念、基本原理、实践操作以及最佳实践,帮助读者从零开始掌握Docker技术,一、Docker简介...