本文分类:news发布日期:2025/1/19 2:31:33
相关文章
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…
建站知识
2025/1/19 2:26:43
【大数据学习 | Spark-Core】Spark提交及运行流程
spark的集群运行结构 我们要选择第一种使用方式
命令组成结构 spark-submit [选项] jar包 参数
standalone集群能够使用的选项。
--master MASTER_URL #集群地址
--class class_name #jar包中的类
--executor-memory MEM #executor的内存
--executor-cores NUM # executor的…
建站知识
2025/1/17 18:51:42
微服务即时通讯系统的实现(服务端)----(1)
目录 1. 项目介绍和服务器功能设计2. 基础工具安装3. gflags的安装与使用3.1 gflags的介绍3.2 gflags的安装3.3 gflags的认识3.4 gflags的使用 4. gtest的安装与使用4.1 gtest的介绍4.2 gtest的安装4.3 gtest的使用 5 Spdlog日志组件的安装与使用5.1 Spdlog的介绍5.2 Spdlog的安…
建站知识
2025/1/13 14:24:05
用python将一个扫描pdf文件改成二值图片组成的pdf文件
使用墨水屏读书现在似乎越来越流行,这确实有一定的好处,例如基本不发热,电池续航时间超长,基本不能游戏所以有利于沉浸式阅读,还有不知道是不是真的有用的所谓防蓝光伤害。但是,如果阅读的书籍是扫描图片组…
建站知识
2025/1/13 21:52:02
111 - Lecture 10
File I/O and GUI with JavaFX
文件输入/输出与JavaFX图形用户界面 一、Overview 1. File I/O
(1) learning Java File I/O mechanism
(2) writing into and reading from a file 使用文件I/O进行数据读取和…
建站知识
2025/1/5 20:39:45
【大数据学习 | Spark-Core】yarn-client与yarn-cluster的区别
1. yarn的提交命令
# yarn的提交命令参数
--master yarn #执行集群
--deploy-mode # 部署模式
--class #指定运行的类
--executor-memory #指定executor的内存
--executor-cores # 指定核数
--num-executors # 直接指定executor的数量
--queue # 指定队列
2. yarn-client模式…
建站知识
2025/1/16 13:01:19
【大数据学习 | Spark-Core】Spark的分区器(HashPartitioner和RangePartitioner)
之前学过的kv类型上面的算子
groupby groupByKey reduceBykey sortBy sortByKey join[cogroup left inner right] shuffle的
mapValues keys values flatMapValues 普通算子,管道形式的算子
shuffle的过程是因为数据产生了打乱重分,分组、排序、join等…
建站知识
2025/1/17 0:15:13
C++:类和对象(三)
1.深入了解构造函数
1.1初始化列表 引入:我们首先要知道,在类中我们是声明变量,在实例化的时候才是开空间,在调用构造函数的时候又分两段,一段是定义(所有的成员变量进行定义),一段…
建站知识
2025/1/13 9:30:59