从0开始回顾ElasticSearch 2024-05-23 elasticsearch, jenkins, 全文检索, 搜索引擎, 大数据 96人 已看 Lucene是Apache软件基金会Jakarta项目组的一个子项目,提供了一个简单却强大的应用程式接口,能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言,Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。但Lucene只是一个提供全文搜索功能类库的核心工具包,而真正使用它还需要一个完善的服务框架搭建起来进行应用。Elasticsearch和Solr,这两款都是基于Lucene搭建的,可以独立部署启动的搜索引擎服务软件。
未授权访问:Hadoop 未授权访问漏洞 2024-05-20 hadoop, 分布式, 大数据 263人 已看 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,由于服务器直接在开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除,下载,目录浏览甚至命令执行等操作,产生极大的危害。
数据仓库、数据中台、大数据平台之间的关系 2024-05-20 数据仓库, spark, 分布式, 大数据 125人 已看 数据行业经常会出现数据仓库、数据中台、大数据平台等概念,容易产生疑问,它们中间是相等,还是包含的关系?
基于Hadoop的气象数据分布式存储技术研究 2024-05-22 java, hadoop, 分布式, 大数据, eclipse 141人 已看 本文针对气象数据存储与处理问题展开研究,提出了一种基于Hadoop的分布式存储技术。随着气象数据量的不断增大,传统的存储方式已经无法满足高速、高容量的需求。为了提高气象数据的存储效率和处理速度,本文引入了Hadoop分布式文件系统(HDFS)和分布式处理框架(MapReduce)。首先,本文简要介绍了气象数据的特点及其在气象预测、灾害预警等方面的重要性。然后,详细分析了传统存储方式存在的问题,包括存储能力受限、读写效率低下等。针对这些问题,本文提出了基于Hadoop的分布式存储方案。
数据仓库、数据中台、大数据平台之间的关系 2024-05-20 数据仓库, spark, 分布式, 大数据 97人 已看 数据行业经常会出现数据仓库、数据中台、大数据平台等概念,容易产生疑问,它们中间是相等,还是包含的关系?
【大数据篇】Hadoop:大数据处理的核心基石 2024-05-20 hadoop, 分布式, 大数据 49人 已看 Hadoop决定创建一个由许多小伙伴组成的探险队,每个小伙伴都擅长处理不同类型的数据。他找到了擅长存储大量数据的“HDFS”(Hadoop Distributed File System),让它负责建造一个巨大的数据仓库,用来存放所有收集到的数据。接着,Hadoop又找到了擅长并行处理的“MapReduce”兄弟俩。Map哥哥负责将数据拆分成小块,让探险队的每个成员都能同时处理一部分数据;而Reduce弟弟则负责将处理完的数据汇总起来,形成最终的结果。在HDFS和MapReduce的帮助下,Hadoop
hadoop hdfs优势和缺点 2024-05-22 算法, 深度优先, hadoop, 分布式, 大数据 86人 已看 hdfs优点高容错性适合处理大数据可构建再廉价的机器上hdfs缺点不适合做低延迟数据访问毫秒级的存储数据做不到无法高效的对大量小文件进行存储不支持并发写入 文件随机修改一个文件只能有一个writer 不允许多个线程同时写仅支持数据追加 不支持文件的随机修改hdfs组织结构namenode 就是master 他是一个主管 管理者管理hdfs的名称空间配置副本策略管理数据块映射信息处理客户端读写请求datanode 就是slave namenode下达
Git基础命令:带图整理 2024-05-21 elasticsearch, 全文检索, 数据库, 搜索引擎, 大数据 84人 已看 常见使用:删除已经提价到远程仓库的 .idea, .seting 文件/文件夹(项目构建自动生成的)暂存区(stage/index)用于从工作区和索引中删除文件。
WPF之容器标签之Canvas布局标签 2024-05-21 java, 容器, hadoop, wpf, 大数据, 开发语言 61人 已看 Canvas:定义一个区域,可在其中使用相对于 Canvas 区域的坐标以显式方式来定位子元素。
【Elasticsearch】Centos7安装Elasticsearch、kibana、IK分词 2024-05-22 elasticsearch, jenkins, 全文检索, 搜索引擎, 大数据 97人 已看 Centos7安装Elasticsearch6、kibana、IK分词器
微火问答:全域外卖和本地生活服务是同个项目吗? 2024-05-22 生活, 大数据 107人 已看 当前,本地生活赛道火爆程度不断升级,作为其主要板块之一的团购外卖也持续迸发出新的活力。而全域运营的出现无疑是给团购外卖这把正在熊熊燃烧的烈火,又添了一把新柴!
gitee 远程仓库 2024-05-18 git, elasticsearch, 全文检索, 搜索引擎, 大数据 105人 已看 本地同样的在master分支上进行同样的文件(4.txt)修改,然后提交到远程,会报错提示。然后是线上(即gitee上)在master分支上,修改任意文件(4.txt)首先要保证的是初始状态上线上和本地是一直的(即本地先pull一下)根据提示,自行决定保留,然后提交即可。
Idea中flume的Interceptor的编写教程 2024-05-19 java, flume, intellij-idea, ide, 大数据 117人 已看 /键入implements Interceptor{} 光标定位到Interceptor alt + enter键选择导入类导入flume的Interceptor即可 import org.apache.flume.interceptor.Interceptor;打开四个窗口,前三个分别运行flume1.conf、flume2.conf、flume3.conf 配置的进程。注意位置是将来打包文件存放的位置,即我们打包好的文件在这/export/data个目录下寻找。# 接收c1中的数据。