2020年7月10日

摘要:隨著我司的應用都開始容器化,相應的ETL流程也需要遷移到流程中。常規的SQL和shell腳本遷移之后執行基本沒有問題,主要的問題在于數據接入使用kettle的場景下,kettle啟動異常。 kettle部署方式 kettle掛載在某臺主機的路徑下,該路徑映射到一個裝有Azkaban容器的路徑,日常任 閱讀全文
posted @ 2020-07-10 15:07 camash 閱讀(18) 評論(0) 推薦(0) 編輯

2020年7月6日

摘要:6月份的大部分時間在完成一個特殊的數據遷移工具,將文件中的標簽整合到關系型數據庫的表字段中。從近幾年的技術趨勢和參與的項目看,基本都是從關系型數據庫往大數據組件遷移。在這個項目中,主要是客戶和相關應用的供應商依賴于PostgreSQL的GIS插件。因此我也有幸使用了一次PostgreSQL數據庫。本 閱讀全文
posted @ 2020-07-06 22:02 camash 閱讀(103) 評論(0) 推薦(0) 編輯

2020年6月29日

摘要:方法: 直接從系統視圖構造修改的sql select concat('alter table ' ,table_name ,' CHANGE ' ,COLUMN_NAME, ' ' ,COLUMN_NAME, ' ' ,DATA_TYPE ,'(' ,CHARACTER_MAXIMUM_LENGTH 閱讀全文
posted @ 2020-06-29 18:22 camash 閱讀(33) 評論(0) 推薦(0) 編輯

2020年6月7日

摘要:接上一篇數據倉庫知識點梳理(3)對數據立方體和MDX的介紹,本文將在本地Windows環境上搭建基于數據立方體的數據分析平臺。并對一個示例立方體進行多維度分析。 環境配置 軟件下載和安裝 本文使用Pentaho的社區版本BI Server作為數據多維分析的工具,下載地址為https://source 閱讀全文
posted @ 2020-06-07 22:35 camash 閱讀(52) 評論(0) 推薦(0) 編輯

2020年4月30日

摘要:疫情期間,好多國家都推行了居家隔離的政策。為了充實大家的宅家生活,一些公司和機構都免費開放了版權資料。比如約翰霍普金斯大學的「muse」項目https://about.muse.jhu.edu/resources/freeresourcescovid19/,收集了不少大學圖書館的電子書,可以在線觀看 閱讀全文
posted @ 2020-04-30 23:44 camash 閱讀(99) 評論(0) 推薦(0) 編輯

2020年4月25日

摘要:本文介紹了OLAP數據立方體的基本定義和要素,以及數據分析時對立方體的基本操作類型和在商業軟件中對立方體進行操作的MDX語言。 閱讀全文
posted @ 2020-04-25 22:58 camash 閱讀(188) 評論(0) 推薦(1) 編輯

2020年4月7日

摘要:本文從業務分析的歸因/相關性分析的方式,引入了維度建模,兩者具有相同分析路徑。然后介紹了維度建模的基礎——事實表和維度表,它們關聯之后的產物即星型模型。 閱讀全文
posted @ 2020-04-07 22:16 camash 閱讀(695) 評論(0) 推薦(1) 編輯

2020年3月29日

摘要:近幾年隨著「大數據」、「數據驅動」、「數據中臺」等概念在互聯網界的熱炒,懂數據的獲取、處理到算法推薦、模型預測等人才也得到熱捧。觀感上,這些技能領域是隨著大數據時代而來的。而實際上,早在上世紀80年到90年代初數據倉庫和數據決策支持系統概念已經提出,本質上都是將多源頭的數據集中起來,采用統計學的方法 閱讀全文
posted @ 2020-03-29 21:42 camash 閱讀(681) 評論(0) 推薦(1) 編輯

2020年2月2日

摘要:為了解決我的macbook pro 13在Mojave下的閃屏問題,將系統更新到了Catalina。使用MacVim是發現部分字符的下半部分顯示不全,如g, q的下部分。嘗試在配置文件中調整字體大小和行間距都不能解決問題。 但是,如果通過command + 進行縮放后,顯示就正常了。懷疑是兼容性問題 閱讀全文
posted @ 2020-02-02 22:46 camash 閱讀(74) 評論(0) 推薦(0) 編輯

2020年1月11日

摘要:結合 "假設檢驗" 的理論知識,本文使用Python對實際數據進行假設檢驗。 導入測試數據 從線上下載測試數據文件,數據鏈接:https://pan.baidu.com/s/1t4SKF6U2yyjT365FaE692A 數據字段說明: gender:性別,1為男性,2為女性 Temperature 閱讀全文
posted @ 2020-01-11 16:41 camash 閱讀(1300) 評論(0) 推薦(0) 編輯

導航

統計

色网站直播