談到數據采集,我們首先想到的問題自然是,從哪里采集?也就是說,我們的采集點是什么?當前的大數據時代,數據來采集來源往往具有高度的多樣性,而不同的數據源也常常需要不同的采集方法,才能有針對性地采集。接下來小編為大家介紹介紹收集數據的方式有哪些。
收集數據的方式有哪些
公司內數據主要是指公司自營產生的數據。可以是公司各業務線業務運營產生的業務數據,也可以是公司經營類數據。業務數據可分為實體數據、交易數據和行為數據。經營類數據可分為收入、成本、費用等。
從技術上可分為:1)直連系統DB采集;2)系統接口采集;3)系統日志采集;或者分為離線數據采集和實時數據采集。
公共數據主要是指政府在行政執法過程中產生的信息,比如行政許可、法院訴訟等這些活動所帶來的信息。
公共數據一般由數據服務機構通過數據服務平臺,通過查詢UI或訪問接口,向大眾開放。查詢UI一般會配備動態校驗碼技術,訪問接口一般會配備限流技術避免平臺超負荷運轉宕機。
第三方數據指在公司與其他企業合作獲得的數據。比如自己公司有技術別的公司有數據,或者自己與對方公司各有不同細分市場數據,雙方合作能形成戰略上的互補。
不管采用何種收集數據的方法,除采用自動采集技術外,還經常輔助人工采集。例如對于頻率不高的采集場景,人工采集后可以通過郵件、ftp、網盤或上傳網站等方式傳送。以上就是收集數據的方式有哪些的全部內容了,希望能夠幫到大家。
[免責聲明]
文章標題: 收集數據的方式有哪些
文章內容為網站編輯整理發布,僅供學習與參考,不代表本網站贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請及時溝通。發送郵件至36dianping@36kr.com,我們會在3個工作日內處理。