發布時間:2017-07-28
《新型智慧城市基于大數據可視化平臺應用研究》一文,主要論述了數據與信息之間的依存關系;數據流與信息流之間的邏輯關系。重點闡述了新型智慧城市可視化平臺設計方法和大數據可視化平臺的分析展現與應用,以及大數據可視化平臺實現功能等。本文作者提供了對《智慧城市大數據可視化分級分類分析展現構成與內容》的大數據可視化分級分類一覽表和相應的大數據可視化分析展現頁面,這些都是本文作者多年的學術研究成果。本文對于深度理解數據與信息之間依存及邏輯關系和掌握智慧城市大數據可視化“最后一公里”分析展現應用的方法論會有所幫助。
關鍵詞:新型智慧城市、數據、信息、數據流、信息流、大數據可視化、分析展現、分級分類、三融五跨、三中心一平臺。
中央網信辦在新型智慧城市建設“六個一”核心要素中指出:要建立一個開放共享的數據體系,海量數據是新型智慧城市的特有產物,通過對數據的規范整編和融合共用,實現并形成數據的“總和”,進而有效提高決策支持數據的生產與運用,進一步提升城市治理的科學性和智能化水平。新型智慧城市既是大數據產生的源泉,又是大數據分析應用的載體。因此研究新型智慧城市大數據的構成、分析、應用、可視化展現、就顯得非常迫切和必要了。

無論是數據的采集,還是數據存儲,都不是大數據的最終目標。失去對大數據的分析、應用、可視化展現的環節,即使珍貴如金礦一般的大數據也不過是一堆廢鐵而已。大數據的結構模型和核心路徑就是通過采集、存儲、處理、分析、應用、可視化展現的大數據全生命周期,整個大數據鏈條就算徹底走通了。
一、數據與信息之間的依存關系
我們從大數據結構模型中可以看到信息(信息平臺)與數據(數據庫)之間存在著相互的關系。客觀世界是由物質、能量、信息三大要素組成。數據與信息是一種客觀存在,既不是物質,也不是能量。研究大數據就不能不研究數據與信息之間、要素與要素之間、局部與局部之間、局部與全局之間、全局與系統之間、系統與環境之間的相互聯系和作用,都是通過交換、處理、應用的信息平臺和數據庫來實現的。系統的演化,整體特性的產生,高層次人工智能應用的出現,都需要從數據與信息的觀點來理解。數據與信息也是系統工程的基本概念,信息論是系統工程的理論基礎之一。因此,研究數據與信息在新型智慧城市中的開發和應用,是新型智慧城市系統工程研究的重要內容。
數據與信息已經是當今社會的標志,互聯網+,大數據、云計算、物聯網、人工智能等新科技,都是基于數據與信息科技和信息化應用。數據與信息知識已經成為社會發展的第一推動力,數據與信息在社會生產和生活中已經起到不可替代的作用,并在繼續不斷的擴展信息的內涵和外延,信息化應用已經滲透到政府政務、社會民生、城市治理、企業經濟的各行各業的方方面面。信息平臺與數據庫系統將在新型智慧城市建設中發揮不可估量的作用。
早在 1998 年 IBM 提出“數字地球”時,美國總統克林頓就指出“信息是被加工過的數據”的概念。我國信息化的前輩周宏仁教授也指出“數據資源是發展大數據產業的前提。數據資源是需要開發的,而開發的主要形式是構建不同功能、不同形態的信息系統”。這些至理名言充分說明了數據與信息之間的依存關系。
1.大數據的概念
大數據可分為廣義和狹義的概念,廣義的大數據系指:無法用現有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合。狹義的大數據系指:對于海量和復雜數據經過采集、抽取、挖掘、處理、分析后,而獲取的具有經驗,知識、智能、價值的信息。
2.信息的概念
信息的存在不以主體(如人、事物、設備)存在為轉移,即使主體不存在,信息也可以存在。信息在客觀上反映某一客觀事物的現實情況。信息可以通過物質載體形式的數據、記錄、文檔、著作、影像等,也可以是意識形態中的概念、思想、宗教、信仰、愿景等;信息與四維空間無關,信息可以超越距離、空間和時間的約束,可以獨立而永久的存在。從某種意義上講信息屬于“第五維空間”,也就是“虛擬空間”的概念。信息在主觀上可以被接受和利用,并會影響人的思想和指導人的行動。信息與其他資源不同,不會象物質資源,如水、煤炭、電力等因為被使用而被消耗。因此信息是一個取之不盡,用之不竭的資源。
3.數據與信息的關系
數據與信息是信息系統中兩個互為依存的最基本要素。數據是一切活動中產生的記錄符號,數據可以通過加工和組合來表述現實客觀世界的的特征(如對象、屬性、事件、狀態、活動),信息是被加工過的數據,是數據的解釋和含義,而數據則是信息的原材料和載體。因此,數據與信息即相互獨立,又相互密切關聯。

二、數據流與信息流的邏輯關系
我們在了解了數據與信息之間依存的關系,我們就可以進一步通過了解數據流與信息流之間的邏輯關系,來更好的利用數據和信息資源。
我們從數據流與信息流之間的邏輯關系視圖上可以看到,新型智慧城市大平臺由城市級公共信息一級平臺、行業級二級平臺、業務級三級平臺組成;大數據由城市級大數據庫、行業級主題數據庫、業務級應用數據庫組成。多級信息平臺和多級數據庫系統之間存在著對應的物理與邏輯的互聯共享的關系。多級數據庫系統通過數據抽取、數據分析、數據應用分別提供給多級信息平臺的業務應用、行業管理、決策指揮。多級數據庫系統對多級信息平臺的數據服務是通過數據流的方式實現的;數據流的數據服務又通過各級信息平臺的應用和可視化分析展現形成信息流。信息流是實現智慧城市總體功能及各項業務和功能的基礎和保障
1.數據流描述
數據流是一組數據。在數據流視圖中數據流用帶箭頭的線表示,在其線旁標注數據流名。在數據流視圖中應該描繪所有可能的數據流向,而不應該描繪出現某個數據流的條件。數據流視圖是描繪信息流和數據從輸入移動到輸出的過程中所經受的變換。數據流視圖從數據傳遞和加工的角度,以圖形的方式描述數據流從輸入到輸出的移動變換過程。通常數據流視圖包括:
-–指明數據存在的數據符號,這些數據符號也可指明該數據所使用的媒體;
-– 指明對數據執行的處理的處理符號,這些符號也可指明該處理所用到的機器功能;
-– 指明幾個處理和(或)數據媒體之間的數據流的流線符號;
-–便于讀、寫數據流視圖的特殊符號。
數據流視圖有兩種典型結構,一是變換型結構,它所描述的工作可表示為輸入、主處理和輸出,呈線性狀態。另一種是事務型結構,這種數據流圖呈束狀,即一束數據流平行流入或流出,可能同時有幾個事務要求處理。
1)數據流視圖組成元素
數據流視圖組成元素包括數據庫系統的外部實體、處理過程、數據存儲和系統中的數據流四個組成元素。
外部實體
外部實體指數據庫系統以外又和系統有聯系的人或事物,它說明了數據的外部來源和去處,屬于系統的外部和系統的界面。外部實體支持系統數據輸入的實體稱為源點,支持系統數據輸出的實體稱為終點。通常外部實體在數據流程圖中用正方形框表示,框中寫上外部實體名稱,為了區分不同的外部實體,可以在正方形的左上角用一個字符表示,同一外部實體可在一張數據流程圖中出現多次,這時在該外部實體符號的右下角畫上小斜線表示重復。
數據處理過程
數據處理指對數據邏輯處理,也就是數據變換,它用來改變數據值。而每一種處理又包括數據輸入、數據處理和數據輸出等部分。在數據流視圖中處理過程用帶圓角的長方形表示處理,長方形分三個部分,標識部分用來標識一個功能,功能描述部門是必不可少的,功能執行部門表示功能由誰來完成。
數據流
數據流是指處理功能的輸入或輸出。它用來表示一中間數據流值,但不能用來改變數據值。數據流是模擬系統數據在系統中傳遞過程的工具。在數據流視圖中用一個水平箭頭或垂直箭頭表示,箭頭指出數據的流動方向,箭線旁注明數據流名。
數據存儲
數據存儲數據表示信息的靜態存儲,可以代表文件、文件的一部分、數據庫的元素等。數據存儲也表示數據保存的地方,它用來存儲數據。系統處理從數據存儲中提取數據,也將處理的數據返回數據存儲。與數據流不同的是數據存儲本身不產生任何操作,它僅僅響應存儲和訪問數據的要求。在數據流程圖中數據存儲用右邊開口的長方條表示。在長方條內寫上數據存儲名字。為了區別和引用方便,左端加一小格,再標上一個標識,用字母 D 和數字組成。
2)數據流的分層結構
數據流視圖根據數據流層級可分為頂層數據流視圖、中層數據流圖和底層數據流圖。頂層數據流圖表示整個系統;輸出數據流和輸入數據流為系統的輸入數據和輸出數據,表明系統的范圍,以及與外部環境的數據交換關系。中層數據流圖是對頂層數據流視圖中某個加工進行細化,而它的某個加工也可以再次細化,形成子圖;中間層次的多少,一般視系統的復雜程度而定。底層數據流圖是指其加工不能再分解的數據流圖,其加工稱為”原子加工”。
數據流視圖,首先將系統的輸入數據和輸出數據用一連串的加工連接起來。在數據流的值發生變化的地方就是一個加工。接著,給各個加工命名。然后,給加工之間的數據命名,給出文件命名。對于大型系統、巨系統或復雜巨系統,為了控制復雜性,便于理解,需要采用自頂向下逐層分解的方法進行,繪出分層數據流視圖。即用分層的方法將一個數據流視圖分解成幾個數據流視圖來分別表示。
3)數據流視圖的表述方法
頂層數據流視圖的表述:
頂層流圖只包含一個加工,用以表示被開發的數據庫系統,然后考慮該數據庫系統有哪些輸入數據、輸出數據流。頂層數據流視圖的作用在于表明被開發數據庫系統的范圍以及它和周圍環境的數據交換的關系。
數據庫系統內部視圖的表述
即下層數據流圖,不再分解的加工稱為基本加工。一般將層號從 0 開始編號,采用自頂向下,由外向內的原則。畫 0 層數據流視圖時,分解頂層流圖的系統為若干分系統,決定每個分系統間的數據接口和活動關系。
數據流表述的含義
-–數據流不是控制流,數據流反映數據庫系統“做什么”,不反映“怎么做”和“如何做”;
—數據流不是物質流,數據流反映的是能用計算機處理的機讀數據,并不是實物,因此對目標系統的數據流視圖一般不表述物質流;
—每個加工的表述至少有一個輸入數據流和一個輸出數據流,反映出此加工數據的來源與加工的結果;
-–如果一張數據流視圖中的某個加工分解成另一張數據流圖時,則上層圖為父圖,直接下層圖為子圖。父圖與子圖的平衡,子圖的輸入輸出數據流同父圖相應加工的輸入輸出數據流必須一致;
-– 局部數據存儲,當某層數據流圖中的數據存儲不是父圖中相應加工的外部接口,而只是本圖中某些加工之間的數據接口,則稱這些數據存儲為局部數據存儲。
2.信息流描述
信息流有廣義和狹義兩種。廣義指在空間和時間上向同一方向運動過程中的一組信息,它們有共同的信息源和信息的接收者,即由一個信息源向另一個接受端傳遞的全部信息的集合。人們采用各種方式來實現信息交流,從面對面的直接交談直到采用各種現代化的傳遞媒介,包括信息的收集、傳遞、處理、儲存、檢索、分析等渠道和過程。信息流的狹義定義是指信息的傳遞運動,這種傳遞運動是在現代信息技術研究、發展、應用的條件中,信息按照一定要求通過一定渠道進行的,在信息處理過程中信息在計算機系統和通信網絡中的流動。
隨著社會的信息化和信息大量涌現,以及人們對信息要求的激增,信息流形成了錯綜復雜、瞬息萬變的形態。這種流動可以在人和人之間、人和機構之間、機構內部以及機構與機構之間發生,甚至物與物之間,包括有形流動和無形流動,前者如報表、圖紙、書刊等,后者如電信號、聲信號、光信號等。在社會經濟生活中,隨著商流、物流與資金流的分離,信息流的作用越來越重要,其功能主要體現在溝通連接、引導調控、輔助決策以及經濟增值等方面。
1)數據與信息的表述
數據是指某一目標定性與定量描述的原始資料,包括數字、文字、符號、圖形、圖像以及它們能夠轉換成的數據等形式。信息是向人們或機器提供關于現實世界新的事實的知識, 是數據、消息中所包含的意義。 數據與信息是不可分離的。信息由與物理介質有關的數據表達,數據中所包含的意義就是信息。信息是對數據解釋、表述和應用。數據即使是經過處理以后的數據,只有經過解釋才有意義,才成為信息;就本質而言,數據是客觀對象的表示,而信息則是數據內涵的意義,只有數據對實體行為產生影響時才成為信息。數據是記錄下來的某種可以識別的符號,具有多種多樣的形式,也可以加以轉換,但其中包含的信息內容不會改變。即不隨載體的物理設備形式的改變而改變。信息可以離開信息系統而獨立存在,也可以離開信息系統的各個組成和階段而獨立存在;而數據的格式往往與計算機系統有關,并隨載荷它的物理設備的形式而改變。 數據是原始事實,而信息是數據處理的結果。不同知 識、經驗的人,對于同一數據的理解,也可得到不同信息。
2)信息流視圖的意義
新型智慧城市屬復雜巨系統,其建設的核心和基礎就是數據、信息、知識、智慧。根據系統工程方法論的基本原理,從分解到綜合總體規劃,從定性到定量綜合集成,信息流視圖是建立新型智慧城市數據流、知識流、智慧流的中間流層,是建立數據、信息、知識、智慧相互關聯的重要環節。
數據是信息的原材料,數據只是表示發生了什么事情?并不提供對事情的判斷和解釋,數據是行動和認知的可靠基礎與依據。信息是人們對數據進行系統的組織、整理加工和分析,使其產生相關性、互聯性、共享性,信息是數據的高級表現形式。知識是將信息從定性到定量的過程,使得信息得以實現抽象化和邏輯化,知識通過對信息的使用歸納、演繹的方法而得到知識,知識是人們利用信息來解決問題的一種表現和能力(或稱力量)。智慧的產生需要基于知識的積累和應用,只有在掌握知識的前提下經過廣泛深入的實踐檢驗,被消化和吸收,才能成為了個人或集體對問題的一種判斷、決策和處理事物更高層次智慧能力的體現。
新型智慧城市信息流視圖,正是基于多級數據流視圖,并通過多級信息平臺,將數據流經過系統組織、整理加工轉換成為具有關聯性、互聯性、共享性的信息流。信息流又通過各級信息平臺提供業務處理、行業管理和決策指揮的知識和智慧。信息流視圖是數據、信息、知識、智慧相互關聯的、清晰的、詳細的描述。
3)信息流視圖組成元素
信息流視圖組成元素包括信息收集、信息處理、信息傳遞三個組成元素。
信息收集
信息收集是信息流運行的起點,它是分散的信息向收集者集中的過程。信息的收集者成為信息的信宿,它是按照自己的目的和需要來集中有關信息。收集信息的質量,即信息的真實性、可靠性、準確性、及時性,決定著能否達到預定的目的和能否滿足需要。收集信息必須遵循一定的原則進行。
— 具有明確的目的性。收集信息的目的決定著收集的范圍、深度、方法和費用。只有與目的(目標)相聯系的信息才是收集的對象。對于出于戰略性的目的收集信息,所涉及的范圍就很大,可以采用分級分類收集的方法,將收集信息分為戰役性信息和戰術性信息;
— 確定深度和精度。這是按照收集目的的要求來確定的。不同的目的對深度和精度的要求也不相同。深度和精度決定著收集的難易程度和內容;
—選擇信息源,建立信息渠道。信息源的選擇取決于收集目的及信息內容。選擇信息源先要利用現有信息和現有信息渠道,確定具有連續性相對穩定的信息源和信息渠道,是非常重要的。
信息處理
收集來的信息往往是碎片化的,有時甚至是片面的、重復的、虛假的,必須經過處理才能去偽存真,歸納出結果,提高信息的使用價值。信息處理主要包括以下內容:
—分類及匯總,對碎片化的信息按照一定的標準進行分類整理,重新組合后,才能顯示出信息之間的相互聯系,為分析、比較、判斷創造條件。分類采用統一的標準或者規范,要有較強的通用性。建立專門的信息標準。編碼或目錄是分類的方法之一,它是存儲信息,利用信息系統進行處理的重要手段;
—分析、判斷、形成結果,大量的信息羅列在一起,有真有假、有主有次、相互孤立、形式各異,既不容易存儲和檢索,也難以觀察到信息所反映的事物本質內容。特別是關系管理和決策的信息,如果只是大量的數據,應用起來將非常困難。因此,要對信息進行比較、分析、計算,使之有條理、有規范、有序列,進而作出判斷,形成結果,信息才有較高的使用價值。所以可以說,信息處理是對信息進行再創造的過程,是信息流運行非常重要的環節;
-–存儲和更新,經過處理的信息,有時不是立刻投入使用,有的雖然已經使用過,但仍然有再利用的價值,這就需要進行信息存儲。現代信息存儲方式,主要是利用電子計算機技術建立數據庫進行海量存儲。
信息傳遞
信息傳遞是信息從信息源發出,通過一定的媒介和信息渠道傳輸給接收者的過程。如果說,信息收集相當于生產所需原材料的供應過程,信息處理相當于生產過程。信息收集也是信息傳遞的內容。信息傳遞既有單向傳遞,也有雙向和多向傳遞。其中,反饋傳遞是信息傳遞非常重要的內容和特點。信息傳遞有縱向傳遞和橫向傳遞兩種流向。縱向傳遞是同一組織內部上下級之間的傳遞,橫向傳遞是不同組織之間的傳遞。縱向傳遞是組織傳遞,橫向傳遞是協同傳遞。縱向傳遞是不同環節之間的傳遞,橫向傳遞是相同環節之間的傳遞。縱向傳遞是有序的傳遞,橫向傳遞是無序的傳遞。信息互聯過程以橫向傳遞為主,數據共享過程以縱向傳遞為主。
4)信息流視圖功能
信息流互聯功能
信息流的過程是作為一個整體的運動,即體系的運動來實現的。信息是由各種要素的集合,不同的信息要素之所以能形成集合,是靠信息流把它們聯接在一起的。在信息流多級信息平臺之間的關系,從本質上講是信息互聯和信息交換的關系。信息流將一個個孤立的環節,連結成為連續不斷的有序活動。信息流產生于從數據到信息的轉換過程,是活動的客觀反映。
每一個主體都是依據它所接收到的信息從事活動,它所進行的活動又表現為一定的信息傳遞出去,被其他主體接收,成為其他主體活動的依據。如此循環往復,形成了信息流互聯互通的有機聯系和運動。
信息流不僅具有連結和貫通新型智慧城市總體功能體系、系統體系、技術體系、標準體系、信息基礎設施體系的功能,而且具有溝通“三融五跨” (注 1)體系與外部系統和環境的功能。新型智慧城市信息流不是孤立的,它處在社會經濟的大系統之中,是大系統的組成部分。其它系統構成信息流外部系統和外部環境,影響著信息流的運動。信息流反過來也影響其它系統的運動。不同系統之間的相互影響和聯系,同樣是靠信息流來聯接的。
信息流調控功能
信息流的調控功能產生于互聯互通的聯接功能。信息是能夠被人們理解、接收和利用的信息,是經過一定程度處理的信息。因此,信息在聯接要素的時候,所反映的客觀內容就是事物的狀態和人們行為的結果。這樣,在事物與人之間就產生了一個過程,每一個人都取得其他人的信息,這些信息會影響人們的行動和后果,而個人信息同時也影響相互聯系的其他人的行為,信息的變化將會使人們的行為發生變化,這就是信息流的調控功能。
信息流決策功能
信息流是不斷變化的動態過程,信息流所賴以存在的運動環境也是不斷變化的動態環境。無論是運動著的過程,還是變化著動態環境,都存在大量的不確定因素。信息的重要功能,是使決策當事人了解動態變化的狀況,以減少不可避免的不確定性,從而為處理事件和行動作出恰當的選擇,并控制行為的后果。信息越完善、充分、及時,不確定性就越少,決策就可以越合理。
決策過程實際上就是信息的收集、傳遞、分析、處理、判斷的過程。從決策的角度來看,有兩類信息是必須的。一類是決策面臨的可選擇行動系列信息;另一類是影響這些行動后果的信息。顯然,這些信息需要經過收集才能得到,而信息的質量對決策來講至關重要。當決策者對收集到的信息進行處理,作出判斷,確認了不同行動可能產生的后果時,決策實際上已經作出來了。

3.數據、信息、網絡之間互聯互通的關系
新型智慧城市大數據可視化平臺建設的過程就是建立信息互聯互通、數據共享交換、業務功能協同的過程。新型智慧城市大數據、大平臺、大網絡是智慧城市大數據“總和”體系建設的一個整體。
大數據是大平臺的數據源和提供有價值知識信息的支撐;大平臺提供大數據的挖掘分析、人工智能、可視化展現與信息互聯互通的環境;大網絡是數據與信息傳輸的通道和安全保障。新型智慧城市大數據結構體現了數據、信息、網絡相互之間的物理與邏輯互聯互通的關系和應用及功能協同的關系。新型智慧城市大數據分級分類結構由城市級大數據庫、業務級主題數據庫、應用級數據庫分級和知識決策類、經驗管理類、過程應用類分類數據構成。
1)分級分類大數據
分級分類大數據是構成新型智慧城市政務大數據和社會大數據采集、存儲、應用的共享交換平臺。運用“信息柵格”開放的體系架構,采用以“數據為中心”的分級分類的總體結構。以城市級大數據八大基礎庫為核心,形成與行業級二級主題數據庫、業務級三級應用數據庫的分級和政府政務、城市社會治理、社會民生、企業經濟的分類的數據與信息緊密相連的一體化大數據共享交換體系。
2)分級分類大平臺
分級分類大平臺是構成新型智慧城市政務信息資源和社會信息資源互聯互通的共享平臺。運用“信息柵格”開放的體系架構,采用以“平臺為中心”的分級分類的總體結構。以城市級共享信息一級平臺為核心,形成與行業級二級平臺、業務級三級平臺的分級和政府政務、城市社會治理、社會民生、企業經濟的分類的數據與信息緊密相連的智慧化信息資源共享體系。
3)分級分類大網絡
分級分類大網絡是構成新型智慧城市“天地一張柵格網”的網絡融合與安全中心。運用“信息柵格”開放的體系架構,采用以“網絡為中心”的分級分類的總體結構。以城市級互聯網為基礎,形成與各級政府電子政務內網和電子政務外網的分級和政府政務、城市社會治理、社會民生、企業經濟的分類的數據與信息緊密相連的網絡融合與安全一體化大網絡體系。
本文來源:新電子集團