COSCUP 演講內容共筆整理

【2020農業開放資料論壇】挖資料掘商機:農業開放資料經濟學 - 【農業智庫報導】PI阿柴

tags: COSCUP2020 入門 TR209

農業data

傳統的

  • 服務模式:平台開發者為資料產出者

現今

  • 服務模式:每一個人都是data producer

開放資料:每個人都可以提供資料、使用資料,都可以對資料做編制

說笑話給我聽為範例

依規則:資料庫搜索(例如:飲料杯笑話、讓我笑話你)

  • 資料庫沒有,就找不到資料

依據機率:AI模組(語意分析的模組)->判斷語意->詞彙關聯集or 笑話資料集

  • 開放資料

  • 社群

  • 協作文化

資料庫文本分析、資料探勘

農業智庫報導 Agritech https://www.agrianalytics.tw/

資料來源

  • 農業科技辭庫清單

  • 農業科技文本資料集

語意分析模組、詞彙判識模組

  1. 改善傳統關鍵詞系統,量化關鍵詞重要程度(TF-IDF)

  2. 商業應用:農業AI詞彙判斷式模組,自動進行關聯性分析

  3. 資料標準化取決於使用者需要什麼內容、解決問題

AgriVocTaiwan 數位轉型3化

https://github.com/AgriAnalyticsTaiwan/AgriVocTaiwan

數位化、結構化、標準化(資料格式)

  • 不能結構化的資料沒有分析的必要

  • 缺乏見解的資料,沒有應用的價值->缺乏見解的資料,沒有應用的價值

Q&A時間

搜集了很多農業詞彙的資料,請問是只有將資料讀進資料庫,還是用全文語意去結構化資料?

有辭庫很重要,透過科研的文本資料作分析,利用農委會公開的資料裡面找出關聯的詞彙 困擾處:跨領域關鍵字、模糊概念(ex,farming)

1.關鍵字搜索 2.語義文本分析,透過jieba 3.詞彙語意分析第一場的共筆連結 https://hackmd.io/r3vmdSvHSeW4Q9Efo4JCQA

【2020農業開放資料論壇】好多農業Open Data在農試所 - 【農業智庫報導】PI阿柴

tags: COSCUP2020 入門 TR209

主題:土壤資料的OPEN DATA
講者:郭鴻裕

農業試驗所

台灣土壤資源與農地土地覆蓋圖資瀏覽查詢系統

精準農業資訊->地理圖資

資料->資訊->決策->行動

土壤的顏色

土壤剖面圖

黑色的土壤是有機質,代表二氧化碳

Soil Properties Map

鎂量合宜範圍

土壤資訊建置

Q&A時間

土壤肥力分析是否有機會透過開源資料的分享?

網格資料,目前是免費提供農民服務,但要提供地籍資料。

小農 or 企業農

印度說:小農的精準農耕能供應的糧食比企業農多。

【2020農業開放資料論壇】悠由農:農產數據科學經驗分享 - 【農業智庫報導】PI阿柴, Shaw Wu

tags: COSCUP2020 入門 TR209

主題: 農產數據科學經驗分享
講者: 吳君孝

悠由金錢報 阿龜微氣候

開放資料轉變為有價值的服務 並向使用者收費

  • 農產業數據應用

  • 農產交易預測

  • 作物產地分析

和你想的不一樣:

  • 很多已存的農民覺得巡田很好,健身

數位銷售 打開新的數位渠道、通路 資料透明化後 能做的事情非常多

  • e.g. 當產地價格大跌時但終端的價格微跌時其利差擴大

開源的好處 交流

悠遊農預測系統

悠遊農預測系統:結合作物模型演算法、栽培模式與巨觀微觀的氣候資料,產量預測。目前有香蕉田預測案例

  • 用歷史資科(生理資料如品種、土壤等)預測比用 sensors 直接測更划算,精準度在一天內

農業資料的缺值很多,需要注意這些缺值的處理如刪去、或是用 Deep Learning 的方式補值

數據收集需要應用生農學院傳統課程,進行實驗設計 種田當中已經在做實驗了

現況分析> 原因分析> 實際解決執行能力

將田間狀況數據化

應用案例

  • 憑據經驗、加上新的分析結果,相互合作

  • 根據科學數據進行修正決策!

  • 從數據面去看,改變的是什麼(例:露天栽培無法控制雨量)

  • 給水是看土壤含水量再去灑的,品質可以到比較標準的狀態

  • 鳳梨

    • 規格品比率提升30%(從50% -> 80%)

    • 鼓聲果 vs 肉聲果(8%→1%)

    • 傳統經驗推測下雨影響品質轉變

    • 蒐集數據後,發現下雨與品質相關係數低(R:0.23)

    • 找出關鍵參數:土壤含水量

    • 鳳梨的果實發育是在半夜

  • 番茄

    • 小番茄平均果重提升16%、每株產量提升18%

    • 三段法:現況>原因>執行

    • 落實作物生理與資料分析的結合

    • 關鍵參數:溫度、光照、電導度

  • 薑田

    • 生產成本省下25%

    • 噴灌設備科學化效益評估

      • 貴不一定好,應以量測結果(e.g. 土壤保水度)評估

    • 不同生產作物應該有不同澆灌方式

    • 與傳統數據公司差異:

      • 新系統可以立即性反饋,滾動式修正

思考設計解決的方法 透過交流的方式 跨領域協作

Q&A

Q: 領域知識如何補足 A: 請教專家補足

Q: 如何跟客戶收錢 A: 經驗技術轉化累積、case by case

  • 顧問費:按照作物與年份來收

  • 價格服務:採訂閱制

  • 產地作物新增數位通路

Q: 如何說服業主打造可用資料科學解決痛點的硬體環境 A: 根據需求與他想賣的價格,算一個業主 affordable 的 solution ,並約定一個時間(如3年),來驗收。

Q: 如何判斷鳳梨為肉聲果 A: 靠經驗、聲波、敲敲看、科技方面:光譜儀 marketing、business model是做儀器關鍵

【2020農業開放資料論壇】 一起來討論Open Data的社群守則 - 【農業智庫報導】PI阿柴

tags: COSCUP2020 入門 TR209

主題:
講者:阿柴 吳君孝 郭鴻裕 蔡育彰

Q&A

Q: 如何運用農業智庫推廣實際運用? A: 永續發展、經營、短期目標 要的是什麼,獲利、企業形象[name=阿柴] 有些標準可以交流的,透過交流慢慢建立資料型態[name=吳君孝] Q: know how是否能分享? A: 不能外流的,資料的保護上可以有更多的探討 有機農的祖孫代,傳統與科技的配合,人與經驗上的溝通[name=吳君孝] Q: 土壤資料開放 A: 盡量的開放,每個單位都有不同的政策及立場[name=郭鴻裕] Q: 有風險性的資料 是否適合開放? 會不會造成社會風險 DATA這麼多 應該要開什麼格式? 因為格式關乎品質 A: 產業需要的資料品質、狀態: 主流工程技術面:開源 格式跟標準是否雙方都能溝通 使用需求的不同,所需要資料的型態都會有差別 ex: 土壤分配 不希望拿到太學名的 但也怕專家有認知上的誤會 資料轉換上會因產業的不同多去做溝通 基礎資料的研究 研究報告背後的資料的重要性 開放資料的品質 田間紀錄需要再key,讓紙本數位化 Q: 什麼樣的品質比較容易被分享 A: 發表的東西,下一次申請經費的來源 原始數據保留五年,在一定的範圍內需要再累積研究成果,需標明資料來源[name=蔡育彰]

希望能開放原始數據 了解是否正確、分析 讓大家知道精準度,原始資料怎麼來的

Q: 如何修正這些資料 A: 政府長年在蒐集的資料需不斷的調整、回饋 1. 在資料、文章下方留言 2. 交流 公司協力

產業要的資料是很細緻的,需要透過安排、溝通、對話流程去了解哪些是產業所需要的資料

政府看的是大項 空間尺度、空間尺度

農民為何願意提供資料? 幫農民收水稻 (交換利益) 收割的同時也在做土壤的調查

Q: 怎麼樣可以將蒐集的資料互相交流呢 A: 研究資料數位化、開發研究工具、環控資料

怎麼將他量化、數位化 拆解之後再組回去、credit資料來源、透過社群集思廣益

顯著因子的蒐集: 設計所要的結論 輸出 蒐集資料的條件 建模前輸入的參數

資料蒐集的價值 雙方各自貢獻、互相信賴

Q: 產業界的人需要或想取得的開放資料是什麼 遇到的困難是什麼 A: 明確知道需求是什麼,嘗試著去跟政府要,土壤的資料是最寶貴的,長時間、延續性的資料是最好的。

服務的社群是誰,科技跟傳統產業間可能會有誤解,但傳統產業會可以了解有一群人是可以幫助做這件事的, 若牽扯到太商業利益的部分會亂掉,可以先找專家、相關利益人進行討論。需要有各種不同角色。

官方開放資料是把雙面刃,民間要說是做什麼用、原因,期盼政府開放什麼。

社群守則與展望

FAIR

  • Findable

  • Accessible

  • Interoperable

  • Reusable

  1. 以社群力組成有志一同的跨域農業open data社群

  2. 依照使用者需求,以協力策略共同改善資料品質

  3. 推動「研發機構」的資料數位化,並研擬回饋機制

  4. 挖坑、分享、回饋,共同建立數位農業生態系

  5. 用數位科技留住農業人才

Last updated

Was this helpful?