Особливості побудови алгоритмів планування задач у рамках концепції граничних обчислень.
Ключові слова:
хмарний сервіс, «Інтернет речей», граничні обчислення, програмні додатки, час затримки, планування завдань потокової обробки даних, математична модель, цільова функція
Анотація
Розглянуто сучасні підходи, які використовуються при впровадженні автоматизованих системобробки вхідних запитів хмарних сервісів мережі «Інтернету речей» відповідно до концепції граничних обчислень. Узагальнено найбільш актуальні задачі, що виникають при побудові та впровадженні алгоритмів обробки вхідних даних за умов обмежень на обчислювальний ресурс апаратно-програмної платформи та перепускність мережевих каналів системи. Запропоновано математичну модель впровадження та масштабування програмних додатків для обробки потокових даних. що надходять змножини інформаційних вузлів глобальної мережі хмарного сервісу, а також систему оцінки і оптимізації роботи алгоритмів відповідно показника зменшення часу затримки, що виникає при обробці вхідних даних центральним вузлом інформаційної мережі. При цьому математичний апарат базується на формалізації процесу розгортання програмного додатку відповідно до типової задачі планування завдань потокової обробки даних. Результати моделювання вказують на ефективність запропонованих методів, а також наможливість побудови на їх основі цілісної методології оцінки ефективності процесів впровадження та масштабування програмних додатків у середовищі хмарного сервісу глобальної інформаційної мережі «Інтернету речей».
Посилання
Yin, F., Li, X., Li, X., & Li, Y. (2019). Task Scheduling for Streaming Applications in a Cloud-Edge System. Security, Privacy, and Anonymity in Computation, Communication, and Storage, 105–114. https://doi.org/10.1007/978-3-030-24900-7_9.
Aladwani, T. (2020). Types of Task Scheduling Algorithms in Cloud Computing Environment. Scheduling Problems - New Applications and Trends. https://doi.org/10.5772/intechopen.86873
L. Columbus Internet Of Things Market To Reach $267B By 2020. (n.d.) https://www.forbes.com/sites/louiscolumbus/2017/01/29/%0Ainternet-of-things-market-toreach-267b-by-2020/. Accessed 1 May 2019.
Sun, D., & Hwang, S. (2018). DSSP: Stream Split Processing Model for High Correctness of Out-of-Order Data Processing. 2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering (AIKE). https://doi.org/10.1109/aike.2018.00044.
Mutschler, C., &Philippsen, M. (2013). Distributed Low-Latency Out-of-Order Event Processing for High Data Rate Sensor Streams. 2013 IEEE 27th International Symposium on Parallel and Distributed Processing. https://doi.org/10.1109/ipdps.2013.29.
Chintapalli, S., Dagit, D., Evans, B., Farivar, R., Graves, T., Holderbaugh, M.,Poulosky, P. (2016). Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming. 2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW). https://doi.org/10.1109/ipdpsw.2016.138.
DeSilva, M., &Hendrick, M. (2020). Using streaming data and Apache Flink to infer energy consumption. Proceedings of the 14th ACM International Conference on Distributed and Event-Based Systems. https://doi.org/10.1145/3401025.3401759.
Wei Wu, Nan Wu, Ju Ren, Huayou Su, Mei Wen, &Chunyuan Zhang. (2010). A streaming implementation of HD H.264/AVC encoder on STORM processor. 2010 International Conference on Multimedia Computing and Information Technology (MCIT). https://doi.org/10.1109/mcit.2010.5444843.
Jonathan, A., Chandra, A., &Weissman, J. (2018). Multi-Query Optimization in Wide-Area Streaming Analytics. Proceedings of the ACM Symposium on Cloud Computing. https://doi.org/10.1145/3267809.3267842.
Georgiou, Z., Symeonides, M., Trihinas, D., Pallis, G., &Dikaiakos, M. D. (2018). StreamSight: A Query-Driven Framework for Streaming Analytics in Edge Computing. 2018 IEEE/ACM 11th International Conference on Utility and Cloud Computing (UCC). https://doi.org/10.1109/ucc.2018.00023.
Hu, X., Xu, H., Jia, J., & Wang, X. (2018). Research on Distributed Storage and Query Optimization of Multi-source Heterogeneous Meteorological Data. Proceedings of the 2018 International Conference on Cloud Computing and Internet of Things - CCIOT 2018. https://doi.org/10.1145/3291064.3291068.
Heintz, B., Chandra, A., &Sitaraman, R. K. (2015). Optimizing Grouped Aggregation in Geo-Distributed Streaming Analytics. Proceedings of the 24th International Symposium on High-Performance Parallel and Distributed Computing. https://doi.org/10.1145/2749246.2749276.
Heintz, B., Chandra, A., &Sitaraman, R. K. (2016). Trading Timeliness and Accuracy in Geo-Distributed Streaming Analytics. Proceedings of the Seventh ACM Symposium on Cloud Computing. https://doi.org/10.1145/2987550.2987580.
Heintz, B., Chandra, A., &Sitaraman, R. K. (2020). Optimizing Timeliness and Cost in Geo-Distributed Streaming Analytics. IEEE Transactions on Cloud Computing, 8(1), 232–245. https://doi.org/10.1109/tcc.2017.2750678.
Hwang, J.-H., Cetintemel, U., &Zdonik, S. (2008). Fast and Highly-Available Stream Processing over Wide Area Networks. 2008 IEEE 24th International Conference on Data Engineering. 3(2), 131–147 https://doi.org/10.1109/icde.2008.4497489.
Hwang, J.-H., Cetintemel, U., &Zdonik, S. (2007). Fast and Reliable Stream Processing over Wide Area Networks. 2007 IEEE 23rd International Conference on Data Engineering Workshop. https://doi.org/10.1109/icdew.2007.4401047.
Hwang, A.A. (2016). Physical layer link modeling for a dynamic network simulation system. IEEE Proceedings on Southeastcon. https://doi.org/10.1109/secon.1990.117842.
Yang, L., Cao, J., Yuan, Y., Li, T., Han, A., Chan, C.: A framework for partitioning and execution of data stream applications in mobile cloud computing. In:International Conference on Cloud Computing 2012, vol. 40, pp. 23–32. https://doi.org/10.1145/2479942.2479946
Yang, L., Cao, J., Cheng, H., Ji, Y.: Multi-user computation partitioning for latencysensitive mobile cloud applications. IEEE Trans. Comput.8(64), 2253–2266 (2015).
Chintapalli, S., et al.: Benchmarking streaming computation engines: storm, flinkand spark streaming. In: International Parallel and Distributed Processing Symposium 2016, pp. 1789–1792 (2016).https://doi.org/10.1109/IPDPSW.2016.138.
Aladwani, T. (2020). Types of Task Scheduling Algorithms in Cloud Computing Environment. Scheduling Problems - New Applications and Trends. https://doi.org/10.5772/intechopen.86873
L. Columbus Internet Of Things Market To Reach $267B By 2020. (n.d.) https://www.forbes.com/sites/louiscolumbus/2017/01/29/%0Ainternet-of-things-market-toreach-267b-by-2020/. Accessed 1 May 2019.
Sun, D., & Hwang, S. (2018). DSSP: Stream Split Processing Model for High Correctness of Out-of-Order Data Processing. 2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering (AIKE). https://doi.org/10.1109/aike.2018.00044.
Mutschler, C., &Philippsen, M. (2013). Distributed Low-Latency Out-of-Order Event Processing for High Data Rate Sensor Streams. 2013 IEEE 27th International Symposium on Parallel and Distributed Processing. https://doi.org/10.1109/ipdps.2013.29.
Chintapalli, S., Dagit, D., Evans, B., Farivar, R., Graves, T., Holderbaugh, M.,Poulosky, P. (2016). Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming. 2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW). https://doi.org/10.1109/ipdpsw.2016.138.
DeSilva, M., &Hendrick, M. (2020). Using streaming data and Apache Flink to infer energy consumption. Proceedings of the 14th ACM International Conference on Distributed and Event-Based Systems. https://doi.org/10.1145/3401025.3401759.
Wei Wu, Nan Wu, Ju Ren, Huayou Su, Mei Wen, &Chunyuan Zhang. (2010). A streaming implementation of HD H.264/AVC encoder on STORM processor. 2010 International Conference on Multimedia Computing and Information Technology (MCIT). https://doi.org/10.1109/mcit.2010.5444843.
Jonathan, A., Chandra, A., &Weissman, J. (2018). Multi-Query Optimization in Wide-Area Streaming Analytics. Proceedings of the ACM Symposium on Cloud Computing. https://doi.org/10.1145/3267809.3267842.
Georgiou, Z., Symeonides, M., Trihinas, D., Pallis, G., &Dikaiakos, M. D. (2018). StreamSight: A Query-Driven Framework for Streaming Analytics in Edge Computing. 2018 IEEE/ACM 11th International Conference on Utility and Cloud Computing (UCC). https://doi.org/10.1109/ucc.2018.00023.
Hu, X., Xu, H., Jia, J., & Wang, X. (2018). Research on Distributed Storage and Query Optimization of Multi-source Heterogeneous Meteorological Data. Proceedings of the 2018 International Conference on Cloud Computing and Internet of Things - CCIOT 2018. https://doi.org/10.1145/3291064.3291068.
Heintz, B., Chandra, A., &Sitaraman, R. K. (2015). Optimizing Grouped Aggregation in Geo-Distributed Streaming Analytics. Proceedings of the 24th International Symposium on High-Performance Parallel and Distributed Computing. https://doi.org/10.1145/2749246.2749276.
Heintz, B., Chandra, A., &Sitaraman, R. K. (2016). Trading Timeliness and Accuracy in Geo-Distributed Streaming Analytics. Proceedings of the Seventh ACM Symposium on Cloud Computing. https://doi.org/10.1145/2987550.2987580.
Heintz, B., Chandra, A., &Sitaraman, R. K. (2020). Optimizing Timeliness and Cost in Geo-Distributed Streaming Analytics. IEEE Transactions on Cloud Computing, 8(1), 232–245. https://doi.org/10.1109/tcc.2017.2750678.
Hwang, J.-H., Cetintemel, U., &Zdonik, S. (2008). Fast and Highly-Available Stream Processing over Wide Area Networks. 2008 IEEE 24th International Conference on Data Engineering. 3(2), 131–147 https://doi.org/10.1109/icde.2008.4497489.
Hwang, J.-H., Cetintemel, U., &Zdonik, S. (2007). Fast and Reliable Stream Processing over Wide Area Networks. 2007 IEEE 23rd International Conference on Data Engineering Workshop. https://doi.org/10.1109/icdew.2007.4401047.
Hwang, A.A. (2016). Physical layer link modeling for a dynamic network simulation system. IEEE Proceedings on Southeastcon. https://doi.org/10.1109/secon.1990.117842.
Yang, L., Cao, J., Yuan, Y., Li, T., Han, A., Chan, C.: A framework for partitioning and execution of data stream applications in mobile cloud computing. In:International Conference on Cloud Computing 2012, vol. 40, pp. 23–32. https://doi.org/10.1145/2479942.2479946
Yang, L., Cao, J., Cheng, H., Ji, Y.: Multi-user computation partitioning for latencysensitive mobile cloud applications. IEEE Trans. Comput.8(64), 2253–2266 (2015).
Chintapalli, S., et al.: Benchmarking streaming computation engines: storm, flinkand spark streaming. In: International Parallel and Distributed Processing Symposium 2016, pp. 1789–1792 (2016).https://doi.org/10.1109/IPDPSW.2016.138.
Опубліковано
2021-06-12
Як цитувати
Козак, Є. (2021). Особливості побудови алгоритмів планування задач у рамках концепції граничних обчислень . КОМП’ЮТЕРНО-ІНТЕГРОВАНІ ТЕХНОЛОГІЇ: ОСВІТА, НАУКА, ВИРОБНИЦТВО, (43), 36-41. https://doi.org/10.36910/6775-2524-0560-2021-43-06
Розділ
Автоматика та управління
