云计算
2023年秋云计算（ICE6405P）课程网站
课程通知 / News
- 2023/9/12：欢迎开始云计算（ICE6405P）的学习！
- 2023/11/6：请登录OC网站进行论文联邦学习论文的选择！
- 2023/12/10：请登录OC网站进行无服务器计算论文的选择！
课程材料 / Lecture
实践课材料 / Hands-on
实践作业 / Homework
作业一
本次作业分为任务一和任务二，占总成绩的10%。作业截止时间为11月5日23:59。
任务一
在LeNet的基础上，进行以下研究：
- 将平均汇聚层替换为最大汇聚层，会发生什么？
- 尝试构建一个基于LeNet的更复杂的网络，以提高其准确性。
- 调整卷积窗口大小。
- 调整输出通道的数量。
- 调整激活函数（如ReLU）。
- 调整卷积层的数量。
- 调整全连接层的数量。
- 调整学习率和其他训练细节（例如，初始化和轮数）。
- 在MNIST、FashionMNIST等数据集上尝试以上改进的网络，分析结果变化的原因，总结经验。
- 显示不同输入（例如毛衣和外套）时，LeNet第一层和第二层的激活值。尝试解释。
作业提交：实验报告+源代码
任务二
在Transformer的基础上，自选问题进行研究。
- 将Transformer的结构中，是先进行残差连接再进行LayerNorm操作的。尝试替换顺序，观察网络性能变化结果，并结合相关文献分析原因。
- Transformer最初设计是被用于自然语言处理任务中的。调研相关文献，研究将Transformer网络结构应用到计算机视觉领域的方案，分析其相对于CNN的优劣。
- 其他，合理即可。
作业提交：实验报告+源代码（如有）
作业二
本次作业占总成绩的25%，作业截止时间为11月26日23:59。本次作业为单人作业。本次作业的结题需要通过课上答辩。
在课上讲的五种FedAvg的拓展算法（FedDyn, MOON, KT-pFL, FedMA, SageFlow）的基础上，进行以下研究：
- 复现论文代码（FedDyn和MOON需要实现不少于两种的联邦学习实现方式），实现方式不限于：
- 串行模拟并行，多线程，多进程，多虚拟机，多容器，多机
- 在不少于两个数据集上进行运行，总结实验结果，可用数据集不限于：
- MNIST，Fashion-MNIST，Cifar10，Cifar100
- 在不少于两种模型上进行运行，总结实验结果，可用模型不限于：
- LeNet，ResNet，VGG，GoogleNet
- 对算法中的各个超参数进行实验测试，可测试超参数不限于：
- 客户端数量，客户端参与率，学习率，Batch size，Local epoch
- (bonus) 尝试对于论文方法进行改进，并实验验证方案的可行性。
作业提交：实验报告+源代码+必要的实验log数据+答辩ppt
作业三
本次作业占总成绩的25%，作业截止时间为12月31日23:59。本次作业为单人作业。本次作业的结题需要通过课上答辩。
在课上讲的四种无服务器计算应用（MapReduce、高维矩阵计算、分布式训练、分布式推理）的基础上，选择一个合适的应用进行研究：
- 基于一种无服务器计算框架（OpenWhisk、阿里云、AWS Lambda）设计上述应用的框架。
- 探究不同的并行函数对于实验性能的影响。
- 探究不同的资源配置对于实验性能的影响。
- 计算基于无服务器计算的应用对于通信与计算时间的开销。
- （bonus）尝试对于应用的资源配置方案提出面向cost或者latency的优化方案，并实验验证方案的可行性。
作业提交：实验报告+源代码+必要的实验log数据+答辩ppt