问题描述
我目前正在组成一个小型团队,该团队正在开发基于Databricks的解决方案。目前,我们足够小,可以处理Databricks的云实例。随着小组的扩大,这实际上将不切实际。
是否可以出于开发目的而安装“本地”的Databricks安装(它不需要是可伸缩的版本,但实际上必须具有完整的功能)?换句话说,每个开发人员都可以在本地计算机上创建自己的Databricks开发实例吗?
还有没有其他方法可以为每个开发人员提供专用的Databricks环境?
解决方法
很遗憾,本地数据块实例不可用。
仅通过
cloud
才能使用Databricks。
可从Microsoft
和AWS
获得数据砖。
如果要测试数据块,可以使用Databricks community Edition
,这是免费的。 (如果您免费获得某些东西,那么肯定会有一些限制)。
什么是Databricks社区版?
Databricks社区版是我们基于云的大数据平台的免费版本。它的用户可以访问微集群以及集群管理器和笔记本环境。所有用户都可以共享他们的笔记本,并通过Databricks免费托管它们。我们希望这将使每个人都能创建令人兴奋的新内容,从而使整个Apache Spark™社区受益。
社区版的限制:
- 仅单个群集限制为15 GB,并且只有驱动程序节点且没有工作线程 节点。
- 没有协作的基本笔记本
- 最多可容纳3个用户
- 共享工作环境的公共环境